cara seting Robot.txt

sebelum saya kasih cara seting robot.txt , sedikit saya jelaskan apa fungsi robot.txt pada blogger
robot.txt berperan untuk memberikan petunjuk kepada semua mesin telusur , bagian mana yang di perbolehkan dan bagian mana yang di izinkan untuk di rayapi oleh mesin-mesin telusur

nama-nama mesin telusur :

• mesin telusur google : googlebot
• mesin telusur yahoo : yahoobot
• mesin telusur bing : bingbot
• dan yang lainya

kenapa sebuah blog harus di rayapi 
jika blog anda ingin bisa di cari di mesin telusur misalnya google search , yahoo search atau yang lainya , maka kita sebagai pemilik blog harus memberikan tanda kepada mesin penelusur tersebut supaya mesin penelusur tersebut bisa menentukan mana yang akan di cantumkan di dalam mesin penelusuran ( google search atau yahoo search atau bing search atau mesin penelusuran yang lainya

untuk seting robot.txt silahkan copi kode di bawah ini dan masukan kedalam setingan blog anda

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://wonogiri-website.blogspot.com/feeds/posts/default?orderby=UPDATED 

kode di atas yang warna merah silahkan ganti dengan url blog anda masing-masing

jika belum paham cara seting nya , simak cara nya di bawah ini
1.buka blog anda lalu login
2.pada menu blogger pilih setelan / setting
3.lalu klik pada menu preferensi penelusuran ( lihat gambarnya di bawah ini )

4.selanjutnya lihat sebelah kanan ( lihat gambar gambar di atas ) klik edit pada menu Khusus robot.txt
5.selanjutnya copi kode di atas dan masukan kedalam kolom setingan robot.txt khusus
6.jangan lupa di simpan setinganya
7.selesai

dengan kita menyeting robot.txt maka kita bisa membantu kinerja mesin-mesin penelusuran untuk menentukan indek konten yang akan di tampilkan dalam penelusuran internet