jika anda masih menggunakan blogger yang old interface, saya amat galakkan anda tukar ke new interface oleh blogger. dengan wajah blogger yang baru ini terdapat lebih banyak fungsi mudah untuk seperti meta tags, crawler, index dan banyak lagi. walaupun pada mulanya anda belum biasa lagi menggunakan wajah baru blogger ini nanti, jadi biasa-biasakanlah diri anda dengan wajah baru blogger yang anda gunakan ini.
untuk menukarkan blogger yang lama kepada yang baru anda lihat mesej seperti ini :
The old Blogger interface will be removed in the coming months. Upgrade Now.
Klik pada Upgrade Now di blog dan anda akan dibawa ke wajah yang lebih baru.
jadi sebelum saya mengajar anda tutorial cara menggunakan robot.txt ini, saya terlebih dahulu ingin berkongsi dengan anda apakah itu robot.txt?
robot.txt ini bukan robot yang orang jepun ataupun transformer movie orang putih, tapi robot.txt adalah dalam bentuk text yang akan memberikan arahan kepada mana-mana "search Engine Bot" (bot enjin pencarian-bot inilah yang akan mencari robot.txt yang anda gunakan) untuk bagaimana cara anda membenarkan robot ini untuk crawl isi di laman web anda dan disertakan sekali dengan sitemap.
bukan itu sahaja tugas robot ini kerana dengan penggunaan robot.txt yang betul juga anda dapat pilih mana satu isi yang anda tidak mahu google crawl ataupun index, sebagai contoh maklumat pribadi anda ataupun bahagian download yang anda tidak mahu bot ini crawl dan index bahagian ini. dengan penggunaan yang betul robot.txt ini ia juga akan memperbaiki SEO blog anda.
ingin saya beri amaran di sini, jika anda tidak tahudengan penggunaan robot.txt ini sila jangan lakukan dengan mengubah robot.txt anda kerana ia akan memberikan kesan sampingan jika anda tidak melakukan dengan betul!
Jadi, sila baca beberapa keperluan penggunaan robot.txt ini.
bagaimana cara untuk menghasilkan robot.txt untuk blogger.
1) Log-in ke akaun blogger anda.2) pergi ke blog anda.
3) sekarang sila pergi ke Settings>Search Preferences
4) Dibawah Crawlers and indexing cari Custom robots.txt
5) Klik Edit
Warning! Use with caution. Incorrect use of these features can result in your blog being ignored by search engines.
ayat yang berwarna seperti ini menunjukkan bahawa penggunaan robot.txt yang salah akan menganggu enjin pencarian ke blog anda. sila tumpukan perhatian sepenuhnya.
sekarang anda boleh meletakkan Crawler yang berbeza mengikut arahan robot.txt yang anda akan letak. dalam post ini saya akan berkongsi dengan anda penggunaan kod crawl robots.txt yang berbeza. pertama sekali mari kita kenali terlebih dahulu bagaimana kod ini bekerja.
User-agent: *
Disallow: /search
Allow: /
Disallow: /search
Allow: /
Maksud Kod diatas,
User-agent: - bermaksud nama bot atau crawler yang akan pergi membaca robot.txt anda. sebagai contoh, Google bot.
Disallow: - digunakan untuk memilih mana satu page yang anda tidak mahu bot atau crawler cari.
Allow: - page mana yang anda benarkan untuk bot atau crawler cari./ (slash):- "/" ini adalah mewakili link blog utama anda.
jika anda tidak mahu google mengindeks gambar blog anda dan keluar di Google search result, anda boleh mengubah dengan kod dibawah.
User-agent: Googlebot-Image
Disallow: /
Untuk beberapa sebab, mungkin ada beberapa sebab mengapa anda ingin menyembunyikan beberapa page yang penting dari keluar di Google engines. Jadi jika anda ingin berbuat demikian anda boleh gunakan kod ini.
Disallow: /p/page-one.html
Allow: /
Jika anda ingin blok lebih dari satu page anda boleh tambahkan URL yang anda ingin blok secara satu persatu pada bahagian Disallow seperti di bawah.
User-agent: *
Disallow: /p/page-one.html
Disallow: /p/page-two.html
Allow: /
jika anda ingin blok bot atau crawler yang tidak mahu mereka indeks, anda boleh gunakan kod dibawah.
User-agent: (nama bot yang anda tidak mahu)
Disallow: /
User-agent: Googlebot-News
Disallow:
Untuk menambahbaik persembahan Google AdSense anda, anda boleh mengubah bagaimana cara bot mencari ke blog anda. anda boleh gunakan kod mudah seperti di bawah.
User-agent: Mediapartners-Google
Disallow:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: <Blog sitemap anda di sini>
Sitemap: http://younginternetmaster.blogspot.com /atom.xml?redirect=false&start-index=501&max-results=1000
jika blog anda lebih dari 500 post ke atas, gunakan sitemap yang kedua.
jika ada sebarang masalah sila gunakan bahagian komen di bawah. saya akan cuba membantu anda dengan sebaik yang mungkin.
kalau anda ingin blog diindeks oleh google dengan cara lain anda boleh baca info yang seterusnya : Cara Untuk Blog Anda Diindeks Oleh Google Dalam Masa Yang Singkat
User-agent: *
Disallow: /p/page-one.html
Disallow: /p/page-two.html
Allow: /
benarkan blok anda untuk diindeks tetapi blok crawler yang anda tidak mahu bot untuk diindeks.
jika anda ingin blok bot atau crawler yang tidak mahu mereka indeks, anda boleh gunakan kod dibawah.
User-agent: (nama bot yang anda tidak mahu)
Disallow: /
User-agent: Googlebot-News
Disallow:
jika anda ingin tahu tahu beberapa jenis crawler dan user agent, anda boleh baca jadual di bawah. (jadual dibawah bukan dicipta oleh saya tetapi dari google sendiri)
| Crawler | User-agents | HTTP(S) requests user-agent |
|---|---|---|
| Googlebot(Google Web search) | Googlebot | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)or (rarely used): Googlebot/2.1 (+http://www.google.com/bot.html) |
| Googlebot News | Googlebot-News( Googlebot) | Googlebot-News |
| Googlebot Images | Googlebot-Image( Googlebot) | Googlebot-Image/1.0 |
| Googlebot Video | Googlebot-Video( Googlebot) | Googlebot-Video/1.0 |
| Google Mobile | Googlebot-Mobile | [various mobile device types] (compatible; Googlebot-Mobile/2.1;+http://www.google.com/bot.html) |
| Google Mobile AdSense | Mediapartners-Googleor Mediapartners( Googlebot) | [various mobile device types] (compatible; Mediapartners-Google/2.1;+http://www.google.com/bot.html) |
| Google AdSense | Mediapartners-GoogleMediapartners( Googlebot) | Mediapartners-Google |
| Google AdsBotlanding page quality check | AdsBot-Google | AdsBot-Google(+http://www.google.com/adsbot.html) |
kod diatas adalah hanya untuk pengetahuan sahaja dan saya bukan hendak mengajar anda untuk meletakkan kod diatas tetapi untuk menambah ilmu anda. manalah tahu mungkin anda sedang mencari tutorial cara membuat robot.txt dan ada yang ingin menjatuhkan blog anda dengan memberikan tutorial yang salah, sekurang-kurangnya anda tahu bahawa anda tidak mudah tertipu. jadi saya akan kongsikan dengan anda penggunaan robot.txt yang lebih berkesan untuk memperbaiki SEO anda.
Robot.txt yang sesuai untuk blog AdSense.
Untuk menambahbaik persembahan Google AdSense anda, anda boleh mengubah bagaimana cara bot mencari ke blog anda. anda boleh gunakan kod mudah seperti di bawah.
User-agent: Mediapartners-Google
Disallow:
tetapi jika anda ingin memastikan blog anda berada di enjin pencarian dan crawl/indeks keseluruhan blog anda gunakan robots.txt ini. (saya gunakan robot.txt ini)
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: <Blog sitemap anda di sini>
Contoh sitemap:
Sitemap: http://younginternetmaster.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://younginternetmaster.blogspot.com /atom.xml?redirect=false&start-index=501&max-results=1000
jika blog anda kurang dari 500 post, sila gunakan sitemap yang pertama.
jika blog anda lebih dari 500 post ke atas, gunakan sitemap yang kedua.
jika ada sebarang masalah sila gunakan bahagian komen di bawah. saya akan cuba membantu anda dengan sebaik yang mungkin.
kalau anda ingin blog diindeks oleh google dengan cara lain anda boleh baca info yang seterusnya : Cara Untuk Blog Anda Diindeks Oleh Google Dalam Masa Yang Singkat
