Pengetahuan Tentang Robot.Txt File

 










fail robots.txt kadang-kadang diabaikan oleh internet marketing. Di sudut lain pula, ini merupakan faktor penting bagi laman web yang diindeks dengan lebih baik dan sangat mudah untuk pasangkan fungsi ini.
Saya tahu bahawa robots.txt bukanlah sesuatu yang baru untuk anda. tetapi, ini lebih ditujukan khas kepada masih belum memahami apakah robot.txt, kenapa perlu menggunakan robot.txt, adakah robot.txt penyelesaian tertentu, bagaimana untuk menggunakannya, dan contoh-contoh robot.txt.

Apakah Robot.Txt

Robots.txt adalah fail yang digunakan untuk mengecualikan kandungan daripada proses crawling yang dilakukan dari search engine spider / bot. Robots.txt juga disebut Robots Exclusion Protocol.

Kenapa Perlu Menggunakan Robot.Txt 

Secara umum, kami lebih suka bahawa laman web kami diindeks oleh search engine. Tapi mungkin 

ada beberapa kandungan yang kita tidak mahu untuk dijelajahi & diindeks. Seperti folder foto peribadi, website pentadbiran folder, folder download untuk subscriber,  dan banyak lagi. Idea utama adalah kita tidak mahu mereka untuk diindeks. 

 

Adakah Robot.Txt Penyelesaian Tertentu

Tidak, Standard bots berdasarkan seperti Google, atau Yahoo robot lain mesin carian besar itu menganlisis fail robots.txt anda. Hal ini kerana mereka telah diprogramkan untuk tugas itu. Jika dikonfigurasikan demikian, setiap enjin carian bot boleh mengabaikan fail robots.txt.  

 

 

Bagaimana Untuk Menggunakannya 

Robots.txt file mempunyai beberapa penggunaan sederhana yang menguruskan bots. seperti berikut:

• User-agent: parameter ini mendefinisikan, bahawa bots parameter seterusnya akan berlaku.

• Disallow: mendefinisikan folder atau fail yang akan dikeluarkan. Tidak ada bererti apa-apa akan dikeluarkan, / bermaksud semuanya akan dikecualikan atau / nama folder / atau / nama fail boleh digunakan untuk menentukan nilai untuk dikecualikan. nama Folder antara garis miring seperti / nama folder / bererti bahawa nama folder hanya / default.html akan dikeluarkan. Menggunakan 1 garis miring seperti nama / folder bererti semua kandungan dalam folder nama folder akan dikeluarkan.

 

Contoh Robot.Txt

 User-agent: * # membolehkan spider search engine kesemua isi.Disallow: / secretcontent / # melarang mereka untuk merangkak folder isi rahsia anda.

Listen

Read phonetically