Robots.txt

Robots.txt adalah sebuah file yang digunakan oleh crawler mesin telusur pada halaman website anda untuk mengetahui file mana yang boleh dan tidak boleh dikunjungi. Pada kasus tertentu, pengembang website memiliki halaman PUBLIC yang ditujukan untuk pengguna, bukanlah mesin pencari seperti Google, Bing, dan Yahoo.

Tujuan dari file ini adalah sebagai protokol pengecualian robot, yaitu standar de facto di dalam aturan komunikasi dan batas antara situs web dan pengguna BUKAN manusia.

Protokol pengecualian robot atau robotstxt memungkinkan pengembang web untuk menentukan bagian/file/folder mana dari situs web mereka yang dapat di akses atau tidak dapat di akses oleh bot atau crawler.

Contoh kode atau sintaks robots.txt

user-agent: googlebot disallow: /login  user-agent: googlebot-news disallow: /media  user-agent: googlebot-image

Maka berdasarkan contoh sintaks diatas akan dijelaskan demikian:

• User-agent googlebot tidak boleh melakukan crawl ke folder /login
• User-agent googlebot-news tidak boleh melakukan crawl ke folder /media
• User-aagent googlebot-image boleh masuk ke semua folder di dalam website www.cmlabs.co, tanpa batasain apapun.

Contoh dan penerapan URL robots.txt

Pada kasus yang umum, penerapan robots.txt TIDAK VALID untuk subdomain, protokol, dan port. Namun akan VALID untuk semua file di semua sub-directori pada host, protokol, dan port.

Periksa contoh lokasi file robots.txt pada direktori server website:

CONTOH VALID http://robots.co/robots.txt http://robots.co/folder/file/robots.txt

CONTOH TIDAK VALID http://other.cmlabs.co/robots.txt https://cmlabs.co/robots.txt http://cmlabs.co:8181/robots.txt

Catatan

Saat halaman ini diterbitkan (pada 21 Mei 2020), definisi hingga implementasi dari robots.txt hanya berlaku untuk mesin telusur Google. Dengan kata lain, mesin pencari seperti Bing, Yahoo, Yandex, dan lain-lain belum tentu menggunakan standar yang sama.

Meskipun demikian, standarisasi secara global sedang menjadi diskusi komunitas internasional.

Salah paham

File robots.txt tidak tepat jika digunakan untuk menyembunyikan satu file atau halaman dari crawler mesin telusur.

Jawaban yang tepat tentang, apa yang harus dilakukan untuk menyembunyikan file dari Google?; adalah menyematkan noindex tag.

RESPONSE HEADER

Perubahan standar protokol

Pada tanggal 1 Juli, tahun 2019, melalui blog resmi Google mengumumkan bahwa protokol robots.txt sedang disiapkan untuk menjadi standar Internet. Artinya semua mesin pencari akan sepakat dengan ketentuan tersebut.

Robots Exclusion Protocol Draft