Robot.txt adalah sebuah file teks (bukan html) yang ditempatkan pada halaman situs web untuk menginformasikan robot pencari/search robots agar tidak mendatangi halaman tertentu.
Cara termudah untuk membuat sebuah robot.txt adalah dengan menggunakan generate robot yang telah tersedia pada webmaster tools dari Google.
Anda dapat membuat file tersebut, Anda pun dapat menggunakan analisa robot.txt sesuai dengan yang diharapkan.
Pertama, buatlah file robot.txt, selanjutnya simpan pada domain utama dengan nama robot.txt.
Letakkan robot pada lokasi dimana ia akan melakukan pemeriksaan terhadap file.
Jika disimpan pada lokasi lain maka robot tidak akan dapat bekerja.
Jika search engine tidak menemukannya, maka mereka pun tidak akan mencarinya ke seluruh situs Anda demi menemukan file robot.txt.
Mereka akan menyimpulkan bahwa situs Anda tidak memiliki file robot.txt.
Selain menggunakan Google Webmaster Tools, Anda juga dapat membuatnya secara manual dengan menggunakan editor teks, dalam bentuk sebuah file ASCII-encoded, bukan berbentuk file HTML, dan nama file harus dalam bentuk huruf kecil.
