Format robot.txt berisi:
1. User-agent.
Berisi aturan yang akan di ikuti oleh robot.
2. Disallow.
Berisi lokasi atau folder yang di inginkan untuk di blok.
Untuk memblok seluruh tempat web, gunakan slash:
Disallow:/
Untuk memblok direktori dan seluruh isinya, gunakan:
Disallow:/folder
Untuk memblok sebuah isi halaman formatnya:
Disallow:/nama file
Untuk menghapus gambar tertentu dari pencarian berdasarkan gambar Google formatnya:
User-agent:Googlebot-Image
Disallow:/images/gambar.jpg
Jika Anda menggunakan Google Sitemaps, saat ini di dalamnya sudah terdapat sebuah validator robot.txt.
