Apa itu robots.txt? Panduan Lengkap Kontrol Crawling dan AI Search

robots.txt adalah file terkecil di situs Anda, sekaligus salah satu yang paling mudah menimbulkan masalah besar jika dikonfigurasi secara keliru. Panduan ini menjelaskan apa yang sebenarnya dikontrol oleh file ini, apa yang tidak bisa dilakukannya, aturan persis yang diterapkan Google, dan cara mengonfigurasinya untuk crawler AI seperti GPTBot dan ClaudeBot tanpa kehilangan visibilitas pencarian.

Jawaban singkat

robots.txt adalah file teks biasa di root domain Anda yang memberi tahu crawler otomatis URL mana yang boleh mereka ambil. File ini mengontrol crawling, bukan indexing, dan bukan ranking.

Hal-hal penting sebelum Anda menyentuh file ini:

• File ini mengatur trafik crawling. File ini tidak menyembunyikan halaman dari hasil pencarian. URL yang diblokir tetap bisa terindeks jika ada halaman lain yang menautkannya.
• Untuk menjaga sebuah halaman keluar dari hasil pencarian, gunakan noindex pada halaman yang boleh dirayapi Google. Untuk menjaga konten tetap privat, gunakan kata sandi atau kontrol akses di sisi server.
• Google hanya mendukung empat field: user-agent, disallow, allow, dan sitemap. Selebihnya, termasuk crawl-delay, diabaikan oleh Google.
• Pada 2026, file ini juga menentukan apakah mesin jawaban AI boleh membaca dan mengutip konten Anda. Memblokir bot yang salah akan menghapus Anda dari hasil pencarian AI.
• File ini bersifat sukarela. Crawler yang tepercaya mematuhinya. Scraper tidak. Untuk penegakan, Anda memerlukan firewall atau bot management.

Daftar isi

• Jawaban singkat
• Apa itu robots.txt?
• Crawling, indexing, ranking: pembeda yang menjelaskan robots.txt
• robots.txt vs noindex vs autentikasi
• Lokasi robots.txt dan cakupannya
• Format file dan batas ukuran
• Sintaks robots.txt dan direktif yang didukung
• Grup user-agent dan urutan prioritas
• Wildcard dan prioritas aturan
• Cara Google menangani error robots.txt
• robots.txt dan crawl budget
• robots.txt untuk crawler AI (GPTBot, ClaudeBot, Google-Extended)
• Kesalahan robots.txt yang umum
• Cara menguji dan menerapkan robots.txt
• Contoh dan template robots.txt
• Pertanyaan yang sering diajukan
• Sumber dan bacaan lanjutan

Apa itu robots.txt?

File robots.txt adalah sekumpulan aturan yang memberi tahu crawler bagian mana dari situs Anda yang boleh mereka ambil. File ini merupakan bagian dari Robots Exclusion Protocol, yang distandarkan sebagai RFC 9309 dan didukung oleh Google, Bing, serta mesin pencari besar lainnya. Ringkasan resmi dari Google ada di pengantar robots.txt.

Cara paling berguna untuk memahami file ini adalah menganggapnya sebagai alat pengelola anggaran. Mesin pencari tidak akan mengeluarkan biaya pemrosesan yang lebih besar daripada nilai halaman itu sendiri. Google merayapi, lalu me-render, lalu mengindeks, dan baru setelah itu mempertimbangkan ranking, dan setiap tahap memakan waktu komputasi. Dalam persidangan antitrust Google, Pandu Nayak, yang saat itu memimpin Search, bersaksi bahwa sistem ranking yang paling mahal tidak dijalankan pada setiap URL. Sebuah halaman harus lebih dulu melewati pemeriksaan yang lebih murah agar layak mendapatkan evaluasi yang mahal.

robots.txt adalah tuas paling awal yang Anda miliki atas pengeluaran ini. File ini bekerja sebelum rendering, sebelum indexing, dan jauh sebelum model ranking mana pun melihat halaman tersebut. Jika salah, semua tahap berikutnya menjadi tidak relevan, karena crawler tidak pernah mencapai konten atau menghabiskan anggarannya pada halaman yang seharusnya tidak pernah diambil.

Crawling, indexing, ranking: pembeda yang menjelaskan robots.txt

Ada tiga tahap terpisah yang menentukan apakah sebuah halaman muncul di hasil pencarian, dan robots.txt hanya menyentuh tahap pertama.

Crawling adalah proses mengambil halaman. Indexing adalah menyimpan dan memahaminya. Ranking adalah menentukan posisinya untuk sebuah kueri. robots.txt adalah instruksi crawling. File ini mengatakan "jangan ambil ini," bukan "jangan indeks ini," dan bukan "jangan beri peringkat ini."

Ini terdengar seperti hal teknis kecil sampai Anda melihat kegagalan yang ditimbulkannya. Jika Anda memblokir sebuah URL, Google tidak akan mengambilnya, tetapi Google tetap bisa mengindeks URL tersebut jika ada halaman lain yang menautkannya. Hasilnya adalah entri di hasil pencarian tanpa snippet dan disertai keterangan bahwa deskripsi tidak tersedia. Anda memblokir crawling tetapi secara tidak sengaja mempertahankan halaman itu di indeks. Google menyatakannya secara langsung: robots.txt bukan mekanisme untuk menjaga halaman keluar dari Google.

Ada jebakan kedua. Untuk menjaga halaman keluar dari indeks, Anda menggunakan aturan noindex, tetapi Google hanya bisa melihat aturan itu jika ia merayapi halaman tersebut. Jika URL yang sama juga diblokir di robots.txt, Google tidak pernah mengambilnya, tidak pernah melihat noindex, dan halaman itu bisa tetap terindeks. Memblokir crawling dan memblokir indexing pada URL yang sama saling meniadakan. Pilih salah satu. Google menjelaskan pendekatan yang benar dalam panduannya tentang memblokir indexing dengan noindex.

robots.txt vs noindex vs autentikasi

Gunakan alat yang sesuai dengan tujuannya.

Tujuan Anda	Gunakan ini	Bukan ini
Mengatur trafik crawling dan crawl budget	disallow di robots.txt	noindex
Menjaga halaman web keluar dari hasil pencarian	noindex pada halaman yang boleh dirayapi	robots.txt
Menjaga file non-HTML (PDF, gambar) keluar dari pencarian	header HTTP X-Robots-Tag: noindex	robots.txt
Menjaga konten tetap privat atau aman	Autentikasi atau kontrol akses	robots.txt

Aturan noindex dan X-Robots-Tag didokumentasikan dalam spesifikasi meta tag robots dari Google. Satu poin penting dari halaman itu: meta tag robots atau X-Robots-Tag hanya ditemukan ketika URL dirayapi, jadi URL yang membawa aturan indexing tidak boleh diblokir di robots.txt.

Catatan tentang keamanan. robots.txt bersifat publik. Siapa pun bisa membuka yourdomain.com/robots.txt dan membacanya. Mencantumkan path sensitif di sana justru memberi tahu semua orang persis di mana harus mencari, sehingga file ini bukan hanya tidak berguna, melainkan berbahaya sebagai langkah privasi. Lindungi konten privat dengan autentikasi.

Lokasi robots.txt dan cakupannya

File ini harus berada di tingkat teratas sebuah host, dapat diakses di https://example.com/robots.txt. Crawler tidak mencari di subdirektori, sehingga file di dalam subfolder akan diabaikan. Langkah-langkah Google untuk memublikasikannya ada di halaman membuat dan mengirim file robots.txt.

Cakupannya lebih ketat daripada yang diperkirakan banyak orang. Sebuah file robots.txt hanya berlaku untuk host, protokol, dan port persis tempat file itu berada.

URL robots.txt	Berlaku untuk	Tidak berlaku untuk
https://example.com/robots.txt	example.com dan subdirektorinya	www.example.com, shop.example.com, http://example.com
https://www.example.com/robots.txt	hanya www.example.com	example.com
https://example.com/folder/robots.txt	tidak berlaku untuk apa pun (lokasi tidak valid)	semuanya

Port standar diperlakukan sebagai host default-nya, sehingga https://example.com:443/robots.txt juga mencakup https://example.com/. Google mendukung file ini melalui HTTP, HTTPS, dan FTP. Jika Anda menjalankan subdomain terpisah untuk blog, toko, atau staging, masing-masing membutuhkan file-nya sendiri, dan Anda sebaiknya memastikan setiap host menyajikan file yang Anda harapkan.

Format file dan batas ukuran

File harus berupa teks biasa dengan encoding UTF-8. Baris dapat diakhiri dengan CR, LF, atau CR/LF. Google mengabaikan baris yang tidak valid, termasuk byte order mark di awal file, dan hanya membaca baris yang dikenalinya. Jika Anda tidak sengaja menyajikan HTML alih-alih teks biasa, Google akan mencoba mengekstrak aturan dan mengabaikan sisanya, yang biasanya berarti aturan Anda tidak bekerja seperti yang dimaksudkan.

Dua batasan yang sering menimbulkan masalah:

• Encoding. Jika file bukan UTF-8, Google bisa membuang karakter di luar rentang UTF-8 dan merusak aturan yang bergantung padanya.
• Ukuran. Google menerapkan batas 500 kibibyte. Apa pun yang melewati titik itu diabaikan, tanpa pesan error. Pada situs besar dengan aturan yang membengkak, baris di bagian bawah file yang kelewat besar akan berhenti bekerja begitu saja. Jika Anda mendekati batas ini, rampingkan. Memindahkan materi yang dikecualikan ke dalam satu direktori memungkinkan Anda memblokirnya dengan satu aturan alih-alih ratusan.

Sintaks robots.txt dan direktif yang didukung

Setiap baris yang valid terdiri dari sebuah field, titik dua, dan sebuah nilai, dengan komentar opsional setelah tanda #. Nama field tidak membedakan huruf besar-kecil. Spasi bersifat opsional tetapi membantu keterbacaan.

# Ini adalah komentar
User-agent: Googlebot
Disallow: /private/
Allow: /private/public-file.html
Sitemap: https://example.com/sitemap.xml

Google mendukung tepat empat field, yang dijelaskan lengkap di halaman cara Google menafsirkan spesifikasi robots.txt. Selebihnya diabaikan.

Direktif	Fungsinya	Contoh
user-agent	Menyebutkan crawler yang dituju aturan	user-agent: Googlebot
disallow	Path yang tidak boleh diambil crawler	disallow: /admin/
allow	Path yang boleh diambil crawler, dipakai untuk membuat pengecualian dari disallow yang lebih luas	allow: /admin/public.html
sitemap	URL absolut sebuah sitemap atau indeks sitemap	sitemap: https://example.com/sitemap.xml

Field yang paling diharapkan banyak orang tetapi tidak didukung Google adalah crawl-delay. Google mengabaikannya. Bing dan beberapa crawler lain masih membacanya, dan Anthropic juga menghormatinya, jadi field ini tidak sepenuhnya sia-sia, tetapi tidak melakukan apa pun untuk Googlebot. Untuk memperlambat crawling Google, gunakan panduan di halaman mengurangi laju crawling Google. Hal yang sama berlaku untuk host, noindex, nofollow, request-rate, dan visit-time. Sepanjang 2026 Google mulai secara terbuka menyebutkan direktif tidak didukung yang paling sering ditemuinya, karena begitu banyak file membawa baris peninggalan yang dikira pemiliknya sebagai kebijakan. Bagi Google, tidak didukung berarti tidak didukung, sekalipun katanya terlihat resmi.

Field sitemap berperilaku berbeda dari yang lain. Field ini bukan aturan crawling dan tidak terikat pada user-agent mana pun. Nilainya harus berupa URL absolut, tidak harus berada di host yang sama dengan file robots.txt, dan Anda boleh mencantumkan sebanyak yang Anda mau.

Grup user-agent dan urutan prioritas

Anda mengelompokkan aturan dengan mengulang baris user-agent. Anda bisa menumpuk beberapa user-agent sebelum satu set aturan agar aturan yang sama berlaku untuk semuanya.

Logika prioritas inilah tempat bug halus bersembunyi. Hanya satu grup yang berlaku untuk sebuah crawler, dan Google memilih grup dengan user-agent paling spesifik yang cocok. Semua grup lain diabaikan, termasuk grup global *. Google tidak menggabungkan grup spesifik dengan grup wildcard.

User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: Googlebot
Disallow: /no-google/

Dalam contoh ini Googlebot tidak memblokir /admin/ atau /cart/, karena ia mengikuti grupnya sendiri dan tidak pernah membaca grup wildcard. Jika Anda ingin Googlebot juga menghindari direktori tersebut, cantumkan lagi di bawah Googlebot.

Satu aturan lagi yang perlu diingat: wildcard * cocok dengan semua crawler kecuali crawler AdsBot milik Google. AdsBot harus disebutkan secara eksplisit, atau pemeriksaan halaman landing iklan Anda akan terus merayapi path yang Anda kira sudah diblokir. Semua user-agent Google tercantum di referensi crawler umum Google.

Wildcard dan prioritas aturan

Nilai aturan bersifat case-sensitive, meskipun nama field tidak. /Fish dan /fish adalah path yang berbeda. Hal ini saja sudah menyebabkan banyak blokir yang tidak berjalan, atau berjalan pada URL yang salah.

Google mendukung dua wildcard:

• • cocok dengan nol atau lebih karakter apa pun.
• $ menandai akhir URL.

Pola	Cocok dengan	Tidak cocok dengan
/fish	/fish, /fish.html, /fishheads, /fish/salmon.html	/catfish, /Fish.asp
/fish/	/fish/salmon.html, /fish/?id=1	/fish, /fish.html
/*.php$	/index.php, /folder/name.php	/name.php?x=1, /name.php5
/$	/ (hanya root)	/page, /folder/

Ketika dua aturan bisa berlaku untuk URL yang sama, Google menggunakan aturan yang paling spesifik, diukur dari panjang path aturan. Ketika aturan berbenturan pada tingkat kespesifikan yang sama, Google menggunakan aturan yang paling tidak membatasi, yang hampir selalu berarti allow mengalahkan disallow. Contoh dari Google memperjelasnya:

• Untuk /page, dengan allow: /p dan disallow: /, allow yang menang karena lebih spesifik.
• Untuk /folder/page, dengan allow: /folder dan disallow: /folder, allow yang menang karena pada kondisi seri Google memilih aturan yang paling tidak membatasi.
• Untuk /page.htm, dengan allow: /page dan disallow: /*.htm, disallow yang menang karena path-nya mencocokkan lebih banyak karakter dan lebih spesifik.

Jika Anda mengandalkan disallow yang luas untuk memblokir sebuah bagian, pastikan tidak ada allow yang terselip atau wildcard pendek di tempat lain yang diam-diam membukanya kembali.

Cara Google menangani error robots.txt

Kode status HTTP yang dikembalikan server Anda untuk permintaan robots.txt mengubah perilaku crawler, dan perbedaannya cukup besar untuk menyebabkan gangguan.

Status	Perilaku Google
2xx sukses	Menggunakan file apa adanya
4xx (kecuali 429)	Diperlakukan seolah robots.txt tidak ada dan mengasumsikan tidak ada batasan crawling
429 atau 5xx	Menjeda crawling sekitar 12 jam, lalu kembali ke salinan cache terakhir yang baik hingga 30 hari
Pengalihan 3xx	Mengikuti setidaknya lima lompatan pengalihan, lalu memperlakukannya sebagai 404
Error DNS atau jaringan	Diperlakukan sama seperti error server

Pelajaran praktisnya: endpoint robots.txt yang tidak stabil berbahaya dari dua arah. Menyajikan 403 secara tidak sengaja bisa membuat Google merayapi semua yang ingin Anda blokir. Jangan gunakan 401 atau 403 untuk membatasi laju crawling. Menyajikan 503 terlalu lama bisa membuat Google berhenti merayapi situs Anda sama sekali. File ini harus sama andalnya dengan halaman beranda Anda.

Google menyimpan cache robots.txt hingga 24 jam, dan lebih lama jika tidak bisa menyegarkan file. Google menghormati max-age pada header Cache-Control, sehingga Anda punya sedikit kendali atas seberapa cepat perubahan berlaku. Ketika Anda butuh penyegaran mendesak, laporan robots.txt di Search Console bisa meminta perayapan ulang.

robots.txt dan crawl budget

Untuk sebagian besar situs kecil, crawl budget bukan hal yang perlu dikhawatirkan. Google biasanya merayapi beberapa ribu URL secara efisien dengan sendirinya, dan pekerjaan yang berguna adalah menjaga sitemap tetap terkini serta tautan internal tetap rapi.

Crawl budget menjadi kendala nyata pada situs besar, dalam kisaran ratusan ribu hingga jutaan URL, dan pada situs menengah yang menghasilkan banyak halaman baru atau sering berubah. Panduan Google tentang ini ada di halaman optimalkan crawl budget. Penguras anggaran yang klasik bukanlah halaman artikel Anda, melainkan ekor panjang yang dihasilkan mesin: faceted navigation, parameter filter dan sortir, session ID, halaman pencarian internal, kalender yang membentang tak terbatas, dan kombinasi query string tak berujung yang semuanya menghasilkan konten nyaris identik. Jika dibiarkan terbuka, semua ini bisa menyerap sebagian besar perhatian crawler dan membuat halaman yang benar-benar ingin Anda rayapi dan segarkan justru terabaikan.

Di sinilah robots.txt membuktikan nilainya. Memblokir pola parameter dan ruang tak terbatas menjaga crawler tetap fokus pada URL kanonis yang bernilai. Ini adalah penerapan langsung dari logika biaya: Anda menurunkan biaya crawling situs Anda sehingga lebih banyak anggaran jatuh ke halaman yang layak diberi peringkat. Google semakin tidak toleran terhadap situs yang memproduksi halaman tipis buatan mesin dalam jumlah besar, dan panduannya mengarah pada indexing yang lebih selektif. robots.txt yang bersih, yang mencegah crawler tenggelam dalam URL bernilai rendah, adalah bagian dari menjaga situs besar tetap ekonomis untuk diproses.

Dua peringatan:

• Memblokir URL tidak menghapusnya dari indeks jika URL itu sudah terindeks dan ditautkan. Untuk pembersihan, izinkan crawling dan sajikan noindex sampai halaman-halaman itu keluar, baru kemudian blokir polanya.
• Jangan pernah memblokir CSS, JavaScript, atau endpoint API yang dibutuhkan Google untuk me-render halaman Anda. Memblokir sumber daya rendering bisa membuat Google melihat halaman yang rusak atau kosong, yang jauh lebih merugikan daripada penghematan crawling yang didapat.

robots.txt untuk crawler AI (GPTBot, ClaudeBot, Google-Extended)

Hingga belakangan ini, robots.txt hampir sepenuhnya berkaitan dengan crawler mesin pencari. Itu tidak lagi benar. Perusahaan AI kini menjalankan crawler mereka sendiri, dan kesalahan terbesar dalam file ini saat ini adalah memperlakukan semua bot AI sebagai satu hal yang sama lalu memblokirnya bersama-sama. Mereka bukan satu hal yang sama.

Sebagian besar penyedia besar menjalankan bot terpisah untuk tugas yang berbeda, dan masing-masing membaca token user-agent-nya sendiri:

• Crawler pelatihan mengumpulkan konten dalam jumlah besar untuk membangun bobot model. Mereka berjalan terus-menerus, tanpa ada pengguna di baliknya, dan tidak memberikan atribusi atau trafik rujukan.
• Crawler pencarian dan retrieval mengambil halaman ketika seorang pengguna mengajukan pertanyaan, lalu mengutip sumbernya dengan tautan balik.
• Pengambil yang dipicu pengguna bertindak atas nama orang tertentu yang meminta asisten untuk mengunjungi sebuah URL.

Berikut cara vendor utama membagi bot mereka.

Vendor	Crawler pelatihan (blokir untuk menolak pelatihan)	Crawler pencarian atau retrieval (izinkan agar tetap dapat dikutip)	Pengambil yang dipicu pengguna
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	(pengindeksan ditangani PerplexityBot)	PerplexityBot	Perplexity-User
Common Crawl	CCBot (memasok banyak dataset pelatihan terbuka)	tidak ada	tidak ada
Google	Google-Extended (token untuk pelatihan Gemini dan Vertex)	Googlebot (juga menjadi mesin di balik AI Overviews)	Pengambil Google yang dipicu pengguna

Pengaturan Google layak mendapat catatan tersendiri. Googlebot menangani Search. Google-Extended sama sekali bukan crawler. Ia adalah token yang mengontrol apakah konten Anda boleh melatih Gemini dan Vertex AI, dan Google telah memastikan bahwa memblokirnya tidak berpengaruh pada peringkat Search Anda maupun pada AI Overviews. Jadi Anda bisa menolak pelatihan model Google tanpa menyentuh visibilitas pencarian. Satu-satunya bot yang tidak boleh Anda blokir jika ingin muncul di Google Search adalah Googlebot itu sendiri.

Strategi default untuk sebagian besar brand pada 2026 cukup jelas. Blokir crawler pelatihan jika Anda tidak ingin konten Anda dipakai melatih model, dan izinkan crawler retrieval agar Anda tetap layak dikutip dalam jawaban AI. Memblokir bot retrieval adalah kesalahan yang mahal, karena hal itu menghapus Anda dari kanal jawaban AI yang semakin banyak mengirim trafik berkualitas. Audit sepanjang 2025 dan 2026 menemukan banyak situs memblokir bot retrieval secara tidak sengaja, biasanya sebagai peninggalan dari reaksi "blokir semuanya" pada 2023 atau dari pengaturan default yang membatasi yang disuntikkan oleh CDN atau CMS.

Konfigurasi yang seimbang terlihat seperti ini:

# Mesin pencari tradisional: izinkan
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Crawler pelatihan AI: blokir
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Crawler retrieval dan pencarian AI: izinkan agar tetap dapat dikutip
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# Default untuk yang lainnya
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Empat hal yang perlu diingat tentang crawler AI:

String user-agent berubah dari waktu ke waktu. Penyedia menambah, mengganti nama, dan memensiunkan bot. Pembagian Anthropic saat ini adalah ClaudeBot, Claude-SearchBot, dan Claude-User, sedangkan string lama anthropic-ai dan Claude-Web sudah tidak dipakai, jadi file yang hanya memblokir nama-nama lama itu sebenarnya tidak memblokir apa pun yang aktif. Periksa dokumentasi resmi, yang untuk dua penyedia terbesar adalah ikhtisar bot OpenAI dan artikel bantuan crawler Anthropic, lalu bandingkan dengan daftar komunitas seperti Dark Visitors. Tinjau file ini setiap kuartal.

Pengambil yang dipicu pengguna berbeda antar-vendor. Anthropic menyatakan bahwa Claude-User menghormati robots.txt. OpenAI mencatat bahwa ChatGPT-User dipicu oleh pengguna, sehingga robots.txt mungkin tidak berlaku dengan cara yang sama, dan Perplexity menyatakan hal serupa untuk Perplexity-User. Pengambil Google yang dipicu pengguna umumnya mengabaikan robots.txt. Jangan berasumsi aturannya berlaku seragam.

robots.txt adalah permintaan, bukan tembok. File ini bersifat sukarela. Crawler yang tepercaya mematuhinya, tetapi scraper, crawler siluman, dan pipeline yang memasok konten dari dataset pihak ketiga akan mengabaikannya. Jika Anda butuh penegakan alih-alih sekadar pernyataan preferensi, Anda memerlukan aturan firewall atau layanan bot management. Banyak CDN juga memblokir bot AI di lapisan jaringan terlepas dari apa pun isi robots.txt Anda, sehingga sebuah halaman bisa saja diizinkan di file tetapi tetap mengembalikan 403 kepada bot. Uji pengambilan yang sebenarnya, bukan hanya file-nya.

Content Signals sedang berkembang tetapi belum menjadi standar. Cloudflare dan beberapa penyedia mendorong sinyal yang dapat dibaca mesin di dalam robots.txt yang menggambarkan penggunaan yang diizinkan alih-alih akses, dengan kategori seperti search, ai-input, dan ai-train. Cloudflare mendokumentasikannya dalam panduan managed robots.txt. Google Search Console mungkin menandainya sebagai sintaks yang tidak dipahami, tanpa dampak yang teramati pada crawling. Anggap ini sebagai lapisan opsional yang masih berkembang, bukan pengganti aturan akses di atas.

Kesalahan robots.txt yang umum

• Menggunakan robots.txt untuk menghapus halaman dari indeks. Ini justru melakukan kebalikan dari yang Anda inginkan. URL bisa tetap ada di indeks tanpa snippet. Gunakan noindex pada halaman yang boleh dirayapi.
• Memblokir halaman yang membawa noindex. Google tidak pernah mengambil halaman itu, tidak pernah melihat noindex, dan halaman itu bisa tetap terindeks. Biarkan dirayapi sampai keluar, baru blokir jika memang perlu.
• Memblokir CSS, JavaScript, atau endpoint rendering. Google melihat halaman yang rusak. Ini diam-diam merusak peringkat demi penghematan crawling yang kecil.
• Kesalahan huruf besar-kecil pada path. /Downloads/ dan /downloads/ berbeda. Cocokkan persis dengan penulisan URL Anda yang sebenarnya.
• Membawa aturan staging ke produksi. User-agent: * dengan Disallow: / adalah milik staging dan tidak boleh mendekati situs live Anda. Satu baris ini pernah menghapus seluruh situs dari indeks. Jadikan penghapusannya bagian dari setiap checklist peluncuran.
• Mengandalkan grup wildcard untuk bot yang disebut namanya. Jika Googlebot punya grupnya sendiri, ia mengabaikan grup * sepenuhnya. Ulangi aturan yang Anda butuhkan di dalam setiap grup.
• Memercayai robots.txt untuk privasi atau keamanan. File ini publik dan sukarela. Gunakan autentikasi.
• Membiarkan file melebihi 500 kibibyte. Aturan yang melewati batas diabaikan tanpa peringatan. Rampingkan.
• Tidak sengaja memblokir bot retrieval AI. Wildcard disallow yang luas, pengaturan default lama yang membatasi, atau aturan CDN bisa menghapus Anda dari jawaban AI. Periksa pengambilan nyata setiap bot.

Cara menguji dan menerapkan robots.txt

Sebelum dan sesudah setiap perubahan, verifikasi file-nya alih-alih memercayainya begitu saja.

• Buka https://yourdomain.com/robots.txt di jendela penjelajahan pribadi (incognito) untuk memastikan file bersifat publik dan menyajikan teks biasa.
• Gunakan laporan robots.txt di Search Console untuk melihat file mana yang ditemukan Google untuk host Anda, kapan terakhir diambil, dan peringatan apa pun, serta untuk meminta perayapan ulang darurat setelah perbaikan. Jika Anda perlu Google menyegarkan file dengan cepat, ikuti panduan memperbarui file robots.txt.
• Untuk bot AI dan non-Google, uji pengambilan langsung per user-agent. Pemeriksaan cepat dengan curl menunjukkan apakah sebuah bot tertentu akan dilayani halaman:

curl -A "PerplexityBot" -I https://yourdomain.com/your-page/

Harapkan 200 dan tanpa header yang memblokir. Ulangi untuk GPTBot, ClaudeBot, dan OAI-SearchBot, dan periksa pengaturan bot di CDN atau firewall Anda secara terpisah, karena keduanya bisa menimpa file. Jika Anda menulis kode, parser robots.txt open-source milik Google memungkinkan Anda menguji file secara lokal dengan logika yang sama seperti yang dipakai Google.

Contoh dan template robots.txt

Titik awal yang bisa langsung disalin. Sesuaikan path dengan situs Anda, dan lihat daftar aturan robots.txt yang berguna dari Google untuk lebih banyak contoh.

Izinkan semuanya (file kosong atau tidak ada file memberikan efek yang sama):

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Blokir satu direktori untuk semua crawler:

User-agent: *
Disallow: /private/

Blokir parameter URL dan pencarian internal sambil tetap membuka halaman yang bersih:

User-agent: *
Disallow: /*?
Disallow: /search

Perlu diingat bahwa Disallow: /*? memblokir URL apa pun yang mengandung tanda tanya, jadi pastikan tidak ada halaman penting yang bergantung pada query string sebelum memakainya.

Blokir seluruh subdomain staging (letakkan ini di robots.txt milik host staging, jangan pernah di produksi):

User-agent: *
Disallow: /

Strategi AI, blokir pelatihan dan izinkan retrieval:

User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /

Blokir semua crawler AI, pelatihan maupun retrieval:

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: Claude-User
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: CCBot
Disallow: /

Pertanyaan yang sering diajukan

Apakah robots.txt menghentikan sebuah halaman dari pengindeksan? Tidak. File ini menghentikan crawling, bukan indexing. URL yang diblokir tetap bisa muncul di hasil pencarian jika ada halaman lain yang menautkannya, biasanya tanpa snippet. Untuk menjaga halaman keluar dari indeks, izinkan crawling dan gunakan aturan noindex.

Apakah robots.txt case-sensitive? Nama field tidak, tetapi nilai path iya. /Page dan /page dianggap URL yang berbeda, jadi cocokkan dengan penulisan asli Anda.

Apakah Google mendukung crawl-delay? Tidak. Google mengabaikan crawl-delay. Bing dan beberapa crawler lain menghormatinya, begitu pula Anthropic, tetapi untuk Google Anda mengatur laju crawling melalui Search Console.

Di mana file robots.txt diletakkan? Di root setiap host, misalnya https://example.com/robots.txt. File di subdirektori tidak valid. Setiap subdomain dan protokol membutuhkan file-nya sendiri.

Apakah memblokir GPTBot atau ClaudeBot akan merusak peringkat Google saya? Tidak. Keduanya adalah crawler AI, terpisah dari Googlebot. Memblokirnya tidak berpengaruh pada Google Search. Memblokir Google-Extended juga aman untuk Search, karena hanya mengontrol pelatihan Gemini dan Vertex.

Haruskah saya memblokir crawler AI? Tergantung tujuan Anda. Jika Anda ingin kutipan dan trafik rujukan dari jawaban AI, izinkan bot retrieval seperti OAI-SearchBot, Claude-SearchBot, dan PerplexityBot. Jika Anda ingin menjaga konten keluar dari pelatihan model, blokir bot pelatihan seperti GPTBot, ClaudeBot, dan CCBot. Memblokir bot retrieval secara tidak sengaja adalah kesalahan paling umum yang merugikan.

Apa yang terjadi jika saya tidak punya file robots.txt? Google memperlakukan file yang tidak ada sebagai izin untuk merayapi semuanya. Tidak punya file bukan masalah untuk banyak situs. Anda hanya perlu file ketika ingin membatasi crawling atau mengarahkan crawler ke sitemap.

Seberapa besar ukuran robots.txt yang diizinkan? Google membaca hingga 500 kibibyte. Apa pun setelah itu diabaikan, jadi jaga file tetap ramping.

Berapa lama sampai Google melihat perubahan saya? Google menyimpan cache robots.txt hingga 24 jam. Anda bisa meminta perayapan ulang yang lebih cepat melalui laporan robots.txt di Search Console.