Mengapa Situs Web Menutup Pintu untuk AI Agent
Irfan Mulyana
October 19, 2026 7:41 am
.
9 min read
Verdict
Situs web di seluruh dunia sedang menutup pintu untuk AI agent dalam skala yang belum pernah terjadi sebelumnya. Data Cloudflare Radar mencatat pemblokiran permintaan bot AI melonjak lebih dari dua kali lipat dalam setahun, dan hampir satu dari lima domain terbesar kini menolak crawler AI lewat robots.txt. Pemicunya bukan kebencian pada teknologi, melainkan logika bisnis: konten yang menghasilkan pendapatan tidak boleh disedot gratis. Artikel ini mengurai angka, cara kerja pemblokiran, tabel perbedaan jenis bot, jebakan yang sering membuat bisnis tak terlihat di jawaban AI, plus checklist praktis mengatur kebijakan bot sendiri.
Skala Penolakan: Angka yang Sulit Diabaikan
Beberapa bulan lalu, memblokir crawler AI masih dianggap sikap pinggiran. Sekarang, perilaku itu menjadi pengaturan bawaan.
Analisis terhadap 2.000 domain terbesar di internet yang dijalankan pada awal Agustus dan dipublikasikan di Dev.to menemukan fakta tajam: dari 1.530 domain yang file robots.txt-nya bisa diakses, sebanyak 292 domain atau 19,1 persen kini melarang setidaknya satu dari empat crawler AI utama, yaitu GPTBot, ClaudeBot, Google-Extended, dan PerplexityBot. Setahun sebelumnya, pemblokiran masih tergolong langkah pinggiran. Kini, pemblokiran menjadi keputusan umum.
Nama besar ikut menutup pintu. Amazon memblokir lima crawler AI utama sekaligus: GPTBot, ClaudeBot, Google-Extended, PerplexityBot, dan Bytespider. Instagram, X, Pinterest, dan TikTok masuk daftar platform yang menolak total, menurut analisis tersebut.
Data Cloudflare Radar yang dianalisis TechnologyChecker.io dan dilaporkan pada 9 Oktober menunjukkan situs di jaringan Cloudflare menolak 13,47 persen permintaan bot AI pada kuartal ketiga, naik dari 5,98 persen pada periode yang sama tahun sebelumnya. Snapshots terhadap 4.242 file robots.txt menunjukkan GPTBot diblokir 1,6 kali lebih sering dibanding diizinkan.
Ironisnya, crawler AI justru mengetuk makin keras. Permintaan crawl AI yang dipicu pencarian naik hampir dua kali lipat, dari 6,51 persen aktivitas crawl AI pada kuartal kedua menjadi 11,92 persen pada kuartal ketiga. Sistem AI ingin membaca situs lebih dari sebelumnya. Pemilik situs menolak lebih dari sebelumnya. Di tengah tarik menarik itu, bisnis bisa menjadi tak terlihat di AI search tanpa sadar.
Tiga Cara Situs Web Menghadang Bot AI
Pemblokiran tidak terjadi lewat satu pintu. Pemilik situs punya tiga lapisan pertahanan.
Lapisan pertama adalah file robots.txt. File teks sederhana ini memberi tahu bot bagian mana yang boleh dikunjungi. Aturan seperti “Disallow” untuk GPTBot atau ClaudeBot menjadi cara termurah menyatakan penolakan. Masalahnya, robots.txt bersifat sukarela. Bot yang sopan menaatinya, bot yang nakal mengabaikannya. Peneliti HasData menemukan banyak operator crawler yang mengabaikan aturan sukarela ini.
Lapisan kedua adalah pengaturan CDN dan firewall. Inilah lapisan yang mengubah permainan. Mulai 15 September, setiap domain baru yang bergabung dengan Cloudflare otomatis memblokir bot yang diklasifikasikan sebagai “Training” atau “Agent” pada halaman yang memuat iklan, sementara bot pengindeks pencarian tetap diterima. Kebijakan yang sama diperluas ke semua pelanggan paket gratis yang belum mengubah pengaturannya. Pemblokiran di level CDN jauh lebih efektif daripada robots.txt karena permintaan benar-benar ditolak sebelum mencapai server.
Lapisan ketiga adalah pengaturan di sisi aplikasi, misalnya plugin keamanan WordPress dengan aturan bot agresif atau konfigurasi server manual. Lapisan ini fleksibel, namun rawan kesalahan karena sering diatur sekali lalu dilupakan.
Perbedaan Bot Search, Training, dan Agent
Cloudflare membagi crawler menjadi tiga kelompok, dan pembedaan ini penting karena nasib ketiganya berbeda.
| Jenis Bot | Tugas | Contoh | Perlakuan Cloudflare |
|---|---|---|---|
| Search | Mengindeks halaman agar muncul di hasil pencarian | Googlebot, Bingbot | Diizinkan, dianggap memberi trafik balik |
| Training | Mengambil data untuk melatih model AI | GPTBot, ClaudeBot, CCBot | Diblokir bawaan pada halaman beriklan |
| Agent | Bertindak atas nama pengguna secara real time | Agent browsing ChatGPT, Perplexity | Diblokir bawaan pada halaman beriklan |
Logika pembedanya sederhana. Bot search membawa pengunjung kembali ke situs. Bot training mengambil konten untuk bahan model tanpa mengirim trafik. Bot agent membaca halaman lalu menjawab langsung di antarmuka asisten, sehingga pengguna tidak perlu membuka situs sumber. Dua kelompok terakhir dianggap mengambil nilai tanpa memberi imbal balik. Karena itu Cloudflare memblokir keduanya secara bawaan pada halaman yang menghasilkan pendapatan iklan.
CEO Cloudflare Matthew Prince menyatakan tujuan kebijakan ini jelas: konten yang mendorong pendapatan tidak bisa di-crawl tanpa izin eksplisit dari pemilik konten. Perusahaan juga mengubah nama program “Pay Per Crawl” menjadi “Pay Per Use”, dengan ide memberi imbalan pada publisher ketika konten mereka menciptakan nilai, bukan sekadar ketika diambil.
Motifnya Bisnis, Bukan Sentimen
Mudah mengira pemblokiran ini lahir dari ketakutan terhadap AI. Datanya menunjukkan motif yang lebih dingin: uang.
Penerbit berita memblokir crawler AI 5,5 kali lebih sering dibanding situs web umum, menurut indeks HasData. Penerbit hidup dari iklan dan langganan. Ketika jawaban AI merangkum artikel mereka tanpa membawa pembaca, model bisnis mereka bocor. Menolak crawler menjadi cara menutup kebocoran.
Platform raksasa punya kalkulasi sendiri. Amazon, Instagram, X, Pinterest, dan TikTok menutup pintu total karena data mereka adalah aset kompetitif. Membiarkan crawler AI menyedot data berarti melatih pesaing masa depan dengan bahan bakar gratis.
Cloudflare memosisikan diri sebagai wasit sekaligus pedagang. Dengan memblokir bawaan lalu menawarkan jalur berbayar “Pay Per Use”, perusahaan menciptakan pasar baru: akses bot yang sah dan terukur. Publisher mendapat potensi pendapatan baru, perusahaan AI mendapat akses legal, dan Cloudflare duduk di tengah sebagai penjaga gerbang.
Bagi pembaca Indonesia, pelajaran ini relevan. Bisnis yang mengandalkan trafik organik perlu memahami bahwa visibilitas di jawaban AI kini menjadi aset yang bisa hilang. Strategi GEO atau optimasi kemunculan di jawaban generatif menjadi pelengkap SEO klasik. Pembahasan tentang strategi GEO saat trafik SEO turun memberi gambaran bagaimana bisnis beradaptasi pada pergeseran ini.
Bahaya Blokir yang Tidak Disengaja
Bagian paling meresahkan dari tren ini: sebagian besar situs yang memblokir crawler AI tidak pernah berniat melakukannya.
Pola yang sering terjadi, menurut pengalaman praktisi yang didokumentasikan Dev.to, berjalan seperti ini. Seseorang mengaktifkan tombol “block AI bots” sekali klik di Cloudflare saat setup lalu lupa. Plugin keamanan WordPress dikirim dengan aturan bot agresif dan pemilik tidak pernah meninjau. Developer menyalin template robots.txt dari forum tahun 2024 yang melarang semua bot yang bisa disebut namanya. Toko online diserang scraper satu akhir pekan, memblokir semuanya dalam panik, dan tidak ada yang mengembalikan pada hari Senin.
Hasilnya sunyi namun mahal. Enam bulan kemudian pemilik heran mengapa ChatGPT tidak pernah menyebut merek mereka sementara kompetitor muncul di setiap jawaban. Blokir yang dipasang sebagai pertahanan darurat terus bekerja lama setelah ancaman pergi. Pertahanan sementara berubah menjadi hambatan permanen.
Cara memeriksa status sendiri cukup sederhana. Buka file robots.txt di domain sendiri dan cari baris yang menyebut GPTBot, ClaudeBot, Google-Extended, atau PerplexityBot. Periksa dasbor Cloudflare pada bagian pengaturan bot. Tinjau plugin keamanan WordPress bila ada. Pengecekan lima menit ini bisa menyelamatkan visibilitas merek di jawaban AI.
Lima kesalahan yang paling sering berulang: memblokir dalam panik tanpa rencana pengembalian; menyalin template robots.txt tanpa memahami isinya; mengandalkan satu lapisan saja, padahal deklarasi tanpa penegakan bocor pada hampir 40 persen kasus; tidak pernah mengaudit ulang setelah migrasi layanan; dan menganggap semua bot AI sama, sehingga trafik pencarian ikut tertolak.
Deklarasi Tidak Sama dengan Eksekusi
Studi HasData yang membandingkan 10.894 domain pada Juli dan September memberi pelajaran penting: menyatakan larangan di robots.txt tidak sama dengan benar-benar menegakkannya.
Dari 592 situs yang menyatakan larangan GPTBot di robots.txt, sebanyak 234 situs atau 39,5 persen tetap melayani halaman hidup ketika diuji langsung. Larangan hanya berlaku bila dua hal bekerja sekaligus, yaitu deklarasi dan penegakan di baliknya. Angka HasData menunjukkan keduanya bisa gagal secara independen.
Kasus lain datang dari migrasi produk Cloudflare sendiri. Ketika Cloudflare mempensiunkan fitur “Managed Robots.txt” dan “Block AI Bots” pada 15 September, sebanyak 118 situs kehilangan baris opt-out AI dari robots.txt mereka, termasuk Smithsonian, Ko-fi, Find a Grave, Vatican News, National Review, Bellingcat, dan Patreon. Penggantinya, Bot Preference Sync, mengharuskan pelanggan meninjau dan mengonfirmasi aturan baru sebelum ditulis, sehingga file robots.txt kosong sampai mereka bertindak. Langkah yang tidak ditandai jelas dalam pengumuman Cloudflare itu membuat perlindungan sejumlah situs lenyap diam-diam.
Cara Mengatur Kebijakan Bot Sendiri
Setelah memahami peta persoalan, berikut langkah praktis mengatur kebijakan bot di situs sendiri.
Pertama, tentukan tujuan. Bila bisnis bergantung pada kemunculan di jawaban AI seperti ChatGPT atau Gemini, crawler AI perlu diizinkan secara selektif. Bila konten adalah aset berbayar, pembatasan justru masuk akal. Keputusan ini menentukan seluruh konfigurasi berikutnya.
Kedua, audit robots.txt. Buka domain sendiri diikuti /robots.txt dan baca setiap baris. Hapus larangan untuk bot yang sebenarnya diinginkan. Tambahkan larangan spesifik hanya untuk bot yang terbukti merugikan, bukan semua bot sekaligus.
Ketiga, periksa pengaturan CDN. Pengguna Cloudflare perlu meninjau klasifikasi bot pada dasbor, terutama setelah perubahan bawaan 15 September. Pastikan halaman beriklan tidak memblokir bot yang sebenarnya dibutuhkan, atau sebaliknya, pastikan halaman premium terlindungi bila itu tujuannya.
Keempat, gunakan meta tag untuk kontrol halus. Tag seperti pengaturan noarchive atau arahan khusus crawler memberi kontrol per halaman tanpa mengubah aturan situs secara keseluruhan. Cara ini cocok untuk melindungi artikel premium sambil membiarkan halaman pemasaran tetap terbuka.
Kelima, jadwalkan audit berkala. Tinjau kebijakan bot setiap tiga bulan atau setiap kali berganti plugin, tema, maupun layanan CDN. Perubahan produk penyedia layanan bisa mengubah perilaku pemblokiran tanpa pemberitahuan yang jelas, seperti yang dialami 118 situs pada kasus Cloudflare.
Bagi yang membangun alur kerja dengan AI agent, penting memahami bahwa agent yang sama bisa ditolak di satu situs dan diterima di situs lain. Pembahasan tentang integrasi AI agent di aplikasi chat harian dan fenomena AI agent yang booming di kantor menunjukkan seberapa cepat teknologi ini merasuk ke alur kerja, sehingga kebijakan akses situs menjadi bagian dari strategi yang tidak bisa diabaikan. Konteks perang standar yang lebih luas, misalnya Amazon yang memblokir Meta Muse, menegaskan bahwa perebutan akses agent sedang berlangsung di level industri.
Conclusion
Web sedang menegosiasikan ulang syarat aksesnya. Hampir seperlima domain terbesar menolak crawler AI, Cloudflare menjadikan pemblokiran sebagai bawaan, dan penerbit berita memblokir lima kali lebih agresif dibanding situs biasa. Di sisi lain, hampir 40 persen larangan yang dideklarasikan ternyata tidak ditegakkan, dan banyak blokir terjadi tanpa disengaja oleh pemiliknya sendiri.
Pelajaran praktisnya dua arah. Pemilik situs perlu memutuskan secara sadar bot mana yang diizinkan dan meninjau keputusan itu berkala, bukan membiarkan pengaturan bawaan atau template lama yang menentukan. Pengguna dan pembangun AI agent perlu sadar bahwa akses agent ke web terbuka tidak lagi bisa dianggap pasti, sehingga ketergantungan pada satu sumber data menjadi risiko.
Bagi yang ingin bereksperimen membangun sesuatu dengan AI tanpa coding, panduan membuat aplikasi Android modal prompt bisa menjadi titik mulai yang menarik sambil mengikuti perkembangan kebijakan akses web ini.
Era web yang terbuka untuk semua bot sudah berakhir. Yang tersisa adalah web yang memilih siapa boleh masuk, dan pilihan itu kini menjadi keputusan bisnis yang perlu dibuat dengan sadar.