Cloudflare memperkenalkan sistem kendali akses baru yang memungkinkan pemilik situs web mengatur lalu lintas crawler AI secara spesifik berdasarkan tiga kategori fungsi—Search, Agent, dan Training—untuk memberikan kontrol lebih besar atas penggunaan konten digital mereka di era kecerdasan buatan.
DIGI-HIGHLIGHTS:
■ Segmentasi Crawler: Membagi bot menjadi tiga kategori fungsi (Search, Agent, Training) agar pemilik situs bisa memblokir atau mengizinkan secara selektif.
■ Standar Default Baru: Mulai 15 September 2026, bot pelatihan dan agen akan diblokir otomatis pada situs yang menampilkan iklan guna melindungi konten.
■ Akuntabilitas Bot: Bot terverifikasi yang melanggar batasan penggunaan konten (seperti mereproduksi artikel penuh) terancam kehilangan status verifikasinya.
Pemilik situs web kini memiliki “rem” yang lebih pakem dalam mengendalikan bagaimana kecerdasan buatan (AI) mengais konten mereka. Cloudflare, perusahaan infrastruktur web global, baru saja merilis sistem kendali akses yang jauh lebih canggih untuk membedakan antara bot pencari (search engine), agen AI, dan crawler pelatihan (training). Langkah ini merespons keresahan pemilik konten yang merasa hak kekayaan intelektual mereka terancam oleh penyedotan data masif oleh perusahaan AI tanpa kompensasi yang adil.
Selama ini, pemilik situs web sering kali hanya memiliki opsi “satu pintu”: memblokir semua otomatisasi atau membiarkan semuanya masuk. Kini, Cloudflare mengubah pendekatan tersebut dengan mengategorikan bot berdasarkan fungsinya.
“Pemilik konten tetap ingin bisa melindungi konten mereka, dan mereka harus mendapatkan kompensasi atas konten orisinal yang telah mereka upayakan dengan kerja keras untuk dibuat, dikurasi, dan dibagikan. Kami juga memahami bahwa mengunci konten bukanlah solusi yang bisa diterapkan untuk semua situasi; pemilik situs web menginginkan lebih banyak pilihan daripada sekadar selalu mengambil jalan pintas dengan ‘memblokir semua otomatisasi setiap saat’,” ungkap Jin-He Lee, Product Manager, dan Bryan Becker, Director of Product di Cloudflare, mengutip helpnetsecurity.com.
Kebijakan Baru Mulai September
Perubahan paling signifikan akan terjadi pada 15 September 2026. Secara default, domain baru di Cloudflare akan otomatis memblokir crawler untuk kategori Training dan Agent pada halaman yang menampilkan iklan. Namun, crawler untuk kategori Search (seperti Googlebot atau BingBot) akan tetap diizinkan agar situs tetap terindeks oleh mesin pencari.
Tantangan muncul bagi bot serba guna yang menjalankan fungsi pencarian sekaligus pelatihan. Jika pemilik situs memblokir crawler pelatihan, maka bot tersebut akan ikut tertutup aksesnya, meskipun fungsi pencariannya diizinkan. Pemilik situs memiliki waktu hingga sebelum 15 September untuk melakukan penyesuaian di menu pengaturan keamanan mereka jika ingin mempertahankan perilaku crawler saat ini.
Transparansi dan Kendali Konten
Cloudflare juga memperluas visibilitas bagi pelanggan Enterprise melalui BotBase, sebuah basis data terpusat yang mencatat perilaku bot. Selain itu, perusahaan menambahkan fitur Content Use Controls yang memungkinkan pemilik situs menentukan batasan penggunaan konten, mulai dari Immediate (tanpa penyimpanan), Reference (indeks dan kutipan), hingga Full (ringkasan atau reproduksi penuh).
Sebagai bentuk akuntabilitas, bot terverifikasi yang mengabaikan preferensi pemilik situs atau mereproduksi konten secara penuh tanpa izin terancam kehilangan status “Verified” mereka. Langkah ini merupakan upaya Cloudflare untuk menjembatani transparansi antara operator AI dan pemilik konten di tengah ketidakpastian regulasi hak cipta global.
Cloudflare juga mengusulkan model transitive trust untuk agen AI yang beroperasi melalui platform pihak ketiga. Dengan menggunakan header HTTP khusus, pemilik situs dapat mengidentifikasi operator asli di balik bot tersebut, sehingga mereka dapat menerapkan kebijakan akses yang lebih presisi berdasarkan identitas operator, bukan sekadar perantara yang melakukan permintaan data. ●
DIGI-INSIGHTS:
Langkah Cloudflare untuk mengategorikan crawler AI ke dalam tiga fungsi spesifik—Search, Agent, dan Training—merupakan pergeseran paradigma penting dalam tata kelola internet global. Selama ini, pemilik situs web terjebak dalam dilema antara visibilitas pencarian (search visibility) dan perlindungan hak cipta dari penambangan data AI yang agresif. Dengan memecah fungsionalitas bot, Cloudflare memberikan instrumen bagi pemilik konten untuk memisahkan “manfaat” dari mesin pencari dengan “kerugian” akibat penyedotan data untuk melatih model AI komersial. Ini adalah langkah teknis yang krusial untuk mengembalikan kedaulatan data kepada pemilik konten di tengah maraknya ekonomi kecerdasan buatan.
Di sisi lain, kebijakan ini memberikan tekanan baru bagi pengembang AI dan operator bot untuk bersikap lebih transparan dan etis. Dengan mengancam mencabut status “Verified” bagi bot yang melanggar preferensi konten, Cloudflare secara efektif mengubah standar kepatuhan dari sekadar imbauan moral menjadi konsekuensi operasional yang nyata. Bagi perusahaan AI, akses ke situs-situs besar yang berada di bawah jaringan Cloudflare kini tidak lagi bisa dilakukan secara “gelap” atau tanpa batasan; mereka dipaksa untuk menghormati parameter use case yang ditetapkan. Hal ini kemungkinan besar akan memicu diskusi lebih luas mengenai standardisasi robots.txt yang lebih evolusioner, yang tidak hanya mengatur tentang aksesibilitas, tetapi juga hak guna konten.
Secara strategis, inisiatif ini mempertegas peran Cloudflare sebagai “penjaga gerbang” (gatekeeper) utama infrastruktur internet yang mampu menetapkan standar industri secara de facto.
Dengan mengusulkan model transitive trust bagi agen AI, Cloudflare tidak hanya mengamankan lalu lintas data, tetapi juga sedang merancang arsitektur keamanan siber yang lebih adaptif terhadap era agentic AI. Bagi industri perbankan dan sektor keuangan yang sangat bergantung pada keamanan data dan integritas konten, langkah ini memberikan preseden penting: bagaimana mengelola otomatisasi yang otonom tanpa harus kehilangan kendali atas aset intelektual dan informasi strategis yang dikelola di dalam ekosistem digital mereka.
DIGIONARY:
● Agent: Bot AI yang dirancang untuk melakukan tugas otonom, seperti menjalankan fungsi atau bertransaksi atas nama pengguna.
● BotBase: Basis data Cloudflare yang memuat daftar bot terverifikasi serta klasifikasi perilakunya untuk keperluan keamanan.
● Crawler: Program otomatis yang menjelajahi web untuk mengumpulkan data atau mengindeks konten (sering disebut sebagai spider atau bot).
● HTTP Forwarded Header: Informasi dalam protokol web yang digunakan untuk mengidentifikasi operator asli di balik permintaan data yang melalui perantara.
● Robots.txt: File teks di server web yang memberikan instruksi kepada crawler tentang halaman mana yang boleh atau tidak boleh diakses.
● Training Crawler: Bot yang dikhususkan untuk mengumpulkan data dalam jumlah besar guna melatih model kecerdasan buatan (Large Language Models).
● Transitive Trust Model: Model kepercayaan di mana pemilik situs dapat memverifikasi operator asli dari bot yang datang melalui pihak ketiga.
#Cloudflare #AI #Cybersecurity #WebSecurity #DigitalContent #ArtificialIntelligence #BotManagement #SearchEngineOptimization #SEO #CopyrightProtection #TechNews #InternetInfrastructure #DataPrivacy #WebCrawler #AIethics #ContentCreator #DigitalRights #WebDevelopment #CyberSecurityNews #TechInnovation
