Kenapa Blokir Crawler AI ChatGPT atau Gemini ?
Memblokir crawler AI seperti ChatGPT dan Gemini dari situs web kita mungkin terdengar ekstrem, namun ada beberapa alasan kuat mengapa beberapa pemilik situs web memilih untuk melakukan hal ini:
Baca juga : Mengenal footprint dari konten AI : ChatGPT & Gemini
Perlindungan Hak Cipta:
- Konten Unik: Jika situs web Anda berisi konten yang sangat unik, seperti hasil riset eksklusif, karya seni asli, atau algoritma khusus, memblokir crawler AI dapat mencegah konten tersebut digunakan tanpa izin untuk melatih model AI lain atau menghasilkan konten serupa.
- Penyalahgunaan: Ada risiko konten Anda disalahgunakan atau dipalsukan untuk tujuan yang tidak etis.
- Menghindari rewrite dengan mudah. Sulit untuk memutuskan memasukkan point ini atau tidak, karena jika Anda memblokir ChatGPT pun, orang tetap bisa copy paste teks artikel Anda untuk direwrite dan.. hanya perlu waktu beberapa detik untuk merewrite konten Anda.
Privasi Data:
- Informasi Sensitif: Jika situs web Anda menangani data pribadi atau sensitif, memblokir crawler dapat membantu melindungi informasi tersebut dari akses yang tidak sah.
- Pelacakan: Crawler AI dapat mengumpulkan data tentang perilaku pengguna di situs Anda, yang dapat digunakan untuk tujuan yang tidak diinginkan.
Keunggulan Kompetitif:
- Rahasia Dagang: Jika situs web Anda berisi informasi rahasia dagang, memblokir crawler dapat mencegah pesaing Anda memanfaatkan informasi tersebut.
Kerugian Memblokir Crawler AI:
- SEO: Crawler AI sering digunakan oleh mesin pencari untuk mengindeks konten. Memblokirnya dapat berdampak negatif pada peringkat website di mesin pencari.
- Visibilitas: Konten website Anda menjadi kurang terlihat oleh pengguna yang mencari informasi melalui AI chatbot seperti ChatGPT.
- Pengembangan Produk: Data yang dikumpulkan oleh crawler AI dapat digunakan untuk meningkatkan produk dan layanan. Dengan memblokirnya, Anda kehilangan kesempatan untuk berkontribusi pada pengembangan teknologi AI.
- Inovasi: Memblokir crawler AI dapat menghambat inovasi dalam bidang AI, karena model AI tidak dapat belajar dari data yang ada di website Anda.
- SearchGPT : Bisa jadi jika Anda memblokir crawler ChatGPT, maka website Anda tidak diberikan credit/citate di SearchGPT.
Baca juga : Cara SEO teranking di SearchGPT
Cara Memblokir Crawler ChatGPT
Manfaatkan Robots.txt
Robots.txt adalah file teks yang memberi instruksi kepada crawler tentang halaman mana yang boleh dan tidak boleh diakses.
Anda bisa menambahkan aturan seperti `User-agent: ChatGPT Disallow: /` untuk melarang ChatGPT mengakses seluruh website Anda.
Anda juga bisa memblokir direktori atau halaman tertentu.
Contoh website yang blokir crawler ChatGPT
Jika Anda membuka https://www.cnnindonesia.com/robots.txt Anda akan menemukan :
User-agent: Googlebot Disallow: *?tag_from Disallow: */embed Disallow: */video/embed Disallow: */ucnews Disallow: */search Disallow: */logout Disallow: */api$ Disallow: */api/ Disallow: *?device=desktop Disallow: *&device=desktop Disallow: /~* Disallow: *?smartautoplay Disallow: *?zoom Disallow: *?rand= Disallow: *?utm_source Disallow: *?page% Disallow: *?utm_medium Disallow: */?query User-agent: * Allow: / User-agent: ChatGPT-User Disallow: / User-agent: OpenAI Disallow: / User-agent: CCBot Disallow: / User-agent: GPTBot Disallow: / Sitemap: https://www.cnnindonesia.com/sitemap.xml
Apa artinya ?
User-agent: ChatGPT-User
Disallow: /: Melarang ChatGPT-User untuk mengakses seluruh situs.
User-agent: OpenAI
Disallow: /: Melarang OpenAI untuk mengakses seluruh situs.
User-agent: CCBot
Disallow: /: Melarang CCBot (Common Crawl Bot) untuk mengakses seluruh situs.
User-agent: GPTBot
Disallow: /: Melarang GPTBot (bot milik OpenAI untuk ChatGPT) untuk mengakses seluruh situs.
Jadi gimana ? blokir atau tidak ?