Google-Extended Tidak Mengatur AI Overviews
Memblokir Google-Extended tidak mengeluarkan halaman dari AI Overviews atau AI Mode; yang mengaturnya adalah kontrol snippet dan indeks di Search. Dokumentasi crawler Google, diperbarui 15 Oktober 2026, menyebut Google-Extended tidak memengaruhi keberadaan situs di Google Search, dan panduan fitur AI-nya menyebut empat kontrol: nosnippet, data-nosnippet, max-snippet, dan noindex.
Mercy Tahitoe, Studio Head, White Wood, Jakarta.
1. Apa yang sebenarnya dimatikan Google-Extended
Google-Extended adalah token izin untuk Gemini, bukan crawler yang bisa Anda blokir dari Search. Menurut dokumentasi Google, token ini tidak punya user agent sendiri. Perayapan tetap dilakukan crawler Google yang biasa, dan token di robots.txt hanya menentukan apakah konten itu boleh dipakai untuk melatih model Gemini berikutnya serta untuk grounding jawaban di aplikasi Gemini dan di Grounding with Google Search pada Vertex AI. Halaman yang sama menegaskan token ini bukan sinyal peringkat dan tidak memengaruhi keberadaan di Search.
Jadi situs yang memblokir Google-Extended tetap bisa dirayapi, diindeks, mendapat peringkat, dan muncul di dalam AI Overview.
2. Kontrol yang benar-benar diikuti Search
AI Overviews dan AI Mode adalah bagian dari Search, jadi keduanya tunduk pada kontrol yang sama dengan hasil pencarian biasa. Panduan fitur AI dari Google menyebut tidak ada syarat tambahan untuk tampil di sana. Agar tampil sebagai tautan pendukung, halaman harus terindeks dan boleh ditampilkan snippet-nya. Untuk membatasi apa yang ditampilkan Google dari sebuah halaman, panduan itu menunjuk empat kontrol, dan dokumentasi tag meta robots menjelaskan cara kerjanya:
| Yang Anda inginkan | Kontrol | Efek lainnya |
|---|---|---|
| Keluarkan halaman dari Search sepenuhnya, termasuk fitur AI | noindex | Halaman hilang juga dari hasil biasa |
| Halaman tetap tampil, tapi teksnya tidak jadi bahan AI Overviews dan AI Mode | nosnippet | Snippet teks di hasil biasa ikut hilang |
| Batasi panjang teks yang boleh dipakai | max-snippet:[angka] | Batas yang sama berlaku untuk snippet biasa; max-snippet:0 sama dengan nosnippet |
| Sembunyikan satu bagian teks | data-nosnippet pada elemen span, div, atau section | Bagian itu tidak pernah tampil sebagai snippet di mana pun |
| Hentikan pelatihan dan grounding Gemini | Disallow Google-Extended di robots.txt | Tidak ada perubahan di Search |
Dari semua kontrol yang didokumentasikan Google, tidak ada yang mengeluarkan Anda dari AI Overviews sambil mempertahankan snippet biasa. Setiap kontrol memangkas keduanya.
Ada dua detail yang sering terlewat. Google hanya membaca tag ini kalau crawler-nya bisa membuka halaman, jadi halaman yang diblokir di robots.txt juga menyembunyikan noindex-nya dari Google. Dan kalau ada aturan yang bertentangan, Google memakai aturan yang lebih ketat.
3. Asisten lain punya tombolnya sendiri
ChatGPT dan Perplexity memisahkan pencarian dari pelatihan, masing-masing dengan nama crawler sendiri. Dokumentasi OpenAI menjelaskan OAI-SearchBot sebagai crawler untuk pencarian ChatGPT dan GPTBot untuk pelatihan, yang diatur secara terpisah. Situs yang memblokir OAI-SearchBot tidak akan tampil di jawaban pencarian ChatGPT, meski masih bisa muncul sebagai tautan navigasi. Menurut OpenAI, perubahan robots.txt butuh sekitar 24 jam untuk berlaku.
Dokumentasi Perplexity menyebut PerplexityBot menampilkan dan menautkan situs di hasil pencariannya, dan tidak dipakai untuk melatih model. Perplexity-User, yang mengambil halaman ketika pengguna memintanya, umumnya mengabaikan robots.txt karena permintaannya datang dari orang.
4. Pilihan kami untuk whitewood.ai
Kami mengizinkan semua crawler ini, termasuk crawler pelatihan, karena bagi studio sekecil kami, ditemukan lebih penting daripada menahan teks. File robots.txt whitewood.ai menyebut OAI-SearchBot, GPTBot, PerplexityBot, Perplexity-User, Google-Extended, dan yang lain satu per satu, lalu mengizinkan semuanya. Di SOLEDAD, mesin pemantau AI milik White Wood, beranda kami dikutip 21 kali oleh Google AI Overview untuk 3 dari 10 prompt yang kami pantau, pada 18 September sampai 18 Oktober 2026.
Pilihan Anda bisa berbeda. Penerbit yang pendapatannya bergantung pada orang membaca artikel sampai habis mungkin menilai nosnippet di sebagian halaman sepadan dengan hilangnya snippet. Putuskan per halaman, bukan untuk seluruh domain.
Kalau Anda mengubah pengaturan, cek halamannya dengan alat URL Inspection di Search Console. Panduan Google mengingatkan bahwa perayapan ulang bisa makan waktu dari beberapa hari sampai beberapa bulan.
Yang tidak bisa dijawab dari sini
Kontrol ini menentukan apa yang boleh dipakai mesin, bukan apakah mesin akan memakai Anda. Mengizinkan semua crawler tidak membuat whitewood.ai muncul di sebagian besar jawaban: kutipan beranda kami datang dari satu mesin untuk 3 prompt. Kami belum menguji nosnippet di halaman kami sendiri, jadi kami tidak bisa menunjukkan apa akibatnya terhadap klik bila halaman dikeluarkan dari AI Overviews. Aturannya juga bisa berubah; cek tanggal di setiap sumber di bawah sebelum bertindak.
Kepentingan kami: layanan ini kami jual di White Wood, dan hasilnya kami pantau dengan SOLEDAD, mesin pemantau AI buatan kami sendiri.
FAQ
Kalau saya memblokir Google-Extended, apakah peringkat saya turun?
Google menyatakan Google-Extended tidak dipakai sebagai sinyal peringkat dan tidak memengaruhi keberadaan di Search.
Bisakah halaman saya tetap ada di Google tapi tidak di pencarian ChatGPT?
Bisa. Blokir OAI-SearchBot di robots.txt. Menurut OpenAI, halaman itu masih bisa muncul sebagai tautan navigasi.
Sumber
- Google Search Central, Google’s common crawlers (Google-Extended), diperbarui 15 Oktober 2026: https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google Search Central, AI features and your website: https://developers.google.com/search/docs/appearance/ai-features
- Google Search Central, spesifikasi tag meta robots, diperbarui 24 Maret 2026: https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag
- OpenAI, dokumentasi crawler: https://developers.openai.com/api/docs/bots
- Perplexity, Perplexity crawlers: https://docs.perplexity.ai/guides/bots
- robots.txt whitewood.ai, dibaca 26 Oktober 2026: https://whitewood.ai/robots.txt
- SOLEDAD, mesin pemantau AI milik White Wood: baseline whitewood.ai, 10 prompt tanpa nama brand di enam mesin, 18 September sampai 18 Oktober 2026