Cara mengecek apakah AI crawler bisa membaca halaman Anda
Halaman bisa terlihat sempurna di browser tapi nyaris kosong untuk AI. Panduan singkat mengecek apa yang benar-benar bisa dibaca crawler seperti ChatGPT dan Claude, dari cara gratis sampai pengecekan cepat dengan Agent View.
Untuk mengecek apakah AI bisa membaca halaman Anda, bandingkan teks yang muncul di browser dengan raw HTML yang diterima crawler sebelum JavaScript berjalan. Kalau konten penting baru muncul setelah JavaScript dieksekusi, crawler seperti GPTBot dan ClaudeBot tidak melihatnya, karena keduanya mengambil halaman tanpa menjalankan JavaScript.
Artikel ini menunjukkan cara mengeceknya sendiri, dari metode gratis yang bisa Anda lakukan sekarang sampai pemeriksaan menyeluruh dengan satu ekstensi. Anda akan tahu bagian mana dari halaman yang terbaca AI, bagian mana yang hilang, dan apa yang perlu diperbaiki lebih dulu.
Apa arti "bisa dibaca AI" sebenarnya
"Bisa dibaca AI" artinya kata-kata yang Anda lihat di layar juga ada di raw HTML yang diterima crawler saat pertama kali mengambil halaman. AI menjawab dan mengutip dari apa yang bisa mereka baca, bukan dari apa yang terlihat oleh mata manusia.
Ukuran paling praktis adalah persentase, yaitu berapa banyak teks yang tampak di browser yang juga muncul di HTML mentah. Kalau angkanya tinggi, hampir semua konten Anda tersedia untuk crawler. Kalau rendah, sebagian besar isi halaman bergantung pada JavaScript dan berisiko tidak terbaca.
Kenapa halaman bisa terlihat normal tapi kosong untuk AI
Banyak situs merender kontennya di sisi klien. Server mengirim kerangka HTML yang hampir kosong, lalu JavaScript mengisi teks, harga, dan deskripsi setelah halaman dimuat di browser. Untuk pengunjung manusia, hasilnya mulus. Untuk crawler yang tidak menjalankan JavaScript, halaman itu nyaris kosong.
Menurut analisis crawler Vercel pada 2024, crawler AI besar tidak mengeksekusi JavaScript, termasuk GPTBot, OAI-SearchBot, dan ChatGPT-User milik OpenAI, ClaudeBot milik Anthropic, serta PerplexityBot. Mereka memang mengambil file JavaScript sebagai teks, ChatGPT pada sekitar 11,50 persen request dan Claude pada sekitar 23,84 persen, tapi tidak menjalankannya. Artinya konten yang hanya muncul setelah JavaScript berjalan tetap tidak terbaca.
Tidak semua crawler sama. Gemini memakai infrastruktur Googlebot yang bisa merender JavaScript, dan AppleBot juga merender lewat crawler berbasis browser. Jadi konten sisi klien mungkin sampai ke Gemini, tapi belum tentu ke ChatGPT, Claude, atau Perplexity. Perilaku ini bisa berubah seiring waktu, jadi mengeceknya sendiri lebih aman daripada berasumsi.
Bandingkan teks yang terlihat dengan sumber halaman
Cara paling cepat dan gratis adalah membuka source halaman. Di Chrome, tekan Ctrl+U (atau Cmd+Option+U di Mac) untuk melihat raw HTML yang dikirim server, sebelum JavaScript mengubah apa pun.
Cari satu paragraf penting yang Anda lihat di halaman, misalnya kalimat pembuka artikel atau deskripsi produk, lalu gunakan Ctrl+F di tampilan source untuk mencarinya. Kalau teks itu ada di source, crawler yang tidak merender kemungkinan besar bisa membacanya. Kalau tidak ketemu, teks itu ditambahkan oleh JavaScript dan berisiko hilang untuk AI.
Perlu diingat bahwa Ctrl+U menampilkan HTML awal, bukan DOM yang sudah dirender. Perbedaan antara keduanya justru yang ingin Anda ukur. Untuk beberapa halaman kunci, cara manual ini sudah cukup memberi gambaran.
Ambil halaman seperti yang dilihat crawler
Langkah berikutnya adalah mengambil halaman memakai user-agent crawler, supaya Anda melihat persis respons yang mereka terima. Nama user-agent tiap crawler didokumentasikan resmi oleh OpenAI, Anthropic, dan Perplexity, jadi Anda bisa memakainya persis saat mengetes. Dengan curl, Anda bisa meniru ClaudeBot lewat perintah seperti:
curl -A "ClaudeBot" https://situsanda.com/halamanPerhatikan dua hal dari hasilnya. Pertama, status HTTP yang dikembalikan. Status 200 berarti halaman dilayani, sedangkan 403 berarti akses ditolak. Kedua, isi HTML-nya, apakah teks penting benar-benar ada di sana. Ganti user-agent menjadi GPTBot atau PerplexityBot untuk melihat apakah ada crawler yang diperlakukan berbeda.
Untuk sisi Google, Google Search Console punya URL Inspection yang gratis dan menunjukkan HTML yang dirender Googlebot. Alat itu berguna untuk indexing Google, tapi tidak mewakili GPTBot atau ClaudeBot yang tidak merender. Karena itu satu alat saja jarang cukup untuk memetakan semua crawler sekaligus.
Cara tercepat, pakai Agent View
Kalau ingin melihat semuanya dalam satu tampilan, Agent View melakukan pemeriksaan di atas secara otomatis. Ini ekstensi Chrome gratis dari Search Agency, tanpa akun dan tanpa server, dan semua hasil disimpan lokal di browser Anda.
Buka halaman yang ingin dicek, jalankan Agent View, dan Anda akan mendapat Citation Readability Score, yaitu persentase kata yang terlihat yang juga ada di raw HTML yang diterima crawler non-render. Laporannya menunjukkan blok konten yang hilang lengkap dengan jumlah katanya, jadi Anda tahu bukan cuma bahwa ada yang hilang, tapi bagian mana yang hilang.
Cara kerjanya, Agent View mengambil ulang halaman memakai user-agent tiap crawler tanpa cookie, lalu melaporkan status HTTP dan skor keterbacaan yang dikembalikan. Karena membandingkan tampilan render dengan raw HTML di satu tempat, langkah manual tadi jadi ringkas dan bisa diulang untuk banyak halaman.
Baca skornya, angka berapa yang perlu diperhatikan
Skor keterbacaan paling mudah dibaca sebagai arah, bukan patokan mutlak. Halaman yang dirender penuh di server cenderung mendekati angka atas, karena hampir semua teksnya sudah ada di raw HTML. Halaman yang berat JavaScript cenderung rendah, karena kontennya baru terbentuk setelah render.
Yang penting bukan mengejar satu angka sempurna, tapi memastikan konten yang benar-benar Anda ingin dikutip AI, seperti jawaban utama, spesifikasi produk, atau poin layanan, ada di sisi HTML mentah. Kalau skor rendah dan blok yang hilang justru berisi materi kunci, di situlah prioritas perbaikan berada.
Periksa juga blokir yang tidak disengaja
Keterbacaan bukan satu-satunya masalah. Kadang halaman Anda sebenarnya bagus, tapi crawler tertentu diblokir sebelum sempat membacanya. Agent View menyertakan perbandingan crawler per crawler dan melaporkan status HTTP masing-masing, termasuk menandai blokir 403.
Kasus yang sering terjadi adalah konflik antara izin di robots.txt dan respons server yang sebenarnya. Anda mengizinkan sebuah crawler di robots.txt, tapi CDN atau firewall justru mengembalikan 403 ke user-agent-nya. Agent View juga mengecek robots.txt dan llms.txt, jadi Anda bisa melihat apakah aturan yang tertulis cocok dengan apa yang benar-benar diterima crawler.
Setelah tahu masalahnya, apa yang diperbaiki
Begitu Anda tahu skor keterbacaan, blok yang hilang, dan status tiap crawler, daftar perbaikannya biasanya mengikuti urutan yang jelas:
Render konten penting di sisi server atau lewat prerender, supaya teks kunci ada di raw HTML dan tidak bergantung pada JavaScript.
Pastikan jawaban utama, deskripsi, dan spesifikasi masuk ke HTML awal, bukan hanya muncul setelah interaksi.
Perbaiki blokir yang tidak disengaja di CDN atau firewall agar crawler yang Anda izinkan tidak menerima 403.
Rapikan structured data dan sediakan llms.txt agar mesin lebih mudah memahami dan mengekstrak isi halaman.
Agent View menyusun rekomendasi ini menjadi prioritized fix list dalam bahasa yang bisa langsung ditindaklanjuti, dari server-side rendering sampai schema dan llms.txt. Anda bisa menjalankan pengecekannya sendiri secara gratis lewat Agent View, lalu memakai hasilnya sebagai peta perbaikan. Kalau Anda ingin gambaran menyeluruh untuk seluruh situs, bukan per halaman, tim kami bisa membantu lewat audit visibility AI gratis atau layanan AI Search yang mengukur keterbacaan, sitasi, dan trafik lalu memperbaiki yang bisa diperbaiki.
