Diperiksa pada 4/9/2026 · https://example.org/
Tidak ada penghalang keras, tetapi 4 poin melemahkan keterjangkauan AI.
Matriks perayap AI
Untuk setiap bot: apa yang diizinkan robots.txt Anda — dan apa yang sebenarnya dikembalikan server Anda ke agen pengguna bot. Baris yang disorot merah: robots mengizinkan, tetapi server memblokir (biasanya aturan WAF atau perlindungan bot).
| Bot | Operator | robots.txt | Respons server |
|---|---|---|---|
| GPTBot | OpenAI | tidak disebutkan | 200 + konten |
| OAI-SearchBot | OpenAI | tidak disebutkan | 200 + konten |
| ChatGPT-User | OpenAI | tidak disebutkan | 200 + konten |
| ClaudeBot | Anthropic | tidak disebutkan | 200 + konten |
| Claude-SearchBot | Anthropic | tidak disebutkan | 200 + konten |
| Claude-User | Anthropic | tidak disebutkan | 200 + konten |
| PerplexityBot | Perplexity | tidak disebutkan | 200 + konten |
| Perplexity-User | Perplexity | tidak disebutkan | 200 + konten |
| Google-Extended | Google (Gemini-Training) | tidak disebutkan | — |
| Googlebot | Google (KI-Übersichten) | tidak disebutkan | 200 + konten |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | tidak disebutkan | 200 + konten |
| Bytespider | ByteDance (Doubao) | tidak disebutkan | 200 + konten |
| Amazonbot | Amazon (Alexa/Rufus) | tidak disebutkan | 200 + konten |
| Applebot-Extended | Apple (Intelligence-Training) | tidak disebutkan | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | tidak disebutkan | 200 + konten |
Bagaimana skor terbentuk?
| Sangat sedikit teks di HTML | -10 |
| Tidak ada data terstruktur (JSON-LD) | -8 |
| Judul halaman terlalu pendek atau terlalu panjang | -6 |
| Meta description hilang atau tidak sesuai | -5 |
| Tidak ada llms.txt | -5 |
| Tidak ada sinyal penulis atau kepenulisan | -4 |
| sitemap.xml tidak ditemukan | -4 |
| Tidak ada koneksi sameAs | -3 |
| Tidak ada tautan ke informasi hukum / tentang kami / kontak | -3 |
| Tidak ada tanggal yang terlihat atau ditandai | -3 |
| Tidak ada URL canonical | -3 |
| robots.txt tidak ditemukan | -2 |
| Hasil | 44 / 100 |
Akses untuk perayap AI
robots.txt tidak ditemukan
Di /robots.txt tidak ada berkas valid yang dapat dijangkau. Perayap lalu mengasumsikan «semua diizinkan» — berfungsi, tetapi Anda tidak punya kendali maupun sinyal sitemap.
Yang sebaiknya Anda lakukan: Buat robots.txt di direktori root, setidaknya dengan referensi sitemap dan aturan allow/disallow yang diinginkan.
User-agent: * Allow: / Sitemap: https://domain-anda.id/sitemap.xml
Konten tanpa JavaScript
Sangat sedikit teks di HTML
HTML awal hanya berisi sekitar 142 karakter teks yang terlihat. Itu nyaris tidak cukup bagi sistem AI untuk memahami topik halaman dengan pasti.
Yang sebaiknya Anda lakukan: Pastikan konten sebenarnya sepenuhnya ada di HTML dan bukan di gambar, iframe, atau blok yang dimuat melalui JavaScript.
Struktur dan keterpahaman mesin
Tidak ada data terstruktur (JSON-LD)
Halaman tidak berisi JSON-LD. Data terstruktur membantu sistem AI mengenali entitas, penulis, organisasi, tanggal, dan jenis halaman secara jelas — tanpa itu, semua harus ditebak dari teks isi.
Yang sebaiknya Anda lakukan: Tambahkan setidaknya skema «Organization» dan skema yang sesuai dengan jenis halaman (Article, Product, FAQPage …) sebagai JSON-LD di <head>.
<script type="application/ld+json">
{"@context":"https://schema.org","@type":"Organization",
"name":"Perusahaan Anda","url":"https://domain-anda.id",
"sameAs":["https://www.linkedin.com/company/…"]}
</script>Judul halaman terlalu pendek atau terlalu panjang
<title> panjangnya 14 karakter. Sekitar 30–60 karakter itu wajar: cukup deskriptif untuk menamai topik, cukup pendek agar tidak terpotong.
Yang sebaiknya Anda lakukan: Tulis judul ringkas yang berisi topik dan bila perlu merek.
Meta description hilang atau tidak sesuai
Meta description panjangnya 0 karakter. Ini sering menjadi hal pertama yang dibaca sistem AI dan mesin pencari sebagai ringkasan halaman.
Yang sebaiknya Anda lakukan: Tulis ringkasan mandiri halaman dalam satu atau dua kalimat (sekitar 120–200 karakter), bukan deretan kata kunci.
Tidak ada llms.txt
Di /llms.txt tidak ada berkas. llms.txt adalah ikhtisar Markdown singkat dari konten inti Anda yang digunakan sebagian sistem AI untuk orientasi.
Yang sebaiknya Anda lakukan: Buat /llms.txt: sebuah H1 dengan nama, satu paragraf singkat tentang penawaran, dan daftar tautan ke halaman inti.
# Perusahaan Anda > Deskripsi dalam satu kalimat. ## Halaman penting - [Produk](https://domain-anda.id/produk): … - [Harga](https://domain-anda.id/harga): … - [Tentang kami](https://domain-anda.id/tentang): …
Sinyal kepercayaan dan entitas (E-E-A-T)
Tidak ada sinyal penulis atau kepenulisan
Tidak ada penulis yang dapat dikenali (baik meta tag, rel=author, maupun JSON-LD Person). Untuk «pengalaman» dan «keahlian» dalam arti E-E-A-T, kepenulisan yang disebutkan namanya dan dapat ditelusuri itu penting.
Yang sebaiknya Anda lakukan: Untuk konten editorial, sebutkan nama penulis dan tautkan halaman penulis; tandai juga sebagai JSON-LD «Person».
Tidak ada koneksi sameAs
Di JSON-LD tidak ada «sameAs». Dengannya sistem AI memetakan merek atau orang Anda secara jelas ke entitas yang dikenal (Wikidata, LinkedIn, direktori industri).
Yang sebaiknya Anda lakukan: Tambahkan «sameAs» di Organization atau Person dengan URL profil resmi dan entri direktori Anda.
Tidak ada tautan ke informasi hukum / tentang kami / kontak
Pada halaman yang diperiksa, tidak ada tautan ke informasi hukum, halaman «Tentang kami», atau kontak yang dapat dikenali. Halaman semacam itu adalah sinyal kepercayaan yang kuat dan membantu pemetaan entitas.
Yang sebaiknya Anda lakukan: Tautkan informasi hukum atau «Tentang kami» dan kontak secara terlihat, biasanya di footer setiap halaman.
Tidak ada tanggal yang terlihat atau ditandai
Tidak ada tanggal publikasi atau perubahan yang dapat dikenali (baik <time>, article:published_time, maupun datePublished di JSON-LD). Untuk banyak pertanyaan, sistem AI lebih menyukai sumber terkini.
Yang sebaiknya Anda lakukan: Untuk konten yang terkait waktu, tampilkan tanggal secara terlihat dan tandai datePublished / dateModified di JSON-LD.
Dasar teknis
sitemap.xml tidak ditemukan
Di /sitemap.xml tidak ada sitemap XML valid yang dapat dijangkau dan robots.txt tidak menyebut satu pun. Sitemap membantu perayap menemukan semua URL yang relevan.
Yang sebaiknya Anda lakukan: Buat sitemap.xml dengan semua URL yang dapat diindeks dan rujuk di robots.txt.
Tidak ada URL canonical
Halaman tidak menyetel <link rel="canonical">. Tanpa canonical, bisa tetap tidak jelas versi mana yang berwenang ketika ada beberapa varian URL.
Yang sebaiknya Anda lakukan: Setel di setiap halaman sebuah <link rel="canonical"> yang merujuk dirinya sendiri dengan URL pilihan.
Baik (2)
- Tepat satu judul H1.
- Waktu respons server cepat.
Langkah berikutnya
- Sangat sedikit teks di HTML. Pastikan konten sebenarnya sepenuhnya ada di HTML dan bukan di gambar, iframe, atau blok yang dimuat melalui JavaScript.
- Tidak ada data terstruktur (JSON-LD). Tambahkan setidaknya skema «Organization» dan skema yang sesuai dengan jenis halaman (Article, Product, FAQPage …) sebagai JSON-LD di <head>.
- Judul halaman terlalu pendek atau terlalu panjang. Tulis judul ringkas yang berisi topik dan bila perlu merek.
Pemindaian ulang mingguan dengan peringatan email pada setiap perubahan. Sedang disiapkan — masukkan alamat Anda.
Metode dan batasan
Diperiksa pada 4/9/2026. citeglass mengambil example.org dan berkas terkait (robots.txt, llms.txt, sitemap.xml) melalui HTTP — sekali sebagai peramban biasa, sekali per agen pengguna perayap AI. JavaScript tidak dijalankan. Waktu hingga bita pertama: 21 ms.
Yang bukan merupakan hal ini: Tidak ada pelacakan peringkat atau kutipan, tidak ada pernyataan apakah suatu model benar-benar menyebut Anda, dan tidak ada pemeriksaan konten yang dimuat melalui JavaScript. Sebuah cuplikan dari sudut pandang satu IP server.