Diperiksa pada 24/9/2026 · https://www.heise.de/
Ada 1 penghalang kritis untuk keterjangkauan AI — perbaiki dulu itu.
Matriks perayap AI
Untuk setiap bot: apa yang diizinkan robots.txt Anda — dan apa yang sebenarnya dikembalikan server Anda ke agen pengguna bot. Baris yang disorot merah: robots mengizinkan, tetapi server memblokir (biasanya aturan WAF atau perlindungan bot).
| Bot | Operator | robots.txt | Respons server |
|---|---|---|---|
| GPTBot | OpenAI | diizinkan | 200 + konten |
| OAI-SearchBot | OpenAI | diizinkan | 200 + konten |
| ChatGPT-User | OpenAI | diizinkan | 200 + konten |
| ClaudeBot | Anthropic | diizinkan | 200 + konten |
| Claude-SearchBot | Anthropic | diizinkan | 200 + konten |
| Claude-User | Anthropic | diizinkan | 200 + konten |
| PerplexityBot | Perplexity | diizinkan | 200 + konten |
| Perplexity-User | Perplexity | diizinkan | 200 + konten |
| Google-Extended | Google (Gemini-Training) | diblokir | — |
| Googlebot | Google (KI-Übersichten) | diizinkan (melalui User-agent: *) | 200 + konten |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | diblokir | 200 + konten |
| Bytespider | ByteDance (Doubao) | diblokir | 200 + konten |
| Amazonbot | Amazon (Alexa/Rufus) | diblokir | 200 + konten |
| Applebot-Extended | Apple (Intelligence-Training) | diblokir | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | diblokir | 200 + konten |
Bagaimana skor terbentuk?
| Bot pencarian AI diblokir di robots.txt | -8 |
| Judul halaman terlalu pendek atau terlalu panjang | -6 |
| Tidak tepat satu judul H1 | -5 |
| Tidak ada llms.txt | -5 |
| Tidak ada skema Organization | -4 |
| Tidak ada sinyal penulis atau kepenulisan | -4 |
| Tidak ada koneksi sameAs | -3 |
| Tidak ada markah FAQ atau HowTo | -2 |
| Hasil | 63 / 100 |
Akses untuk perayap AI
Bot pencarian AI diblokir di robots.txt
robots.txt Anda memblokir 1 bot yang mengambil konten untuk jawaban asisten AI dan mesin pencari: Google-Extended. Selama diblokir, situs Anda tidak dapat muncul di sana sebagai sumber.
Yang sebaiknya Anda lakukan: Periksa untuk setiap bot apakah pemblokiran disengaja. Jika hanya ingin menolak pelatihan AI, blokir bot pelatihan (GPTBot, ClaudeBot, Google-Extended) dan izinkan bot pencarian.
Struktur dan keterpahaman mesin
Judul halaman terlalu pendek atau terlalu panjang
<title> panjangnya 67 karakter. Sekitar 30–60 karakter itu wajar: cukup deskriptif untuk menamai topik, cukup pendek agar tidak terpotong.
Yang sebaiknya Anda lakukan: Tulis judul ringkas yang berisi topik dan bila perlu merek.
Tidak tepat satu judul H1
Halaman memiliki 0 judul H1. Satu H1 yang jelas memberi tahu manusia dan mesin tentang apa halaman itu secara utama.
Yang sebaiknya Anda lakukan: Setel tepat satu H1 yang menamai topik utama halaman. Semua di bawahnya dimulai dari H2.
Tidak ada llms.txt
Di /llms.txt tidak ada berkas. llms.txt adalah ikhtisar Markdown singkat dari konten inti Anda yang digunakan sebagian sistem AI untuk orientasi.
Yang sebaiknya Anda lakukan: Buat /llms.txt: sebuah H1 dengan nama, satu paragraf singkat tentang penawaran, dan daftar tautan ke halaman inti.
# Perusahaan Anda > Deskripsi dalam satu kalimat. ## Halaman penting - [Produk](https://domain-anda.id/produk): … - [Harga](https://domain-anda.id/harga): … - [Tentang kami](https://domain-anda.id/tentang): …
Tidak ada skema Organization
Ada JSON-LD, tetapi tidak ada entri «Organization». Sistem AI lalu menempatkan merek Anda kurang baik sebagai entitas tersendiri dan menautkannya kurang baik ke sumber eksternal.
Yang sebaiknya Anda lakukan: Tambahkan skema «Organization» dengan name, url, logo, dan sameAs (tautan ke profil resmi Anda).
Tidak ada markah FAQ atau HowTo
Konten tanya-jawab dan langkah demi langkah lebih sulit dikenali sistem AI sebagai jawaban yang dapat langsung dikutip tanpa markah FAQPage atau HowTo.
Yang sebaiknya Anda lakukan: Di tempat halaman menjawab pertanyaan nyata atau memberi petunjuk, tandai sebagai FAQPage atau HowTo (tidak ada markah tanpa konten padanan yang terlihat).
Sinyal kepercayaan dan entitas (E-E-A-T)
Tidak ada sinyal penulis atau kepenulisan
Tidak ada penulis yang dapat dikenali (baik meta tag, rel=author, maupun JSON-LD Person). Untuk «pengalaman» dan «keahlian» dalam arti E-E-A-T, kepenulisan yang disebutkan namanya dan dapat ditelusuri itu penting.
Yang sebaiknya Anda lakukan: Untuk konten editorial, sebutkan nama penulis dan tautkan halaman penulis; tandai juga sebagai JSON-LD «Person».
Tidak ada koneksi sameAs
Di JSON-LD tidak ada «sameAs». Dengannya sistem AI memetakan merek atau orang Anda secara jelas ke entitas yang dikenal (Wikidata, LinkedIn, direktori industri).
Yang sebaiknya Anda lakukan: Tambahkan «sameAs» di Organization atau Person dengan URL profil resmi dan entri direktori Anda.
Baik (6)
- Konten utama ada dalam HTML tanpa JavaScript.
- Data terstruktur (JSON-LD) ada. — ItemList, Thing
- URL canonical telah disetel.
- Sitemap dapat dijangkau.
- Waktu respons server cepat.
- Tidak ada noindex — halaman boleh diindeks.
Langkah berikutnya
- Bot pencarian AI diblokir di robots.txt. Periksa untuk setiap bot apakah pemblokiran disengaja. Jika hanya ingin menolak pelatihan AI, blokir bot pelatihan (GPTBot, ClaudeBot, Google-Extended) dan izinkan bot pencarian.
- Judul halaman terlalu pendek atau terlalu panjang. Tulis judul ringkas yang berisi topik dan bila perlu merek.
- Tidak tepat satu judul H1. Setel tepat satu H1 yang menamai topik utama halaman. Semua di bawahnya dimulai dari H2.
Pemindaian ulang mingguan dengan peringatan email pada setiap perubahan. Sedang disiapkan — masukkan alamat Anda.
Metode dan batasan
Diperiksa pada 24/9/2026. citeglass mengambil heise.de dan berkas terkait (robots.txt, llms.txt, sitemap.xml) melalui HTTP — sekali sebagai peramban biasa, sekali per agen pengguna perayap AI. JavaScript tidak dijalankan. Waktu hingga bita pertama: 65 ms.
Yang bukan merupakan hal ini: Tidak ada pelacakan peringkat atau kutipan, tidak ada pernyataan apakah suatu model benar-benar menyebut Anda, dan tidak ada pemeriksaan konten yang dimuat melalui JavaScript. Sebuah cuplikan dari sudut pandang satu IP server.