Diperiksa pada 24/9/2026 · https://www.heise.de/
Tidak ada penghalang keras, tetapi 2 poin melemahkan keterjangkauan AI.
Matriks perayap AI
Untuk setiap bot: apa yang diizinkan robots.txt Anda — dan apa yang sebenarnya dikembalikan server Anda ke agen pengguna bot. Baris yang disorot merah: robots mengizinkan, tetapi server memblokir (biasanya aturan WAF atau perlindungan bot).
| Bot | Operator | robots.txt | Respons server |
|---|---|---|---|
| GPTBot | OpenAI | diizinkan | 200 + konten |
| OAI-SearchBot | OpenAI | diizinkan | 200 + konten |
| ChatGPT-User | OpenAI | diizinkan | 200 + konten |
| ClaudeBot | Anthropic | diizinkan | 200 + konten |
| Claude-SearchBot | Anthropic | diizinkan | 200 + konten |
| Claude-User | Anthropic | diizinkan | 200 + konten |
| PerplexityBot | Perplexity | diizinkan | 200 + konten |
| Perplexity-User | Perplexity | diizinkan | 200 + konten |
| Google-Extended | Google (Gemini-Training) | diblokir | — |
| Googlebot | Google (KI-Übersichten) | diizinkan (melalui User-agent: *) | 200 + konten |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | diblokir | 200 + konten |
| Bytespider | ByteDance (Doubao) | diblokir | 200 + konten |
| Amazonbot | Amazon (Alexa/Rufus) | diblokir | 200 + konten |
| Applebot-Extended | Apple (Intelligence-Training) | diblokir | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | diblokir | 200 + konten |
Bagaimana skor terbentuk?
| Judul halaman terlalu pendek atau terlalu panjang | -6 |
| Tidak tepat satu judul H1 | -5 |
| Tidak ada llms.txt | -5 |
| Tidak ada skema Organization | -4 |
| Tidak ada sinyal penulis atau kepenulisan | -4 |
| Tidak ada koneksi sameAs | -3 |
| Tidak ada markah FAQ atau HowTo | -2 |
| Hasil | 71 / 100 |
Akses untuk perayap AI
Pelatihan AI ditolak
robots.txt Anda memblokir crawler yang mengumpulkan konten untuk melatih model bahasa: Google-Extended, CCBot, Applebot-Extended. Ini tidak mencegah kutipan — bot pencarian dan pengambilan seperti OAI-SearchBot, PerplexityBot, dan Googlebot untuk AI Overviews terpisah.
Yang sebaiknya Anda lakukan: Tidak perlu tindakan jika penolakan disengaja. Pastikan saja bot pencarian tetap diizinkan.
Struktur dan keterpahaman mesin
Judul halaman terlalu pendek atau terlalu panjang
<title> panjangnya 67 karakter. Sekitar 30–60 karakter itu wajar: cukup deskriptif untuk menamai topik, cukup pendek agar tidak terpotong.
Yang sebaiknya Anda lakukan: Tulis judul ringkas yang berisi topik dan bila perlu merek.
Tidak tepat satu judul H1
Halaman memiliki 0 judul H1. Satu H1 yang jelas memberi tahu manusia dan mesin tentang apa halaman itu secara utama.
Yang sebaiknya Anda lakukan: Setel tepat satu H1 yang menamai topik utama halaman. Semua di bawahnya dimulai dari H2.
Tidak ada llms.txt
Di /llms.txt tidak ada berkas. llms.txt adalah ikhtisar Markdown singkat dari konten inti Anda yang digunakan sebagian sistem AI untuk orientasi.
Yang sebaiknya Anda lakukan: Buat /llms.txt: sebuah H1 dengan nama, satu paragraf singkat tentang penawaran, dan daftar tautan ke halaman inti.
# Perusahaan Anda > Deskripsi dalam satu kalimat. ## Halaman penting - [Produk](https://domain-anda.id/produk): … - [Harga](https://domain-anda.id/harga): … - [Tentang kami](https://domain-anda.id/tentang): …
Tidak ada skema Organization
Ada JSON-LD, tetapi tidak ada entri «Organization». Sistem AI lalu menempatkan merek Anda kurang baik sebagai entitas tersendiri dan menautkannya kurang baik ke sumber eksternal.
Yang sebaiknya Anda lakukan: Tambahkan skema «Organization» dengan name, url, logo, dan sameAs (tautan ke profil resmi Anda).
Tidak ada markah FAQ atau HowTo
Konten tanya-jawab dan langkah demi langkah lebih sulit dikenali sistem AI sebagai jawaban yang dapat langsung dikutip tanpa markah FAQPage atau HowTo.
Yang sebaiknya Anda lakukan: Di tempat halaman menjawab pertanyaan nyata atau memberi petunjuk, tandai sebagai FAQPage atau HowTo (tidak ada markah tanpa konten padanan yang terlihat).
Sinyal kepercayaan dan entitas (E-E-A-T)
Tidak ada sinyal penulis atau kepenulisan
Tidak ada penulis yang dapat dikenali (baik meta tag, rel=author, maupun JSON-LD Person). Untuk «pengalaman» dan «keahlian» dalam arti E-E-A-T, kepenulisan yang disebutkan namanya dan dapat ditelusuri itu penting.
Yang sebaiknya Anda lakukan: Untuk konten editorial, sebutkan nama penulis dan tautkan halaman penulis; tandai juga sebagai JSON-LD «Person».
Tidak ada koneksi sameAs
Di JSON-LD tidak ada «sameAs». Dengannya sistem AI memetakan merek atau orang Anda secara jelas ke entitas yang dikenal (Wikidata, LinkedIn, direktori industri).
Yang sebaiknya Anda lakukan: Tambahkan «sameAs» di Organization atau Person dengan URL profil resmi dan entri direktori Anda.
Baik (6)
- Konten utama ada dalam HTML tanpa JavaScript.
- Data terstruktur (JSON-LD) ada. — ItemList, Thing
- URL canonical telah disetel.
- Sitemap dapat dijangkau.
- Waktu respons server cepat.
- Tidak ada noindex — halaman boleh diindeks.
Langkah berikutnya
- Judul halaman terlalu pendek atau terlalu panjang. Tulis judul ringkas yang berisi topik dan bila perlu merek.
- Tidak tepat satu judul H1. Setel tepat satu H1 yang menamai topik utama halaman. Semua di bawahnya dimulai dari H2.
- Tidak ada llms.txt. Buat /llms.txt: sebuah H1 dengan nama, satu paragraf singkat tentang penawaran, dan daftar tautan ke halaman inti.
Pemindaian ulang mingguan dengan peringatan email pada setiap perubahan. Sedang disiapkan — masukkan alamat Anda.
Metode dan batasan
Diperiksa pada 24/9/2026. citeglass mengambil heise.de dan berkas terkait (robots.txt, llms.txt, sitemap.xml) melalui HTTP — sekali sebagai peramban biasa, sekali per agen pengguna perayap AI. JavaScript tidak dijalankan. Waktu hingga bita pertama: 67 ms.
Yang bukan merupakan hal ini: Tidak ada pelacakan peringkat atau kutipan, tidak ada pernyataan apakah suatu model benar-benar menyebut Anda, dan tidak ada pemeriksaan konten yang dimuat melalui JavaScript. Sebuah cuplikan dari sudut pandang satu IP server.