Diperiksa pada 23/9/2026 · https://rehau-termopane.ro/
Ada 1 penghalang kritis untuk keterjangkauan AI — perbaiki dulu itu.
Matriks perayap AI
Untuk setiap bot: apa yang diizinkan robots.txt Anda — dan apa yang sebenarnya dikembalikan server Anda ke agen pengguna bot. Baris yang disorot merah: robots mengizinkan, tetapi server memblokir (biasanya aturan WAF atau perlindungan bot).
| Bot | Operator | robots.txt | Respons server |
|---|---|---|---|
| GPTBot | OpenAI | tidak disebutkan | diblokir (403 / WAF) |
| OAI-SearchBot | OpenAI | tidak disebutkan | 200 + konten |
| ChatGPT-User | OpenAI | tidak disebutkan | 200 + konten |
| ClaudeBot | Anthropic | tidak disebutkan | 200 + konten |
| Claude-SearchBot | Anthropic | tidak disebutkan | kesalahan / waktu habis |
| Claude-User | Anthropic | tidak disebutkan | 200 + konten |
| PerplexityBot | Perplexity | tidak disebutkan | kesalahan / waktu habis |
| Perplexity-User | Perplexity | tidak disebutkan | kesalahan / waktu habis |
| Google-Extended | Google (Gemini-Training) | tidak disebutkan | — |
| Googlebot | Google (KI-Übersichten) | tidak disebutkan | 200 + konten |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | tidak disebutkan | 200 + konten |
| Bytespider | ByteDance (Doubao) | tidak disebutkan | 200 + konten |
| Amazonbot | Amazon (Alexa/Rufus) | tidak disebutkan | 200 + konten |
| Applebot-Extended | Apple (Intelligence-Training) | tidak disebutkan | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | tidak disebutkan | diblokir (403 / WAF) |
Bagaimana skor terbentuk?
| Server memblokir bot meskipun robots.txt mengizinkannya | -12 |
| Tidak ada llms.txt | -5 |
| sitemap.xml tidak ditemukan | -4 |
| Tingkat judul dilewati | -3 |
| Tidak ada koneksi sameAs | -3 |
| robots.txt tidak ditemukan | -2 |
| Tidak ada markah FAQ atau HowTo | -2 |
| Hasil | 69 / 100 |
Akses untuk perayap AI
Server memblokir bot meskipun robots.txt mengizinkannya
Untuk 2 bot dari OpenAI, Meta (Llama/Meta AI), robots.txt berkata «diizinkan», tetapi server merespons dengan 403 atau halaman perlindungan bot. Biasanya aturan WAF, firewall, atau CDN yang mengunci perayap melewati robots.txt.
Yang sebaiknya Anda lakukan: Tambahkan agen pengguna dan/atau rentang IP perayap AI yang diinginkan ke daftar izin di WAF / Cloudflare / firewall Anda. Verifikasi melalui DNS terbalik, bukan hanya berdasarkan string agen pengguna.
robots.txt tidak ditemukan
Di /robots.txt tidak ada berkas valid yang dapat dijangkau. Perayap lalu mengasumsikan «semua diizinkan» — berfungsi, tetapi Anda tidak punya kendali maupun sinyal sitemap.
Yang sebaiknya Anda lakukan: Buat robots.txt di direktori root, setidaknya dengan referensi sitemap dan aturan allow/disallow yang diinginkan.
User-agent: * Allow: / Sitemap: https://domain-anda.id/sitemap.xml
Struktur dan keterpahaman mesin
Tidak ada llms.txt
Di /llms.txt tidak ada berkas. llms.txt adalah ikhtisar Markdown singkat dari konten inti Anda yang digunakan sebagian sistem AI untuk orientasi.
Yang sebaiknya Anda lakukan: Buat /llms.txt: sebuah H1 dengan nama, satu paragraf singkat tentang penawaran, dan daftar tautan ke halaman inti.
# Perusahaan Anda > Deskripsi dalam satu kalimat. ## Halaman penting - [Produk](https://domain-anda.id/produk): … - [Harga](https://domain-anda.id/harga): … - [Tentang kami](https://domain-anda.id/tentang): …
Tingkat judul dilewati
Urutan judul melewati setidaknya satu tingkat (mis. H2 langsung ke H4). Ini menyulitkan rekonstruksi struktur konten secara otomatis.
Yang sebaiknya Anda lakukan: Gunakan tingkat judul tanpa celah dan berurutan (H1 → H2 → H3 …).
Tidak ada markah FAQ atau HowTo
Konten tanya-jawab dan langkah demi langkah lebih sulit dikenali sistem AI sebagai jawaban yang dapat langsung dikutip tanpa markah FAQPage atau HowTo.
Yang sebaiknya Anda lakukan: Di tempat halaman menjawab pertanyaan nyata atau memberi petunjuk, tandai sebagai FAQPage atau HowTo (tidak ada markah tanpa konten padanan yang terlihat).
Sinyal kepercayaan dan entitas (E-E-A-T)
Tidak ada koneksi sameAs
Di JSON-LD tidak ada «sameAs». Dengannya sistem AI memetakan merek atau orang Anda secara jelas ke entitas yang dikenal (Wikidata, LinkedIn, direktori industri).
Yang sebaiknya Anda lakukan: Tambahkan «sameAs» di Organization atau Person dengan URL profil resmi dan entri direktori Anda.
Dasar teknis
sitemap.xml tidak ditemukan
Di /sitemap.xml tidak ada sitemap XML valid yang dapat dijangkau dan robots.txt tidak menyebut satu pun. Sitemap membantu perayap menemukan semua URL yang relevan.
Yang sebaiknya Anda lakukan: Buat sitemap.xml dengan semua URL yang dapat diindeks dan rujuk di robots.txt.
Baik (8)
- Konten utama ada dalam HTML tanpa JavaScript.
- Data terstruktur (JSON-LD) ada. — HomeAndConstructionBusiness, Organization, WebSite, ImageObject, WebPage, Person, Article, VideoObject
- Organisasi ditandai sebagai JSON-LD.
- Tepat satu judul H1.
- URL canonical telah disetel.
- Judul halaman memiliki panjang yang wajar.
- Sinyal penulis ada.
- Waktu respons server cepat.
Langkah berikutnya
- Server memblokir bot meskipun robots.txt mengizinkannya. Tambahkan agen pengguna dan/atau rentang IP perayap AI yang diinginkan ke daftar izin di WAF / Cloudflare / firewall Anda. Verifikasi melalui DNS terbalik, bukan hanya berdasarkan string agen pengguna.
- Tidak ada llms.txt. Buat /llms.txt: sebuah H1 dengan nama, satu paragraf singkat tentang penawaran, dan daftar tautan ke halaman inti.
- sitemap.xml tidak ditemukan. Buat sitemap.xml dengan semua URL yang dapat diindeks dan rujuk di robots.txt.
Pemindaian ulang mingguan dengan peringatan email pada setiap perubahan. Sedang disiapkan — masukkan alamat Anda.
Metode dan batasan
Diperiksa pada 23/9/2026. citeglass mengambil rehau-termopane.ro dan berkas terkait (robots.txt, llms.txt, sitemap.xml) melalui HTTP — sekali sebagai peramban biasa, sekali per agen pengguna perayap AI. JavaScript tidak dijalankan. Waktu hingga bita pertama: 774 ms.
Yang bukan merupakan hal ini: Tidak ada pelacakan peringkat atau kutipan, tidak ada pernyataan apakah suatu model benar-benar menyebut Anda, dan tidak ada pemeriksaan konten yang dimuat melalui JavaScript. Sebuah cuplikan dari sudut pandang satu IP server.