Perayap AI penting diblokir di robots.txt

robots.txt Anda melarang akses bagi 5 perayap AI utama: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended. Sistem-sistem ini kemudian tidak dapat memuat konten Anda atau menggunakannya sebagai sumber.

Yang sebaiknya Anda lakukan: Periksa per bot apakah pemblokiran memang disengaja. Untuk visibilitas AI, setidaknya GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, dan Google-Extended harus diizinkan.

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

Server memblokir bot meskipun robots.txt mengizinkannya

Untuk 1 bot dari Amazon (Alexa/Rufus), robots.txt berkata «diizinkan», tetapi server merespons dengan 403 atau halaman perlindungan bot. Biasanya aturan WAF, firewall, atau CDN yang mengunci perayap melewati robots.txt.

Yang sebaiknya Anda lakukan: Tambahkan agen pengguna dan/atau rentang IP perayap AI yang diinginkan ke daftar izin di WAF / Cloudflare / firewall Anda. Verifikasi melalui DNS terbalik, bukan hanya berdasarkan string agen pengguna.

Judul halaman terlalu pendek atau terlalu panjang

<title> panjangnya 66 karakter. Sekitar 30–60 karakter itu wajar: cukup deskriptif untuk menamai topik, cukup pendek agar tidak terpotong.

Yang sebaiknya Anda lakukan: Tulis judul ringkas yang berisi topik dan bila perlu merek.

Tidak ada llms.txt

Di /llms.txt tidak ada berkas. llms.txt adalah ikhtisar Markdown singkat dari konten inti Anda yang digunakan sebagian sistem AI untuk orientasi.

Yang sebaiknya Anda lakukan: Buat /llms.txt: sebuah H1 dengan nama, satu paragraf singkat tentang penawaran, dan daftar tautan ke halaman inti.

# Perusahaan Anda

> Deskripsi dalam satu kalimat.

## Halaman penting
- [Produk](https://domain-anda.id/produk): …
- [Harga](https://domain-anda.id/harga): …
- [Tentang kami](https://domain-anda.id/tentang): …

Tidak ada skema Organization

Ada JSON-LD, tetapi tidak ada entri «Organization». Sistem AI lalu menempatkan merek Anda kurang baik sebagai entitas tersendiri dan menautkannya kurang baik ke sumber eksternal.

Yang sebaiknya Anda lakukan: Tambahkan skema «Organization» dengan name, url, logo, dan sameAs (tautan ke profil resmi Anda).

Tidak ada markah FAQ atau HowTo

Konten tanya-jawab dan langkah demi langkah lebih sulit dikenali sistem AI sebagai jawaban yang dapat langsung dikutip tanpa markah FAQPage atau HowTo.

Yang sebaiknya Anda lakukan: Di tempat halaman menjawab pertanyaan nyata atau memberi petunjuk, tandai sebagai FAQPage atau HowTo (tidak ada markah tanpa konten padanan yang terlihat).

Tidak ada sinyal penulis atau kepenulisan

Tidak ada penulis yang dapat dikenali (baik meta tag, rel=author, maupun JSON-LD Person). Untuk «pengalaman» dan «keahlian» dalam arti E-E-A-T, kepenulisan yang disebutkan namanya dan dapat ditelusuri itu penting.

Yang sebaiknya Anda lakukan: Untuk konten editorial, sebutkan nama penulis dan tautkan halaman penulis; tandai juga sebagai JSON-LD «Person».

Tidak ada tanggal yang terlihat atau ditandai

Tidak ada tanggal publikasi atau perubahan yang dapat dikenali (baik <time>, article:published_time, maupun datePublished di JSON-LD). Untuk banyak pertanyaan, sistem AI lebih menyukai sumber terkini.

Yang sebaiknya Anda lakukan: Untuk konten yang terkait waktu, tampilkan tanggal secara terlihat dan tandai datePublished / dateModified di JSON-LD.