Acasă › Bază de cunoștințe › seo.cat.crawler

CCBot și Common Crawl

Common Crawl construiește o arhivă web disponibilă liber, care intră în datele de antrenament ale numeroase modele lingvistice.

De ce este CCBot special

Dacă blochezi doar GPTBot și ClaudeBot, conținutul tău poate ajunge totuși în modele prin setul de date Common Crawl. Cine respinge antrenamentul din principiu trebuie să ia în calcul și CCBot.

Blocare

„User-agent: CCBot” urmat de „Disallow: /”. Common Crawl respectă robots.txt la următoarea trecere de crawl; intrările existente din arhivă rămân până când setul de date este colectat din nou.

Cântărire

Common Crawl este folosit și pentru cercetare, proiecte de căutare și arhivare. O blocare afectează toate aceste scopuri, nu doar antrenarea comercială a IA.

Verificarea regulii

citeglass arată dacă robots.txt-ul tău permite sau blochează CCBot și dacă regula este specifică botului sau acționează doar prin blocul „User-agent: *”.

Verifică-ți propriul site

citeglass arată în circa 30 de secunde unde site-ul tău este ilizibil pentru sistemele AI — gratuit și fără cont.

Citește mai departe

• Permiteți sau blocați GPTBot
• Blocarea tuturor crawlerelor AI
• Controlul roboților AI în robots.txt

Informație generală, nu consultanță juridică. GEO este un domeniu tânăr — recomandările se pot schimba.