Domov › Baza znanja › seo.cat.crawler

CCBot in Common Crawl

Common Crawl gradi prosto dostopen spletni arhiv, ki se steka v učne podatke številnih jezikovnih modelov.

Zakaj je CCBot poseben

Če blokiraš samo GPTBot in ClaudeBot, lahko tvoja vsebina vseeno pride v modele prek nabora podatkov Common Crawl. Kdor načelno zavrača učenje, mora upoštevati tudi CCBot.

Blokiranje

„User-agent: CCBot“, ki mu sledi „Disallow: /“. Common Crawl pri naslednjem pregledu upošteva robots.txt; obstoječi arhivski vnosi ostanejo, dokler se nabor podatkov ne zbere znova.

Pretehtanje

Common Crawl se uporablja tudi za raziskave, iskalne projekte in arhiviranje. Blokada prizadene vse te namene, ne le komercialnega učenja UI.

Preverjanje pravila

citeglass pokaže, ali tvoj robots.txt CCBot dovoljuje ali blokira in ali je pravilo specifično za bota ali deluje samo prek bloka „User-agent: *“.

Preverite svoje spletno mesto

citeglass v približno 30 sekundah pokaže, kje je vaše spletno mesto za UI-sisteme neberljivo — brezplačno in brez prijave.

Preberite naprej

• Dovoliti ali blokirati GPTBot
• Izključitev vseh pregledovalnikov UI
• Upravljanje UI-robotov v robots.txt

Splošne informacije, ne pravni nasvet. GEO je mlado področje — priporočila se lahko spremenijo.