CCBot ir Common Crawl

Common Crawl kuria laisvai prieinamą žiniatinklio archyvą, kuris patenka į daugybės kalbos modelių mokymo duomenis.

Kodėl CCBot ypatingas

Jei blokuojate tik GPTBot ir ClaudeBot, jūsų turinys vis tiek gali patekti į modelius per Common Crawl duomenų rinkinį. Kas iš principo nesutinka su mokymu, turi atsižvelgti ir į CCBot.

Blokavimas

„User-agent: CCBot“, po jo „Disallow: /“. Common Crawl paiso robots.txt per kitą naršymo ciklą; esami archyvo įrašai lieka, kol duomenų rinkinys surenkamas iš naujo.

Svarstymas

Common Crawl taip pat naudojamas moksliniams tyrimams, paieškos projektams ir archyvavimui. Blokavimas paliečia visus šiuos tikslus, ne tik komercinį DI mokymą.

Taisyklės tikrinimas

citeglass parodo, ar jūsų robots.txt leidžia, ar blokuoja CCBot ir ar taisyklė yra specifinė botui, ar veikia tik per „User-agent: *“ bloką.

Patikrinkite savo svetainę

citeglass per maždaug 30 sekundžių parodo, kur jūsų svetainė neįskaitoma DI sistemoms — nemokamai ir be prisijungimo.

Skaitykite toliau

Bendra informacija, ne teisinė konsultacija. GEO yra jauna sritis — rekomendacijos gali keistis.