CCBot és Common Crawl

A Common Crawl szabadon elérhető webarchívumot épít, amely számos nyelvi modell tanítóadataiba kerül.

Miért különleges a CCBot

Ha csak a GPTBotot és a ClaudeBotot tiltod, a tartalmad a Common Crawl adathalmazon keresztül így is bekerülhet a modellekbe. Aki elvből elutasítja a tanítást, annak a CCBottal is számolnia kell.

Blokkolás

„User-agent: CCBot”, majd „Disallow: /”. A Common Crawl a következő bejáráskor tiszteletben tartja a robots.txt-t; a meglévő archívumbejegyzések megmaradnak, amíg az adathalmazt újra nem gyűjtik.

Mérlegelés

A Common Crawlt kutatásra, keresési projektekhez és archiválásra is használják. A tiltás mindezeket a célokat érinti, nemcsak a kereskedelmi MI-tanítást.

A szabály ellenőrzése

A citeglass megmutatja, hogy a robots.txt-d engedélyezi vagy tiltja-e a CCBotot, és hogy a szabály bot-specifikus-e, vagy csak a „User-agent: *” blokkon keresztül érvényesül.

Ellenőrizd a saját webhelyedet

A citeglass körülbelül 30 másodperc alatt megmutatja, hol olvashatatlan a webhelyed az MI-rendszerek számára — ingyen és bejelentkezés nélkül.

Tovább olvasom

Általános tájékoztatás, nem jogi tanácsadás. A GEO fiatal terület — az ajánlások változhatnak.