Početna › Baza znanja › seo.cat.crawler

CCBot i Common Crawl

Common Crawl stvara slobodno dostupnu web arhivu koja ulazi u podatke za treniranje brojnih jezičnih modela.

Zašto je CCBot poseban

Ako blokirate samo GPTBot i ClaudeBot, vaš sadržaj ipak može doći do modela putem skupa podataka Common Crawl. Tko načelno odbija treniranje, mora uzeti u obzir i CCBot.

Blokiranje

„User-agent: CCBot“ nakon čega slijedi „Disallow: /“. Common Crawl poštuje robots.txt pri sljedećem prolazu; postojeći unosi u arhivi ostaju dok se skup podataka ponovno ne prikupi.

Odvagivanje

Common Crawl se koristi i za istraživanje, projekte pretraživanja i arhiviranje. Blokada pogađa sve te svrhe, ne samo komercijalno treniranje umjetne inteligencije.

Provjera pravila

citeglass pokazuje dopušta li vaš robots.txt CCBot ili ga blokira te je li pravilo specifično za bot ili djeluje samo preko bloka „User-agent: *“.

Provjerite vlastitu stranicu

citeglass za oko 30 sekundi pokazuje gdje je vaša web stranica nečitljiva za UI sustave — besplatno i bez prijave.

Pročitaj dalje

• Dopustiti ili blokirati GPTBot
• Isključivanje svih AI crawlera
• Upravljanje UI robotima u robots.txt

Opća informacija, ne pravni savjet. GEO je mlado područje — preporuke se mogu mijenjati.