Avaleht › Teadmusbaas › Alused

Tehisintellekti robotite juhtimine robots.txt-s

Iga suur tehisintellekti teenusepakkuja käitab omaenda roboteid omaenda kasutajaagendi nimedega. robots.txt kaudu otsustad iga roboti puhul, kas ta tohib sinu sisu laadida.

Olulisemad tehisintellekti robotid

OpenAI: GPTBot (treenimine), OAI-SearchBot (ChatGPT otsing), ChatGPT-User (laadimine kasutaja taotlusel). Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Perplexity: PerplexityBot, Perplexity-User. Google: Google-Extended (Gemini treenimine) — tegelik laadimine tehisintellekti ülevaadete jaoks toimub tavalise Googleboti kaudu. Lisaks Common Crawl (CCBot), Amazonbot, Bytespider, Applebot-Extended ja Meta-ExternalAgent.

Sihitud lubamine

Maksimaalse tehisintellekti nähtavuse jaoks annad asjakohastele robotitele omaenda ploki reegliga „Allow: /“. Oluline: robotispetsiifiline plokk asendab selle roboti jaoks täielikult ploki „User-agent: *“ — korda seal vajalikud disallow reeglid.

Sihitud välistamine

Kui keeldud treenimisest, kuid soovid jääda nähtavaks tehisintellekti otsingus, võid blokeerida GPTBoti ja Google-Extendedi ning lubada OAI-SearchBoti ja Googleboti. See on sisuline otsus, mitte puhtalt tehniline.

Miks robots.txt sageli ei piisa

Paljud saidid lubavad robotid robots.txt-s, kuid blokeerivad need serveri tasemel: WAF-i reegel, Cloudflare'i „Bot Fight Mode“ või tulemüür lükkab roboti koodiga 403 tagasi. Robot järgib robots.txt-d ja ikkagi ei pääse sisse. citeglass teeb selle lahknevuse nähtavaks.

Kontrollimine

Lubatute loendid peaksid sisaldama kontrollitud roboteid. OpenAI, Anthropic, Perplexity ja Google avaldavad oma robotite IP-vahemikud; kontrolli lisaks pöörd-DNS-i abil, selle asemel et toetuda ainult kasutajaagendi stringile.

Kontrolli oma veebisaiti

citeglass näitab umbes 30 sekundiga, kus sinu veebisait on tehisintellekti süsteemidele loetamatu — tasuta ja ilma sisselogimiseta.

Loe edasi

Üldine teave, mitte õigusnõustamine. GEO on noor valdkond — soovitused võivad muutuda.