Početna › Baza znanja › seo.cat.crawler
Amazonbot
Amazonbot prikuplja sadržaj za Amazonove pomoćničke usluge, među njima Alexine odgovore i pomoćnika za kupnju Rufus.
Za što se podaci koriste
Amazon koristi pretraženi sadržaj za funkcije pitanje-odgovor i kontekst proizvoda. Za trgovine i stranice proizvoda vidljivost ovdje može biti važna, za čisto sadržajne stranice manje.
Uređivanje pristupa
„User-agent: Amazonbot“ s „Allow: /“ ili „Disallow: /“. Amazonbot poštuje robots.txt i identificira se putem provjerljivog user-agenta s IP rasponima.
Ograničiti brzinu umjesto blokiranja
Tko načelno želi dopustiti Amazonbot, ali smanjiti opterećenje, može usporiti učestalost putem „Crawl-delay“ ili konfiguracije poslužitelja.
Provjera
citeglass prikazuje važeće pravilo robots.txt za Amazonbot i testira isporučuje li mu poslužitelj sadržaj.
Provjerite vlastitu stranicu
citeglass za oko 30 sekundi pokazuje gdje je vaša web stranica nečitljiva za UI sustave — besplatno i bez prijave.
Pročitaj dalje
Opća informacija, ne pravni savjet. GEO je mlado područje — preporuke se mogu mijenjati.