Start › Wissen › KI-Crawler im Detail

Meta-ExternalAgent

Meta-ExternalAgent ist der Crawler, mit dem Meta öffentlich zugängliche Inhalte für Llama-Modelle und Meta AI sammelt.

Namen und Zweck

Meta setzt zusätzlich den älteren Namen „FacebookBot“ und „meta-externalfetcher“ für Abrufe auf Nutzeranfrage ein. Meta-ExternalAgent ist der für Training und KI-Funktionen relevante Bot.

Blockieren

„User-agent: Meta-ExternalAgent“ gefolgt von „Disallow: /“. Ergänzend „User-agent: meta-externalagent“ in Kleinschreibung, da die Schreibweise in der Praxis variiert.

Abwägung

Eine Sperre nimmt dich aus dem Llama-Training und aus Antworten von Meta AI in WhatsApp, Instagram und Facebook. Für lokale Anbieter mit Social-Reichweite kann Sichtbarkeit hier wertvoll sein.

Zugriff prüfen

citeglass ruft deine Seite mit dem Meta-ExternalAgent-User-Agent ab und zeigt, ob robots.txt und Server-Antwort übereinstimmen.

Prüf deine eigene Seite

citeglass zeigt in rund 30 Sekunden, wo deine Website für KI-Systeme unlesbar ist — kostenlos und ohne Login.

Weiterlesen

• Bytespider von ByteDance
• Alle KI-Crawler aussperren
• KI-Crawler in der robots.txt steuern

Allgemeine Information, keine Rechtsberatung. GEO ist ein junges Feld — Empfehlungen können sich ändern.