2026/9/4 にチェック · https://www.nytimes.com/
AI での発見可能性に対して重大な障害が 2 件あります — まずこれらを修正してください。
AI クローラーマトリクス
各ボットについて: あなたの robots.txt が何を許可するか — そしてサーバーがボットのユーザーエージェントに実際に何を返すか。赤で強調された行: robots は許可しているのにサーバーがブロックしています(通常は WAF やボット保護のルール)。
| ボット | 運営者 | robots.txt | サーバー応答 |
|---|---|---|---|
| GPTBot | OpenAI | ブロック | ブロック(403 / WAF) |
| OAI-SearchBot | OpenAI | ブロック | ブロック(403 / WAF) |
| ChatGPT-User | OpenAI | ブロック | ブロック(403 / WAF) |
| ClaudeBot | Anthropic | ブロック | ブロック(403 / WAF) |
| Claude-SearchBot | Anthropic | ブロック | ブロック(403 / WAF) |
| Claude-User | Anthropic | ブロック | ブロック(403 / WAF) |
| PerplexityBot | Perplexity | ブロック | ブロック(403 / WAF) |
| Perplexity-User | Perplexity | ブロック | ブロック(403 / WAF) |
| Google-Extended | Google (Gemini-Training) | ブロック | — |
| Googlebot | Google (KI-Übersichten) | 許可 | 200 + コンテンツ |
| CCBot | Common Crawl (Trainingsdaten vieler LLMs) | ブロック | ブロック(403 / WAF) |
| Bytespider | ByteDance (Doubao) | ブロック | ブロック(403 / WAF) |
| Amazonbot | Amazon (Alexa/Rufus) | 許可 | ブロック(403 / WAF) |
| Applebot-Extended | Apple (Intelligence-Training) | ブロック | — |
| Meta-ExternalAgent | Meta (Llama/Meta AI) | ブロック | ブロック(403 / WAF) |
スコアはどのように算出されますか?
| 主要な AI クローラーが robots.txt でブロックされています | -32 |
| robots.txt が許可しているのにサーバーがボットをブロックしています | -6 |
| ページタイトルが短すぎるか長すぎます | -6 |
| llms.txt がありません | -5 |
| Organization スキーマがありません | -4 |
| 著者または著作者シグナルがありません | -4 |
| 可視またはマークアップされた日付がありません | -3 |
| FAQ または HowTo マークアップがありません | -2 |
| 結果 | 38 / 100 |
AI クローラーのアクセス
主要な AI クローラーが robots.txt でブロックされています
あなたの robots.txt は 5 個の中心的な AI クローラーのアクセスを禁止しています: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended。これらのシステムはコンテンツを読み込むことも、ソースとして使うこともできません。
対応すべきこと: ボットごとにブロックが意図的かどうか確認してください。AI 可視性のためには、少なくとも GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended を許可すべきです。
User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: /
robots.txt が許可しているのにサーバーがボットをブロックしています
Amazon (Alexa/Rufus) の 1 個のボットについて、robots.txt は「許可」と言っていますが、サーバーは 403 かボット保護ページで応答します。通常は WAF、ファイアウォール、CDN のルールが robots.txt をすり抜けてクローラーを締め出しています。
対応すべきこと: 目的の AI クローラーのユーザーエージェントや IP 範囲を、WAF / Cloudflare / ファイアウォールの許可リストに追加してください。ユーザーエージェント文字列だけでなく、逆引き DNS で検証します。
構造と機械可読性
ページタイトルが短すぎるか長すぎます
<title> は 66 文字です。おおむね 30〜60 文字が妥当です: テーマを表すのに十分説明的で、途中で切れないほど短く。
対応すべきこと: テーマと、必要に応じてブランドを含む簡潔なタイトルを書いてください。
llms.txt がありません
/llms.txt にファイルがありません。llms.txt は主要コンテンツの短い Markdown 概要で、一部の AI システムが方向付けに使用します。
対応すべきこと: /llms.txt を作成してください: 名前を含む H1、提供内容についての短い段落、中心的なページへのリンク一覧。
# あなたの会社 > 1 文での説明。 ## 重要なページ - [製品](https://あなたのドメイン.jp/product): … - [料金](https://あなたのドメイン.jp/pricing): … - [会社概要](https://あなたのドメイン.jp/about): …
Organization スキーマがありません
JSON-LD はありますが「Organization」のエントリがありません。AI システムはその場合、あなたのブランドを独立したエンティティとして分類しにくくなり、外部ソースとの関連付けも弱くなります。
対応すべきこと: name、url、logo、sameAs(あなたの公式プロフィールへのリンク)を含む「Organization」スキーマを追加してください。
FAQ または HowTo マークアップがありません
質問と回答形式やステップバイステップのコンテンツは、FAQPage や HowTo のマークアップがないと、AI システムが直接引用可能な回答として認識しにくくなります。
対応すべきこと: ページが実際の質問に答えたり手順を示したりしている場合は、FAQPage または HowTo としてマークアップしてください(対応する可視コンテンツがない状態でのマークアップは不可)。
信頼およびエンティティシグナル(E-E-A-T)
著者または著作者シグナルがありません
著者を認識できません(メタタグ、rel=author、JSON-LD Person のいずれもありません)。E-E-A-T の意味での「経験」と「専門性」には、名前が明示され追跡可能な著作者が重要です。
対応すべきこと: 編集コンテンツでは著者名を明示し、著者ページをリンクしてください。JSON-LD の「Person」としてもマークアップします。
可視またはマークアップされた日付がありません
公開日や更新日を認識できません(<time>、article:published_time、JSON-LD の datePublished のいずれもありません)。多くの質問で AI システムは新しいソースを優先します。
対応すべきこと: 時間に関連するコンテンツでは日付を可視で表示し、JSON-LD で datePublished / dateModified をマークアップしてください。
問題なし(7)
- 主要コンテンツが JavaScript なしで HTML に含まれています。
- 構造化データ(JSON-LD)が存在します。 — WebSite, NewsMediaOrganization
- H1 見出しがちょうど 1 つです。
- canonical URL が設定されています。
- サイトマップに到達できます。
- サーバーの応答時間が速いです。
- noindex なし — ページはインデックス可能です。
次のステップ
- 主要な AI クローラーが robots.txt でブロックされています. ボットごとにブロックが意図的かどうか確認してください。AI 可視性のためには、少なくとも GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended を許可すべきです。
- robots.txt が許可しているのにサーバーがボットをブロックしています. 目的の AI クローラーのユーザーエージェントや IP 範囲を、WAF / Cloudflare / ファイアウォールの許可リストに追加してください。ユーザーエージェント文字列だけでなく、逆引き DNS で検証します。
- ページタイトルが短すぎるか長すぎます. テーマと、必要に応じてブランドを含む簡潔なタイトルを書いてください。
変更のたびにメール通知付きの週次再スキャン。準備中 — アドレスを入力してください。
手法と限界
2026/9/4 にチェックしました。citeglass は nytimes.com と関連ファイル(robots.txt、llms.txt、sitemap.xml)を HTTP で取得します — 一度は通常のブラウザーとして、一度は各 AI クローラーのユーザーエージェントとして。JavaScript は実行されません。 最初のバイトまでの時間: 235 ms。
これに含まれないもの: 順位や引用のトラッキングはなく、モデルが実際にあなたを名指しするかについての言明もなく、JavaScript で読み込まれるコンテンツのチェックもありません。1 つのサーバー IP の視点からのスナップショットです。