Anthropicは、目的の違う3つのロボット（クローラー）を使っています。ClaudeBotはAIの学習に役立つ可能性のあるWebの情報を集め、Claude-Userは利用者の質問に答えるためにサイトを見に行き、Claude-SearchBotは検索結果の質を上げるためにサイトを分析します。いずれもrobots.txtの指示に従います。
止めるとどうなる？
| ロボット | 止めたときの影響 |
|---|---|
| ClaudeBot | 今後のサイトの内容が学習データから除外される |
| Claude-User | 利用者の質問でサイトを取得できなくなる（見つけられにくくなる） |
| Claude-SearchBot | 検索のための分析をしない（検索結果に出にくくなる） |
公式の約束
- robots.txt の「クロールしないで」に従う
- Crawl-delay（間隔の指定）にも対応
- CAPTCHAなどの回避はしない
学習だけを止めたいなら、ClaudeBotだけを止めるのが一般的です。検索で見つけてもらいたいサイトは、Claude-UserとClaude-SearchBotを止めると不利になることがあります。
出典・参考：Claudeヘルプセンター「Does Anthropic crawl data from the web, and how can site owners block the crawler?」（2026年11月時点で確認）