robots.txt生成

robots.txtとは

robots.txtは、検索エンジンのクローラー（Googlebot、Bingbotなど）にサイト内のどのページをクロールしてよいかを伝えるファイルです。管理画面、個人情報を含むページ、重複コンテンツなどをクロール対象から除外できます。最近ではAIボット（GPTBot、CCBotなど）のクロールをブロックする用途でも注目されています。

設定のポイント

• User-agent — 対象のクローラーを指定。「*」は全クローラー
• Disallow — クロールを禁止するパス
• Allow — Disallow内の例外として許可するパス
• Sitemap — サイトマップのURLを指定してクロールを促進