robots.txt生成ツール
開発者ツールUAルール、AIボット設定、サイトマップ記述に対応
回答概要
robots.txt Generator: UA rules + AI bots + Sitemap. robots.txt Generator uses standard developer formulas to compute accurate results instantly.
robots.txt
User-agent: * Disallow: /admin/ Disallow: /api/ Disallow: /tmp/ Sitemap: https://example.com/sitemap.xml
文法早見表
| User-agent: * | Applies to all crawlers |
| Disallow: /admin/ | Block path prefix |
| Disallow:(留空) | Empty = allow all |
| Allow: /public/ | Exception inside a disallow |
| Disallow: /*? | Wildcard support |
| Disallow: /*.pdf$ | End anchor |
| Crawl-delay: 10 | Politeness delay |
| Sitemap: https://… | Sitemap location |
robots.txtは公開された規約でありアクセス制御ではありません——悪意のあるクローラは無視し、誰でも/robots.txtにアクセスして内容を確認できます(機密パスを書き込まないでください、宣伝しているようなものです)。本当に保護が必要なコンテンツには認証を使用してください。注意:robots.txtで禁止されたページが外部リンクから参照されると、「サマリなし」形式で検索結果に表示される可能性があります;完全にインデックスから除外するにはnoindex metaを使用してください。GoogleはCrawl-delayを無視し、クロールレートはSearch Consoleで設定する必要があります。
このツールはお役に立ちましたか?
使い方
- Paste or type content: drop code/text into the robots.txt Generator or fill the parameters.
- Choose mode/options: switch format, rules or processing as needed.
- Live output: results appear instantly — nothing is submitted, data stays in your browser.
- One-click copy: copy the output straight into your development environment.
主なポイント
- robots.txt Generator is a free online developer tool — open and use, no sign-up.
- All calculations run locally in your browser; your data never leaves the device.
- Key capability: UA rules + AI bots + Sitemap.
- Results come with formulas and reference tables so you can verify every number.
原理と計算式
robots.txt Generator formula
robots.txt Generator uses standard developer formulas to compute accurate results instantly.
よくある質問
How do I use the robots.txt Generator?
Open the page and fill in the input fields — results update automatically. UA rules + AI bots + Sitemap.
Are the results accurate?
Yes. Standard formulas and conversion factors are used and verified.
Is it free? Do I need to sign up?
Completely free. No registration, login or download required.
Does it work on mobile?
Yes. The responsive design works on phones, tablets and desktops.
Is my data saved?
No. Everything runs locally in your browser.
関連ツール
関連ガイド
出典と更新情報
Based on RFC 4648, ECMA-262 and related specifications. Last updated: 2025-07
最終更新日:
このページの計算式と内容はYiJianSuanチームにより確認されています。学習参考用であり、実際の業務では公式の発表を優先してください。
内容はYiJianSuan編集チームにより維持管理され、定期的に確認されています。更新・審査プロセスはこちら編集ポリシー.
このページを引用: YiJianSuan. robots.txt生成ツール[EB/OL]. https://www.yijiansuan.com/ja/c/dev/robots-txt
本ツールが提供する結果は参考用であり、専門的な助言を構成するものではありません。公式の計算結果を優先してください。