robots.txt 生成器
开发者工具UA 规则 · AI 爬虫 · Sitemap
答案速览
robots.txt 生成器——UA 规则 · AI 爬虫 · Sitemap。Disallow 留空 = 允许全部；Allow 用于禁止范围内的例外。
加载中
这个工具对你有帮助吗？
怎么用
- 粘贴或输入内容：在robots.txt 生成器中粘贴代码、文本或填写参数。
- 选择模式/选项：按需切换格式、规则或处理方式。
- 实时输出：处理结果即时显示，无需提交，数据不出浏览器。
- 一键复制：输出结果一键复制，直接粘贴到开发环境使用。
核心要点
- Disallow 留空 = 允许全部；Allow 用于禁止范围内的例外
- 通配符 * 任意序列、$ 结尾锚定（Google/Bing 支持）
- Sitemap 指令声明站点地图（可多条）
- Google 忽略 Crawl-delay；robots.txt 是约定非访问控制
原理与公式
robots.txt 语法：User-agent + Allow/Disallow 前缀匹配
Disallow 留空 = 允许全部；Allow 用于禁止范围内的例外
通配符 * 任意序列、$ 结尾锚定（Google/Bing 支持）
Sitemap 指令声明站点地图（可多条）
Google 忽略 Crawl-delay；robots.txt 是约定非访问控制
示例：屏蔽后台 → User-agent: * + Disallow: /admin/。
常见问题
robots.txt 生成器怎么用？
打开页面后在输入框中填入参数即可自动计算。UA 规则 · AI 爬虫 · Sitemap。修改任意输入结果自动更新。
转换结果准确吗？
是的。使用标准编解码算法（如RFC 4648、ECMA-262等），结果经过校验。
免费使用吗？需要注册吗？
完全免费，打开网页即用，无需注册、登录或下载任何软件。
处理的数据会上传到服务器吗？
不会。所有处理在浏览器本地完成，代码/文本数据不离开设备。
支持大文本处理吗？
支持常规大小的文本处理。超大文件可能受浏览器内存限制，建议分批处理。
支持手机使用吗？
支持。页面采用响应式设计，手机、平板、电脑均可正常使用。
相关工具
相关指南
来源与更新
依据RFC 4648、ECMA-262等国际标准规范。最近更新：2025-07
最近更新：
本页公式与内容经一键算团队复核，仅供学习参考，实际业务请以官方口径为准。
引用本页：一键算. robots.txt 生成器[EB/OL]. https://www.yijiansuan.com/c/dev/robots-txt
本工具提供的结果仅供参考，不构成任何专业建议，请以官方核算为准。