跳到主内容

robots.txt 生成器

开发者工具

UA 规则 · AI 爬虫 · Sitemap

答案速览

robots.txt 生成器——UA 规则 · AI 爬虫 · Sitemap。Disallow 留空 = 允许全部；Allow 用于禁止范围内的例外。

robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /tmp/

Sitemap: https://example.com/sitemap.xml

语法速查

User-agent: *作用于所有爬虫
Disallow: /admin/禁止抓取目录（前缀匹配）
Disallow:（留空）不禁止任何路径
Allow: /public/在禁止范围内单独放行
Disallow: /*? 通配符 * 匹配任意字符序列
Disallow: /*.pdf$$ 匹配结尾
Crawl-delay: 10抓取间隔秒数（百度/Bing 支持，Google 忽略）
Sitemap: https://…声明站点地图位置（可多条）
robots.txt 是公开约定而非访问控制——恶意爬虫根本不理会，且所有人都能访问 /robots.txt 查看内容（别把敏感路径写进去，等于广而告之）。真正需要保护的内容请用鉴权。注意：被 robots.txt 禁止的页面若被外链引用，仍可能以「无摘要」形式出现在搜索结果中；想彻底移出索引要用 noindex meta。Google 忽略 Crawl-delay，其抓取速率需在 Search Console 中设置。

这个工具对你有帮助吗？

怎么用

  1. 粘贴或输入内容：在robots.txt 生成器中粘贴代码、文本或填写参数。
  2. 选择模式/选项：按需切换格式、规则或处理方式。
  3. 实时输出：处理结果即时显示，无需提交，数据不出浏览器。
  4. 一键复制：输出结果一键复制，直接粘贴到开发环境使用。

核心要点

  • Disallow 留空 = 允许全部；Allow 用于禁止范围内的例外
  • 通配符 * 任意序列、$ 结尾锚定（Google/Bing 支持）
  • Sitemap 指令声明站点地图（可多条）
  • Google 忽略 Crawl-delay；robots.txt 是约定非访问控制

原理与公式

robots.txt 语法：User-agent + Allow/Disallow 前缀匹配

Disallow 留空 = 允许全部；Allow 用于禁止范围内的例外
通配符 * 任意序列、$ 结尾锚定（Google/Bing 支持）
Sitemap 指令声明站点地图（可多条）
Google 忽略 Crawl-delay；robots.txt 是约定非访问控制

示例：屏蔽后台 → User-agent: * + Disallow: /admin/。

常见问题

robots.txt 生成器怎么用？
打开页面后在输入框中填入参数即可自动计算。UA 规则 · AI 爬虫 · Sitemap。修改任意输入结果自动更新。
转换结果准确吗？
是的。使用标准编解码算法（如RFC 4648、ECMA-262等），结果经过校验。
免费使用吗？需要注册吗？
完全免费，打开网页即用，无需注册、登录或下载任何软件。
处理的数据会上传到服务器吗？
不会。所有处理在浏览器本地完成，代码/文本数据不离开设备。
支持大文本处理吗？
支持常规大小的文本处理。超大文件可能受浏览器内存限制，建议分批处理。
支持手机使用吗？
支持。页面采用响应式设计，手机、平板、电脑均可正常使用。

相关工具

相关指南

来源与更新

依据RFC 4648、ECMA-262等国际标准规范。最近更新：2025-07

最近更新：

本页公式与内容经一键算团队复核，仅供学习参考，实际业务请以官方口径为准。

内容由一键算编辑团队维护并定期复核，更新与审核流程见编辑规范。

引用本页：一键算. robots.txt 生成器[EB/OL]. https://www.yijiansuan.com/c/dev/robots-txt

本工具提供的结果仅供参考，不构成任何专业建议，请以官方核算为准。