Генератор robots.txt
Инструменты для разработчиковПравила для UA + боты ИИ + Карта сайта
robots.txt Generator: UA rules + AI bots + Sitemap. robots.txt Generator uses standard developer formulas to compute accurate results instantly.
robots.txt
User-agent: * Disallow: /admin/ Disallow: /api/ Disallow: /tmp/ Sitemap: https://example.com/sitemap.xml
Быстрый справочник по грамматике
| User-agent: * | Applies to all crawlers |
| Disallow: /admin/ | Block path prefix |
| Disallow:(留空) | Empty = allow all |
| Allow: /public/ | Exception inside a disallow |
| Disallow: /*? | Wildcard support |
| Disallow: /*.pdf$ | End anchor |
| Crawl-delay: 10 | Politeness delay |
| Sitemap: https://… | Sitemap location |
Этот инструмент был вам полезен?
Как использовать
- Paste or type content: drop code/text into the robots.txt Generator or fill the parameters.
- Choose mode/options: switch format, rules or processing as needed.
- Live output: results appear instantly — nothing is submitted, data stays in your browser.
- One-click copy: copy the output straight into your development environment.
Основные моменты
- robots.txt Generator is a free online developer tool — open and use, no sign-up.
- All calculations run locally in your browser; your data never leaves the device.
- Key capability: UA rules + AI bots + Sitemap.
- Results come with formulas and reference tables so you can verify every number.
Принцип и формулы
robots.txt Generator formula
Часто задаваемые вопросы
How do I use the robots.txt Generator?
Are the results accurate?
Is it free? Do I need to sign up?
Does it work on mobile?
Is my data saved?
Связанные инструменты
Калькулятор охлаждения CPU
Запас TDP для уровня воздушного/AIO охлажденияКалькулятор размера сверла для нарезания резьбы
Номинал минус шаг по материалуФорматировщик IPv6
Расширение и сжатие по RFC 5952Транспондер гитары с каподастром
Последовательность аккордов · сдвиг на полутон на каждый ладКонвертер систем счисления для разработчиков
Двоичная, восьмеричная, десятичная, шестнадцатеричная — пакетное преобразованиеКонвертер цветовых кодов
HEX, RGB, HSL и CMYKФорматировщик JSON
Красивое форматирование, сжатие и проверка корректности JSONКодировщик/декодировщик Base64
Кодирование и декодирование текста в Base64Похожие руководства
Источники и обновления
Based on RFC 4648, ECMA-262 and related specifications. Last updated: 2025-07
Последнее обновление:
Формулы и содержание на этой странице проверены командой YiJianSuan. Предназначены только для учебного ознакомления — официальные данные имеют приоритет для практических задач.
Содержание поддерживается и регулярно проверяется редакционной командой YiJianSuan — процесс обновления и проверки смотрите вРедакционная политика.
Цитировать эту страницу: YiJianSuan. Генератор robots.txt[EB/OL]. https://www.yijiansuan.com/ru/c/dev/robots-txt
Результаты, предоставляемые этим инструментом, носят исключительно ознакомительный характер и не являются профессиональной рекомендацией. Ориентируйтесь на официальные расчеты.