Lompat ke konten utama

Generator robots.txt

Alat Pengembang

Aturan UA + bot AI + Peta Situs

Jawaban Cepat

robots.txt Generator: UA rules + AI bots + Sitemap. robots.txt Generator uses standard developer formulas to compute accurate results instantly.

robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /tmp/

Sitemap: https://example.com/sitemap.xml

Pencarian Cepat Tata Bahasa

User-agent: *Applies to all crawlers
Disallow: /admin/Block path prefix
Disallow:(留空)Empty = allow all
Allow: /public/Exception inside a disallow
Disallow: /*? Wildcard support
Disallow: /*.pdf$End anchor
Crawl-delay: 10Politeness delay
Sitemap: https://…Sitemap location
robots.txt adalah kesepakatan publik bukan kontrol akses — crawler jahat tidak peduli sama sekali, dan semua orang dapat mengakses /robots.txt untuk melihat isinya (jangan tulis jalur sensitif di dalamnya, sama saja dengan mengumumkan ke semua orang). Konten yang benar-benar perlu dilindungi gunakan otentikasi. Catatan: halaman yang dilarang oleh robots.txt jika dirujuk oleh tautan luar, masih mungkin muncul di hasil pencarian dalam bentuk "tanpa ringkasan"; untuk menghapus sepenuhnya dari indeks gunakan noindex meta. Google mengabaikan Crawl-delay, kecepatan perayapannya perlu diatur di Search Console.

Apakah alat ini membantu Anda?

Cara Pakai

  1. Paste or type content: drop code/text into the robots.txt Generator or fill the parameters.
  2. Choose mode/options: switch format, rules or processing as needed.
  3. Live output: results appear instantly — nothing is submitted, data stays in your browser.
  4. One-click copy: copy the output straight into your development environment.

Poin Penting

  • robots.txt Generator is a free online developer tool — open and use, no sign-up.
  • All calculations run locally in your browser; your data never leaves the device.
  • Key capability: UA rules + AI bots + Sitemap.
  • Results come with formulas and reference tables so you can verify every number.

Prinsip & Rumus

robots.txt Generator formula

robots.txt Generator uses standard developer formulas to compute accurate results instantly.

FAQ

How do I use the robots.txt Generator?
Open the page and fill in the input fields — results update automatically. UA rules + AI bots + Sitemap.
Are the results accurate?
Yes. Standard formulas and conversion factors are used and verified.
Is it free? Do I need to sign up?
Completely free. No registration, login or download required.
Does it work on mobile?
Yes. The responsive design works on phones, tablets and desktops.
Is my data saved?
No. Everything runs locally in your browser.

Alat Terkait

Panduan terkait

Sumber & Pembaruan

Based on RFC 4648, ECMA-262 and related specifications. Last updated: 2025-07

Terakhir Diperbarui:

Rumus dan konten di halaman ini telah diverifikasi oleh tim YiJianSuan, hanya untuk referensi pembelajaran. Silakan merujuk ke sumber resmi untuk keperluan bisnis praktis.

Konten dikelola dan diverifikasi secara berkala oleh tim editorial YiJianSuan, proses pembaruan dan peninjauan dapat dilihat diKebijakan Editorial.

Kutip Halaman Ini: YiJianSuan. Generator robots.txt[EB/OL]. https://www.yijiansuan.com/id/c/dev/robots-txt

Hasil yang diberikan oleh alat ini hanya untuk referensi dan tidak merupakan saran profesional apa pun, silakan merujuk ke perhitungan resmi.