Генератор robots.txt
Создайте файл robots.txt: агенты, разрешения, sitemap.
- Мгновенно
- Бесплатно
- Приватно (обработка локально)
- Без регистрации
Направляйте роботов без ошибок синтаксиса
Неправильно составленный robots.txt может случайно заблокировать весь сайт. Инструмент собирает корректный файл из ваших настроек: пресеты CMS, исключаемые пути, sitemap. Вы сохраняете контроль без риска опечатки.
-
Выберите пресет
Разрешить всё, заблокировать всё или CMS (WordPress, Shopify, Joomla).
-
Уточните правила
User-agent, запрещённые пути, задержка обхода, sitemap.
-
Разместите файл
Скопируйте результат в файл robots.txt в корне сайта.
Основные директивы
| Директива | Действие |
|---|---|
| User-agent: * | Применяется ко всем роботам |
| Disallow: /admin/ | Запрещает обход /admin/ |
| Disallow: | Ничего не запрещает (всё разрешено) |
| Sitemap: … | Указывает URL карты сайта |
Всё генерируется локально, в браузере. Всегда проверяйте файл в Search Console перед публикацией на рабочем сайте.
Частые вопросы
Для чего нужен файл robots.txt?
Размещённый в корне сайта (https://example.com/robots.txt), он сообщает поисковым роботам, какие части обходить или избегать. Это договорённость из вежливости: добропорядочные боты ей следуют, но технически доступ она не блокирует.
Достаточно ли заблокировать страницу, чтобы скрыть её от Google?
Нет. «Disallow» запрещает обход, но не индексацию: заблокированная страница может появляться в результатах, если на неё ссылаются другие сайты. Чтобы действительно исключить её, используйте мета-тег «noindex» или защиту паролем.
Что означает пустой «Disallow:»?
Строка «Disallow:» без значения разрешает всё: бот может обходить весь сайт. Наоборот, «Disallow: /» блокирует всё. Это разница между «ничего не запрещено» и «всё запрещено».
Стоит ли указывать sitemap здесь?
Рекомендуется: строка «Sitemap:» даёт поисковикам URL вашей карты сайта, что ускоряет обнаружение страниц. Используйте полный абсолютный URL, например https://example.com/sitemap.xml.