Генератор Robots.txt

Генератор robots.txt — это онлайн-инструмент для создания файла robots.txt, который управляет доступом поисковых роботов к страницам вашего сайта. ToolsPivot позволяет собрать корректный файл за минуту: выберите правила для Google, Яндекса, Baidu и других ботов, укажите закрытые директории и ссылку на карту сайта — и получите готовый текст без единой синтаксической ошибки. Регистрация не нужна.

Возможности Генератора Robots.txt от ToolsPivot

Генератор создаёт валидный файл robots.txt через визуальную форму — без ручного ввода директив и без риска опечаток.

• Настройка доступа по умолчанию: Один переключатель задаёт базовое правило для всех роботов — разрешить или запретить сканирование. Это директива User-agent: * с Disallow или Allow.

• Индивидуальные правила для 15 поисковых ботов: Для каждого робота — Googlebot, Google Image, Google Mobile, MSN Search, Yahoo, Baidu, Naver, Alexa/Wayback и других — можно задать собственное правило, отличное от глобального. Это критично, если нужно закрыть сайт от Baidu, но оставить открытым для Google.

• Crawl-delay (задержка обхода): Выбирайте интервал от 5 до 120 секунд между запросами бота. Яндекс и Bing учитывают эту директиву — она снижает нагрузку на сервер при агрессивном сканировании.

• Указание Sitemap: Отдельное поле для URL карты сайта. Робот находит Sitemap прямо из файла robots.txt, что ускоряет индексацию новых страниц. Если карты ещё нет, воспользуйтесь генератором карты сайта.

• Закрытие директорий: Семь полей для ввода путей, которые нужно заблокировать от сканирования. Указывайте относительные пути с косой чертой в конце — /wp-admin/, /cart/, /private/.

• Мгновенная генерация текста: После заполнения формы готовый robots.txt появляется на странице. Скопируйте его и загрузите в корневую папку сайта.

• Валидный синтаксис: Инструмент автоматически расставляет пробелы, двоеточия и переносы строк по стандарту Robots Exclusion Protocol. Ручное редактирование часто приводит к ошибкам — пропущенный слеш или лишний пробел может заблокировать весь сайт.

Как пользоваться Генератором Robots.txt от ToolsPivot

Создание файла занимает меньше минуты. Вот пошаговый процесс:

1. Выберите правило по умолчанию. Переключите «Default — All Robots are» на Allowed (разрешить) или Refused (запретить). Для большинства сайтов нужно Allowed.

2. Задайте задержку обхода. Если сервер слабый или на shared-хостинге — поставьте 10–20 секунд. Для мощных серверов оставьте «No Delay».

3. Впишите URL карты сайта. Полный адрес, включая https:// — например, https://example.ru/sitemap.xml. Если карты нет — оставьте поле пустым.

4. Настройте правила для отдельных ботов. Напротив каждого робота (Google, Baidu, Yahoo и другие) выберите Same as Default, Allowed или Refused в зависимости от вашей стратегии.

5. Укажите закрытые директории. Впишите пути к разделам, которые не должны попадать в поисковую выдачу: /admin/, /tmp/, /checkout/. Используйте косую черту в начале и в конце.

6. Скопируйте результат. Готовый текст robots.txt появится на странице. Скопируйте его, создайте текстовый файл с именем robots.txt и загрузите в корневую директорию сайта через FTP или файловый менеджер хостинга.

После загрузки проверьте доступность файла по адресу vashsite.ru/robots.txt. Если страница открывается и вы видите свои директивы — всё работает.

Зачем использовать Генератор Robots.txt от ToolsPivot

• Защита от синтаксических ошибок. Одна опечатка в ручном файле может закрыть весь сайт от индексации. Генератор ToolsPivot формирует текст по стандарту — ошибки исключены.

• Экономия краулингового бюджета. Google выделяет ограниченное количество запросов на каждый сайт. Если бот тратит ресурсы на /wp-admin/ или /cart/, ваши новые статьи индексируются медленнее. Грамотный robots.txt направляет ботов на нужные страницы. Проверить текущее состояние индексации поможет проверка индексации Google.

• Управление нагрузкой на сервер. Crawl-delay снижает частоту запросов поисковых ботов. Для сайтов на недорогом хостинге (Timeweb, Beget, REG.RU) это может заметно снизить расход ресурсов.

• Конфиденциальность закрытых разделов. Панели администратора, личные кабинеты, тестовые страницы — всё это не должно появляться в выдаче. Генератор помогает закрыть такие разделы за 30 секунд.

• Раздельные правила для разных поисковиков. Нужно разрешить Google, но закрыть Baidu? Или добавить задержку только для определённого бота? ToolsPivot позволяет настроить правила для 15 ботов по отдельности — без запоминания имён User-agent.

• Бесплатно, без регистрации, без лимитов. Генерируйте столько файлов, сколько нужно. Нет аккаунтов, нет подписок, нет рекламных всплывающих окон. Данные не сохраняются на сервере.

• Интеграция с Sitemap. Директива Sitemap в robots.txt помогает ботам быстрее находить все страницы сайта. Особенно полезно для крупных интернет-магазинов на Ozon, Wildberries или собственных площадках, где тысячи товарных карточек обновляются ежедневно.

Какие директивы robots.txt поддерживаются и что они означают

Файл robots.txt состоит из набора команд (директив), каждая из которых занимает отдельную строку. Разберём основные.

User-agent указывает, для какого бота действуют следующие правила. Символ * означает «все роботы». Googlebot, YandexBot, Bingbot, Baiduspider — конкретные имена ботов. Если нужно задать разные правила для Google и Яндекса, создайте два отдельных блока с разными User-agent.

Disallow запрещает сканирование указанного пути. Disallow: /admin/ закрывает всю директорию /admin/ и всё внутри неё. Disallow: / закрывает весь сайт. Пустая строка Disallow: (без значения) — означает, что запретов нет.

Allow разрешает доступ к конкретному пути внутри заблокированной директории. Пример: Disallow: /wp-admin/ закрывает админку WordPress, но Allow: /wp-admin/admin-ajax.php открывает файл, необходимый для работы плагинов.

Sitemap указывает полный URL карты сайта. Можно указать несколько директив Sitemap — по одной на строку. Все основные поисковики (Google, Яндекс, Bing) читают эту директиву.

Crawl-delay задаёт минимальный интервал (в секундах) между запросами бота к серверу. Google эту директиву игнорирует — скорость обхода для Google настраивается через Search Console. Яндекс и Bing её учитывают. Для Яндекса максимум — 2 секунды; более длинные задержки он обрежет до двух.

Clean-param — директива Яндекса. Она указывает, что URL с определёнными GET-параметрами (utm_source, sid, ref) являются дублями основной страницы и индексировать их не нужно. Google эту директиву не поддерживает.

Хотите проверить, какие мета-теги стоят на страницах вашего сайта? Используйте анализатор мета-тегов от ToolsPivot.

Ошибки при создании robots.txt, которые вредят индексации

Неправильный robots.txt — одна из частых причин, почему страницы сайта не попадают в поисковую выдачу. Вот что идёт не так.

Случайная блокировка всего сайта. Строка Disallow: / без указания конкретного User-agent закрывает всё. Владельцы забывают убрать эту строку после переноса сайта с тестового домена. Результат — ноль страниц в индексе.

Блокировка CSS и JS файлов. Запрет на /wp-content/ или /wp-includes/ не даёт Google отрисовать страницу при рендеринге. Поисковик видит «голый» HTML без стилей и скриптов — это снижает оценку качества страницы. Проверить, как Google видит ваш сайт, можно через симулятор поискового робота.

Закрытие страниц вместо noindex. Robots.txt запрещает сканирование, но не индексацию. Если на заблокированную страницу ведут внешние ссылки, Google может показать её в выдаче — с URL, но без описания. Для полного удаления из поиска нужен мета-тег noindex.

Файл не в корневой директории. Robots.txt работает только из корня домена: example.ru/robots.txt. Если файл лежит в /pages/robots.txt или /blog/robots.txt — боты его не найдут. Убедитесь, что файл доступен по правильному адресу с помощью проверки статуса сервера.

Размер файла превышает лимит. Яндекс обрабатывает файлы до 32 КБ, Google — до 500 КБ. Если ваш robots.txt разросся до сотен строк — пора упрощать правила через подстановочные символы (* и $).

Кириллица в путях. Роботы не понимают кириллические URL в директивах. Если на сайте есть путь /каталог/, его нужно закодировать в punycode или percent-encoding перед добавлением в robots.txt.

Кому нужен генератор robots.txt и когда его использовать

Файл robots.txt нужен не только крупным порталам. Вот конкретные ситуации, когда без генератора не обойтись.

Запуск нового сайта. Прежде чем Googlebot или YandexBot впервые просканируют ваш ресурс, файл robots.txt уже должен лежать в корне. Без него боты проиндексируют всё подряд — включая тестовые страницы, черновики и служебные разделы.

Интернет-магазин на WordPress + WooCommerce. Страницы /cart/, /checkout/, /my-account/ не должны попадать в поиск. Плюс нужно закрыть параметры фильтров (?price_min=, ?sort_by=), которые создают тысячи дублей. Для владельцев магазинов на Ozon или Wildberries, которые параллельно ведут собственный сайт на 1С-Битрикс, задача ещё сложнее — генератор берёт на себя синтаксис.

Миграция на новый домен. При переезде старые URL ещё живут в индексе. Robots.txt на новом домене должен открыть нужные страницы, а на старом — закрыть всё, кроме 301-редиректов.

Блокировка AI-краулеров. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot — эти боты собирают контент для обучения языковых моделей. Если вы не хотите, чтобы ваши тексты использовались для тренировки ИИ, добавьте соответствующие правила User-agent: GPTBot / Disallow: /. Генератор ToolsPivot пока не включает AI-ботов в список — но сгенерированный файл легко дополнить вручную.

Самозанятые и ИП с лендингами на Tilda. Даже одностраничный сайт выигрывает от robots.txt с директивой Sitemap — Яндекс быстрее находит и индексирует страницу. Проверить, видит ли Яндекс ваш сайт, поможет SEO-проверка сайта.

Что спрашивают о генераторе robots.txt

Что такое robots.txt и зачем он нужен?

Robots.txt — текстовый файл в корне сайта с инструкциями для поисковых роботов. Он указывает, какие разделы разрешено сканировать, а какие нет. Грамотно составленный файл экономит краулинговый бюджет и не даёт служебным страницам попасть в поисковую выдачу.

Генератор robots.txt от ToolsPivot бесплатный?

Да, полностью бесплатный. Регистрация не требуется, ограничений на количество генераций нет. Данные не сохраняются — инструмент работает прямо в браузере.

Где должен находиться файл robots.txt?

Только в корневой директории сайта. Адрес файла всегда выглядит как vashsite.ru/robots.txt. Любое другое расположение — и поисковые боты его не увидят. Загрузите файл через FTP, файловый менеджер хостинга или плагин CMS.

Может ли robots.txt полностью скрыть страницу из Google?

Нет. Robots.txt запрещает сканирование, но не индексацию. Если на закрытую страницу ведут внешние ссылки, Google может показать URL в выдаче без описания. Для полного удаления используйте мета-тег noindex или HTTP-заголовок X-Robots-Tag.

Учитывает ли Google директиву Crawl-delay?

Google директиву Crawl-delay не поддерживает. Скорость обхода для Googlebot регулируется через Google Search Console. Яндекс и Bing, напротив, Crawl-delay учитывают. Яндекс ограничивает максимальную задержку двумя секундами.

Чем отличается robots.txt от мета-тега noindex?

Robots.txt запрещает роботу посещать страницу. Noindex разрешает посещение, но запрещает добавление в индекс. Если закрыть страницу в robots.txt и одновременно поставить noindex, робот не увидит мета-тег — и страница может остаться в выдаче. Используйте одно из двух, не оба сразу.

Какой robots.txt нужен для сайта на WordPress?

Минимальная конфигурация: закройте /wp-admin/ (с разрешением /wp-admin/admin-ajax.php), /wp-includes/, страницы поиска /?s= и ненужные фиды. Добавьте Sitemap. Для интернет-магазинов на WooCommerce дополнительно закройте /cart/, /checkout/ и /my-account/. Детали зависят от структуры конкретного сайта.

Как проверить, правильно ли работает robots.txt?

Два основных способа: инструмент «Анализ robots.txt» в Яндекс Вебмастере и тестер robots.txt в Google Search Console. Оба покажут, какие URL заблокированы, а какие открыты. Дополнительно проверьте наличие битых ссылок на сайте — они тоже влияют на сканирование.

Нужен ли robots.txt, если на сайте всего 5–10 страниц?

Строго говоря — нет. Если все страницы должны быть в индексе и нечего скрывать, боты справятся без файла. Но даже для маленького сайта полезно добавить директиву Sitemap — Яндекс и Google быстрее найдут ваши страницы.

Как заблокировать AI-краулеры через robots.txt?

Добавьте отдельные блоки для каждого бота: User-agent: GPTBot с Disallow: / блокирует краулер OpenAI, User-agent: ClaudeBot — краулер Anthropic, User-agent: CCBot — CommonCrawl. Список AI-ботов растёт, поэтому следите за обновлениями документации каждого сервиса.

Robots.txt одинаков для Google и Яндекса?

Не совсем. Google игнорирует директивы Crawl-delay и Clean-param, а Яндекс их поддерживает. Раньше Яндекс использовал директиву Host для указания главного зеркала сайта, но с 2018 года перестал — теперь зеркало определяется через 301-редирект. Для сайтов, продвигающихся одновременно в Google и Яндексе, лучше создать отдельные блоки User-agent: Googlebot и User-agent: Yandex с учётом разницы.

Какой максимальный размер файла robots.txt?

Яндекс обрабатывает файлы до 32 КБ, Google — до 500 КБ. Всё, что превышает лимит, будет проигнорировано. Если файл слишком большой — используйте подстановочные символы (* и $) для укрупнения правил. Проверить размер страницы можно через проверку размера страницы.