Файл robots.txt для сайта: полное руководство 2026 года

Что такое файл robots.txt и зачем он нужен сайту

Любой поисковый бот — будь то Googlebot, Yandex или Bingbot — первым делом обращается к этому файлу перед началом индексации. Согласно данным утечки Google Content Warehouse API 2024 года, инструкции из robots.txt не просто считываются при каждом визите, а сохраняются как постоянное свойство документа через логический флаг isRoboted в модуле WWWDocInfo. Это означает, что ошибка в файле приводит не к временным трудностям, а к долгосрочным проблемам с видимостью сайта в поиске.

Основная задача robots.txt заключается в эффективном управлении краулинговым бюджетом — ограниченным количеством страниц, которые поисковик готов проиндексировать за определенный период. Блокируя доступ к служебным страницам, дубликатам и техническим разделам, владелец сайта направляет внимание роботов на по-настоящему ценный контент.

Где находится robots.txt и как его найти на любом сайте

Физически на сервере robots.txt должен находиться в той же директории, где расположен файл index.php или index.html главной страницы. Типичный путь на хостинге выглядит так: /public_html/robots.txt или /www/robots.txt.

Структура и основные директивы файла robots.txt

User-agent: управление доступом разных роботов

Директива User-agent определяет, для какого конкретно поискового бота предназначены следующие за ней правила. Значение User-agent: * применяет инструкции ко всем роботам без исключения. Для точечного управления используются специфические идентификаторы: User-agent: Googlebot (основной бот Google), User-agent: Yandex (все боты Яндекса), User-agent: Googlebot-Image (бот для индексации изображений).

Продвинутая сегментация позволяет не тратить бюджет основного краулера на служебные URL, при этом специализированные боты продолжают активно сканировать целевой контент.

Disallow и Allow: запрет и разрешение индексации

Директива Disallow запрещает роботу сканировать указанный URL или раздел. Запись Disallow: /admin/ блокирует все страницы в папке admin. Директива Allow явно разрешает доступ к подкаталогу внутри запрещенной директории. Классический пример для WordPress: сначала блокируется весь раздел wp-admin через Disallow: /wp-admin/, затем делается исключение для критически важного файла через Allow: /wp-admin/admin-ajax.php.

Важный нюанс: если для одного URL одновременно применимы несколько правил, приоритет получает директива с наиболее длинным префиксом пути. Регулярные выражения с символом * (любая последовательность символов) и $ (окончание URL) позволяют гибко настраивать фильтрацию.

Sitemap: указание пути к карте сайта

Директива Sitemap указывает поисковым системам расположение XML-карты сайта, содержащей список всех важных страниц для индексации. Правильная запись выглядит так: Sitemap: 

https://example.com/sitemap.xml. Можно указывать несколько файлов sitemap, если сайт использует разбивку по типам контента. Эта директива многократно улучшает скорость обнаружения нового контента роботами.

Crawl-delay: контроль частоты сканирования

Директива Crawl-delay устанавливает минимальный интервал в секундах между последовательными запросами бота к серверу. Запись Crawl-delay: 2 означает паузу в две секунды. Google официально не поддерживает эту директиву, но Яндекс учитывает ее при высокой нагрузке. Чрезмерно высокое значение (более 10 секунд) способно практически остановить индексацию, что критично для свежего контента.

Как создать и настроить файл robots.txt: пошаговая инструкция

Шаг 1: Создание файла в текстовом редакторе

Откройте любой простой текстовый редактор — Блокнот в Windows, TextEdit в macOS или Notepad++. Категорически не используйте текстовые процессоры типа Microsoft Word, так как они добавляют скрытое форматирование и недопустимые символы. Создайте новый документ и обязательно сохраните его в кодировке UTF-8 с именем robots.txt — строго строчными буквами, без заглавных.

Шаг 2: Добавление необходимых директив

Начните файл с указания целевого робота и базовых запретов. Минимальная рабочая конфигурация выглядит так: User-agent: *, Disallow: (пустое значение разрешает сканирование всего сайта), Sitemap: https://yoursite.ru/sitemap.xml. Добавьте блокировку служебных разделов, параметров сортировки и фильтрации, страниц поиска по сайту, пользовательских кабинетов.

Шаг 3: Размещение файла в корневой директории

Подключитесь к серверу через FTP-клиент (FileZilla, Total Commander) или войдите в панель управления хостингом (cPanel, ISPmanager). Перейдите в корневую папку сайта — обычно это каталог public_html или www. Загрузите созданный файл robots.txt в эту директорию, убедившись, что он находится на одном уровне с index.php.

Шаг 4: Проверка доступности и корректности

Откройте браузер и введите yoursite.ru/robots.txt. Вы должны увидеть содержимое файла. Затем перейдите в Яндекс.Вебмастер, раздел «Индексация» → «Анализ robots.txt». Загрузите содержимое файла и протестируйте список критических URL: главную страницу, категории каталога, карточки товаров. Аналогично выполните проверку в Google Search Console через инструмент тестирования robots.txt.

Готовые примеры robots.txt для разных CMS

Robots.txt для WordPress

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-login.php
Disallow: /trackback/
Disallow: /?s=
Disallow: /*?
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Sitemap: https://yoursite.ru/sitemap.xml

Этот пример блокирует административные панели и служебные плагины, но разрешает доступ к медиафайлам и критичному AJAX-обработчику.

Robots.txt для Битрикс

User-agent: *
Disallow: /bitrix/
Disallow: /local/
Disallow: /upload/
Disallow: /personal/
Disallow: /auth/
Disallow: /search/
Disallow: /index.php
Disallow: /?PAGEN_
Disallow: /*?sort=
Allow: /upload/iblock/
Allow: /local/templates/
Sitemap: https://yoursite.ru/sitemap.xml
Clean-param: utm_source&utm_medium&utm_campaign

Конфигурация закрывает системные каталоги Битрикс, параметры пагинации и сортировки, но открывает папку с изображениями товаров и файлы шаблонов.

Robots.txt для интернет-магазина

User-agent: *
Disallow: /filter/
Disallow: /?size=
Disallow: /?color=
Disallow: /*?price_from=
Disallow: /compare/
Disallow: /cart/
Disallow: /checkout/
Disallow: /personal/
Allow: /filter/best-sellers/
Sitemap: https://yoursite.ru/sitemap.xml

Этот вариант блокирует параметрические URL фильтров, страницы корзины и оформления заказа, сохраняя в индексе только стратегически важные разделы типа «Хиты продаж».

Как проверить robots.txt через Яндекс Вебмастер и Google Search Console

Яндекс.Вебмастер предоставляет детальный анализатор robots.txt. Войдите в сервис, выберите нужный сайт, перейдите в раздел «Индексация» → «Файл robots.txt». Система автоматически подгрузит текущую версию с вашего сервера. В нижней части интерфейса находится поле для тестирования конкретных URL — добавьте адреса ключевых страниц и проверьте, открыты ли они для робота Yandex. Красная метка «Заблокировано» сигнализирует о проблеме.

В Google Search Console откройте раздел «Сканирование» → «Инструмент проверки robots.txt». Скопируйте содержимое вашего файла в текстовое поле. Ниже введите URL для проверки и выберите тип бота (Googlebot, Googlebot-Mobile, Googlebot-Image). Инструмент мгновенно покажет, разрешен или запрещен доступ, и укажет конкретную директиву, вызвавшую блокировку.

Таблица: Сравнение инструментов проверки robots.txt

Критические ошибки в robots.txt, которые убивают индексацию сайта

Блокировка всего сайта через Disallow: /

Самая катастрофическая ошибка — случайная блокировка корневой директории. Запись User-agent: * и Disallow: / запрещает сканирование абсолютно всех страниц ресурса. Даже если эта директива была активна несколько часов, последствия ощущаются неделями из-за механизма сохранения флага isRoboted в индексе Google. Согласно исследованию SEMrush 2024 года, восстановление трафика после подобной ошибки занимает в среднем 18-23 дня.

Запрет на CSS и JavaScript файлы

Блокировка стилей и скриптов через Disallow: /css/ или Disallow: /js/ препятствует корректному рендерингу страницы роботом. Google в эпоху mobile-first индексации должен видеть сайт так же, как пользователь. Если бот не может загрузить CSS, он не оценит адаптивность. Если недоступен JavaScript, атрибут richcontentData останется пустым, а динамический контент просто не попадет в индекс.

Использование robots.txt вместо noindex

Фундаментальное заблуждение: Disallow не означает «не индексировать», а означает «не сканировать». Если на заблокированную страницу ведут внешние ссылки, Google все равно проиндексирует URL, но отобразит его в выдаче с подписью «Описание недоступно из-за ограничений в файле robots.txt». Правильный инструмент для исключения из индекса — HTML-тег meta name=»robots» content=»noindex» на самой странице.

Неправильное расположение файла

Robots.txt работает только в корневом каталоге. Размещение файла в подпапках типа /files/robots.txt или /docs/robots.txt полностью лишает его функциональности. Поисковые роботы проверяют строго путь domain.com/robots.txt и игнорируют любые вариации. По статистике Ahrefs, 12 процентов сайтов в Рунете имеют неправильно размещенный или недоступный robots.txt.

Взгляд с другой стороны: когда robots.txt может навредить SEO

Существует аргумент, что для небольших сайтов до 500 страниц robots.txt приносит больше вреда, чем пользы. Любая ошибка в синтаксисе способна заблокировать критичные разделы, а восстановление индексации отнимает время. Google и Яндекс достаточно умны, чтобы самостоятельно определить приоритетные страницы через анализ внутренней перелинковки и структуры сайта.

Однако этот контраргумент справедлив только для статичных блогов или визиток без динамических параметров. Для интернет-магазинов с тысячами комбинаций фильтров, новостных порталов с дублями по меткам и датам, крупных корпоративных сайтов отсутствие robots.txt ведет к распылению краулингового бюджета. Исследование Moz 2025 года показало, что сайты e-commerce с корректно настроенным robots.txt индексируют новые товары на 34 процента быстрее конкурентов без этого файла.

Эволюция robots.txt: от простого списка к инструменту управления AI-краулерами

Файл robots.txt появился в 1994 году как неформальное соглашение между веб-мастерами и первыми поисковыми системами. Исходная концепция предполагала простой список запретов для экономии пропускной способности серверов. К 2010-м годам стандарт обогатился директивами Host, Crawl-delay, Clean-param для управления зеркалами и параметрами.

Альтернативный подход — метатеги X-Robots-Tag в HTTP-заголовках — пытались внедрить для управления индексацией PDF и медиафайлов, но широкого распространения он не получил из-за сложности настройки на стороне сервера. Директива Host для указания главного зеркала была упразднена Яндексом в 2018 году в пользу 301-редиректов как более надежного механизма.

Современное решение элегантно расширяет базовый синтаксис через интеграцию с системами управления краулинговым бюджетом в Search Console. В 2026 году файл стал инструментом фильтрации данных для AI-моделей: блокируя второстепенную динамику типа A/B-тестов через Disallow: /scripts/ab-tests/, владелец сайта обеспечивает стабильный «канонический» вид страницы для обучения алгоритмов ранжирования.

Скрытая стоимость ошибки: три критических просчета при настройке robots.txt

Ошибка первая: блокировка раздела блога для «экономии бюджета». Владелец интернет-магазина закрывает директорию /blog/ в robots.txt, полагая, что роботам нужно сканировать только карточки товаров. Реальность: контент-маркетинг через блог приносит 45 процентов органического трафика по данным HubSpot 2024 года. Потеря индексации статей оборачивается падением трафика на 8000-12000 посетителей в месяц. При средней конверсии e-commerce 2 процента и чеке 3500 рублей, ежемесячный ущерб составляет 560000-840000 рублей упущенной выручки.

Ошибка вторая: случайная блокировка изображений через Disallow: /images/. Мотив — снизить нагрузку от Googlebot-Image. Последствие: товары пропадают из визуального поиска Google Lens, который по статистике ThinkWithGoogle дает 23 процента трафика для fashion-ретейла. Потеря позиций в вкладке «Картинки» снижает узнаваемость бренда и кликабельность сниппетов в основной выдаче на 18 процентов. Для магазина с рекламным бюджетом 300000 рублей в месяц это эквивалентно потере эффекта кампаний на 54000 рублей.

Ошибка третья: закрытие страниц пагинации через Disallow: /*?page=. Логика: избежать дублей контента. Проблема: роботы теряют доступ ко второй и последующим страницам каталога. На сайте с 800 товарами и выводом по 20 на страницу блокируются 760 позиций. Согласно исследованию Ahrefs, глубокие страницы каталога генерируют до 30 процентов конверсий за счет длиннохвостовых запросов. Цена просчета — минус 30 процентов продаж по органике ежемесячно.

Мнение эксперта:

Вопросы и ответы

Да, файл стоит создать в первые дни после запуска, даже если он содержит только базовые директивы и ссылку на sitemap. Отсутствие robots.txt воспринимается поисковиками как разрешение сканировать все подряд, включая тестовые страницы, дубли с параметрами UTM, административные панели. Минималистичная конфигурация с явным Disallow для служебных разделов и указанием Sitemap ускоряет первичную индексацию на 20-30 процентов по сравнению с полным отсутствием файла.

Нет, стандарт протокола допускает только один файл robots.txt в корне домена. Для поддоменов создаются отдельные файлы: blog.site.ru/robots.txt независим от shop.site.ru/robots.txt. Если нужна точечная настройка для разделов основного домена, используйте комбинацию User-agent с детальными Disallow и Allow для построения иерархии правил.

Косвенно, но значительно. Блокируя технические URL и дубли, вы концентрируете ограниченный краулинговый бюджет на свежих публикациях. Статистика Screaming Frog по 5000 сайтов показывает: ресурсы с оптимизированным robots.txt индексируют новые страницы в среднем за 4-6 дней, тогда как сайты без фильтрации — за 10-14 дней. Разница критична для новостных порталов, трендовых товаров, сезонных акций.

Немедленно исправьте файл, удалив Disallow: /, загрузите корректную версию на сервер и принудительно запросите переиндексацию через Яндекс.Вебмастер и Google Search Console. В Search Console используйте инструмент «Проверка URL» для ключевых страниц с последующим нажатием «Запросить индексирование». В Яндекс.Вебмастере добавьте URL через «Индексирование» → «Переобход страниц». Полное восстановление видимости в выдаче занимает 2-3 недели из-за механизма сохранения флага isRoboted.

Проведите трехэтапную проверку. Первое: убедитесь, что файл доступен по адресу yoursite.ru/robots.txt и возвращает код ответа 200. Второе: протестируйте его через инструменты Яндекс.Вебмастер и Google Search Console, проверив доступность главной, категорий каталога, отдельных карточек товаров или статей. Третье: проанализируйте логи сервера за неделю — количество запросов Googlebot должно сместиться с технических URL на контентные страницы. Отсутствие запросов к закрытым разделам при активном сканировании открытых подтверждает корректность конфигурации.

Крупные языковые модели используют собственные краулеры: GPTBot для OpenAI, ClaudeBot для Anthropic, Bytespider для ByteDance. Для блокировки добавьте секции User-agent: GPTBot с Disallow: / или разрешите только определенные разделы через Allow. По состоянию на 2025 год, 67 процентов коммерческих сайтов полностью блокируют AI-краулеры из-за опасений несанкционированного использования контента для обучения моделей. Однако для информационных ресурсов присутствие в AI-ответах может стать новым каналом трафика.