Robots.txt для сайта: основные директивы и частые ошибки

Настройка robots.txt начинается с ответа на вопрос: какие публичные адреса поисковому роботу нужно обходить, а какие технические URL нет смысла запрашивать. Файл содержит правила обхода, но не является паролем и сам по себе не гарантирует удаление страницы из поискового индекса.

Ниже разберём расположение файла, основные директивы и проверку на конкретных адресах. Примеры используют учебный домен www.example.com и вымышленные пути: не копируйте их на рабочий сайт, пока не сопоставите с его структурой.

Что делает robots.txt и чего он не делает

Поисковый робот может обратиться к файлу правил перед обходом страниц сайта. Директивы сообщают соблюдающему их роботу, какие пути разрешено или запрещено запрашивать. Обход — это получение ресурса роботом; индексирование и показ в результатах поиска — последующие процессы. Разрешённый обход не обещает, что страница появится в выдаче.

Запрет обхода также не равен запрету индексирования. Поисковой системе может стать известен адрес страницы из ссылок или других источников, даже если её содержимое недоступно для обхода. А если страницу нужно исключить из индекса с помощью noindex, робот должен иметь возможность получить её и увидеть соответствующее указание. Если robots.txt одновременно запрещает обход, указание на самой странице может остаться непрочитанным.

Файл общедоступен и адресован роботам; он не защищает данные от посетителей и программ, которые игнорируют правила. Для личных кабинетов, закрытых документов и административных разделов используйте авторизацию и серверные ограничения доступа. Общий порядок диагностики описан в статье о причинах отсутствия страницы в индексе.

Где должен находиться файл

Файл размещают по пути /robots.txt в корне соответствующего сайта, например https://www.example.com/robots.txt. Проверяйте именно протокол, хост и при необходимости порт, к которым относятся исследуемые страницы: адреса с www и без него или разные поддомены не стоит автоматически считать одной и той же областью действия правил. Например, правила основного сайта не заменяют проверку файла на отдельном поддомене блога.

Подготовьте обычный текстовый файл в UTF-8. Откройте адрес в браузере и проверьте, что сервер действительно отдаёт содержимое robots.txt, а не страницу ошибки, форму входа, защитный экран или HTML главной страницы. Для диагностики ответа можно выполнить запрос к вашему адресу:

curl -i https://www.example.com/robots.txt

В учебной команде замените домен на свой. Изучите итоговый HTTP-ответ, заголовки и тело; если есть перенаправления, проверьте их цепочку и конечное содержимое. Для обычной рабочей конфигурации удобно убедиться, что файл доступен с ответом 200 и содержит ожидаемый текст. Поведение поисковых систем при ошибках и перенаправлениях может различаться, поэтому не делайте вывод об обходе только по одному экрану браузера.

Основные директивы robots.txt

Правила объединяются в группы. Строка User-agent обозначает робота, а следующие за ней строки Disallow и Allow задают ограничения для путей. Символ * в значении User-agent обозначает общую группу для роботов, к которым она применяется. Строка Sitemap указывает адрес карты сайта.

User-agent: *
Disallow: /demo-search/
Allow: /demo-search/help/

Sitemap: https://www.example.com/sitemap.xml

В этом учебном примере общая группа запрещает обход путей внутри /demo-search/, но содержит более конкретное разрешение для /demo-search/help/. Google и Яндекс поддерживают директивы Allow и Disallow; результат для конкретного робота и адреса обязательно проверьте в соответствующем инструменте. Карта сайта указана полным адресом и в реальном файле должна вести на существующий Sitemap вашего сайта.

User-agent: кому адресована группа

User-agent: * используют для общей группы; отдельную группу можно адресовать конкретному роботу по его идентификатору. Не создавайте специальные группы без потребности: они усложняют проверку. Если специальная группа уже есть, проверьте её отдельно: нельзя без проверки рассчитывать, что робот автоматически объединит её со всеми правилами общей группы. Для Google при наличии подходящей более конкретной группы применяются соответствующие правила, а общая группа не служит автоматическим дополнением.

Если, например, в общей группе закрыт тестовый публичный раздел, а для конкретного робота создана отдельная группа, проверьте оба набора правил. Иначе специалист может ошибочно считать раздел закрытым для всех, хотя правило, относящееся к одному роботу, отличается. Названия роботов и особенности выбора групп сверяйте с документацией соответствующей поисковой системы.

Disallow и Allow: какие пути затрагиваются

Disallow задаёт путь, который робот не должен обходить согласно правилу; Allow позволяет обозначить разрешённый путь, в том числе более конкретное исключение. При пересечении правил имеет значение их совпадение с проверяемым URL и специфика реализации робота. Не определяйте результат по порядку строк на глаз: используйте проверку для конкретного робота и адреса.

Различайте /catalog и /catalog/. Первое начало пути может совпасть не только с адресом каталога, но и с другим путём, начинающимся на те же символы. Второе нацелено на путь с завершающей косой чертой и расположенные под ним адреса; сам вариант без неё следует проверить отдельно. Регистр символов пути тоже имеет значение при сопоставлении, поэтому тестируйте точный адрес в том виде, в котором он используется сайтом.

Маски и обработка параметров URL требуют отдельного тестирования у каждого робота. Не добавляйте запреты вроде /*? без списка реальных адресов: параметры могут использоваться не только для служебного поиска, но и для нужных страниц или ресурсов. Начните с узкого правила, зафиксируйте ожидаемый результат и проверьте соседние URL.

Sitemap и комментарии

Директива Sitemap указывает полный URL карты сайта. Проверьте, что карта существует, доступна и содержит подходящие актуальные адреса. Указание Sitemap помогает сообщить о карте, но не отменяет правила обхода и не гарантирует индексирование каждого адреса.

Комментарии начинаются со знака # и помогают команде объяснить назначение правила. Не помещайте в файл секреты, внутренние инструкции или персональные данные: его может прочитать любой посетитель. Перед удалением старой строки выясните, какую задачу она решала и кто отвечает за связанные разделы.

Как настроить robots.txt без риска закрыть важные страницы

1. Сохраните текущую версию. Зафиксируйте содержимое, дату и место управления файлом: он может отдаваться сервером или формироваться системой сайта.
2. Составьте выборку адресов. Добавьте главную, страницу услуги или товара, раздел, важные CSS и JavaScript, служебные URL и страницы с параметрами, если они используются.
3. Укажите ожидаемый результат. Для каждого полного URL и робота отдельно запишите «обход разрешён» или «обход запрещён» и причину ограничения.
4. Подготовьте минимальное изменение. Не заменяйте действующий файл готовым шаблоном. Учитывайте отдельные группы роботов и существующую карту сайта.
5. Проверьте правила до применения. Используйте доступные проверочные средства поисковых систем или тестовую среду и пройдите всю выборку, включая соседние пути.
6. Опубликуйте и перепроверьте. Получите файл по публичному адресу, сравните содержимое с согласованным и проверьте итоговые правила и важные страницы повторно.

Если сайт использует кеширование или отдаёт разные версии через инфраструктуру, проверьте, какую версию получает посетитель снаружи. Изменения не обязательно учитываются поисковыми роботами мгновенно: фиксируйте дату и следите за отчётами и журналами, не обещая точных сроков реакции.

Пример проверки двух похожих адресов

Предположим, владелец хочет ограничить обход учебного раздела https://www.example.com/demo-search/, но оставить доступным справочный материал https://www.example.com/demo-search/help/. В примере выше указаны общий запрет и более конкретное разрешение. Перед применением проверьте для выбранного робота оба URL, их варианты с параметрами и адреса необходимых ресурсов страницы.

Отдельно проверьте https://www.example.com/demo-search без завершающей косой черты: это другой путь, и вывод о нём не следует делать только по примеру с /demo-search/. Убедитесь, что этот раздел действительно является публичным учебным содержимым, а не местом хранения закрытых данных. При необходимости защиты сначала настройте надлежащий контроль доступа.

Затем сверьте фактическую обработку в инструментах владельца сайта. Доступный интерфейс и функции могут меняться; ориентируйтесь на актуальные справки и проверяйте Google и Яндекс по отдельности. Для интерпретации статуса страницы используйте руководство по проверке индексации в Google и Яндексе.

Частые ошибки

Запрет всего сайта после тестирования

Правило Disallow: / в применимой группе закрывает обход всего набора путей на этом сайте для соответствующего робота. Оно может оставаться после переноса тестовой версии. Перед изменением убедитесь, что работа ведётся с нужным доменом и что сайт действительно должен быть публичным. Проверьте другие ограничения отдельно: удаление одной строки не отменяет авторизацию, noindex или ошибки сервера.

Попытка скрыть приватную информацию

Перечисление закрытых каталогов в robots.txt не делает их конфиденциальными. Любой посетитель может увидеть файл и попробовать открыть адрес напрямую. Закройте ресурсы средствами сервера и управления доступом; затем проверьте, что неавторизованный пользователь не получает содержимое. Правила для роботов рассматривайте как отдельный вопрос обхода.

Одновременный запрет обхода и ожидание noindex

Если страница уже известна поиску и владелец хочет исключить её из индекса, сначала определите подходящий механизм для конкретного случая. Чтобы поисковик мог увидеть noindex в открытом ответе страницы, ему нужен доступ к этому ответу. Не закрывайте URL в robots.txt и не предполагайте, что невидимый роботу тег будет обработан. Для конфиденциальных данных приоритетом остаётся ограничение доступа, а не ожидание обновления поиска.

Закрытые ресурсы и лишние директивы

Проверьте, не запрещён ли обход CSS, JavaScript или изображений, нужных поисковой системе для понимания страницы. Открывать все технические пути подряд тоже не нужно: разберите конкретную зависимость и назначение файла. Не полагайтесь на запись Noindex внутри robots.txt как на способ исключения URL из индекса Google; используйте поддерживаемые механизмы на самой странице или в ответе сервера.

Не копируйте директивы из старых примеров без проверки поддержки поисковой системой. Правила отдельных роботов могут отличаться. Полезно вести журнал изменений: что поменяли, какие адреса проверили и кто согласовал изменение.

Итоговый чек-лист

1. Файл доступен на правильных протоколе и хосте, отдаёт ожидаемый текст и не подменяется ошибкой или страницей входа.
2. Выбраны конкретные роботы и проверены общая и специальные группы.
3. Важные страницы и необходимые ресурсы не закрыты случайно; соседние пути проверены отдельно.
4. Ограничения обхода не используются вместо авторизации или как гарантия удаления из индекса.
5. Существующая карта сайта указана корректно, если вы решили добавить её в файл.
6. Текущая версия сохранена, изменение согласовано, результат проверен после публикации.

Если поисковая система по-прежнему не показывает важную страницу, проверьте также ответ сервера, noindex, канонический адрес и доступность содержимого: файл правил — лишь одна часть технического SEO-аудита. Для дальнейшей проверки обратитесь к документации Google о robots.txt и справке Яндекс Вебмастера.