Ошибки в robots.txt на WordPress приводят к потере до 30% краулингового бюджета из-за индексации технических страниц и дублей. Правильная конфигурация этого файла — это не про «запрет всего», а про управление вниманием поискового робота в условиях лимитов обхода.
Анатомия стандартных ошибок WordPress
Типичный сайт на WP без ручной настройки генерирует сотни мусорных URL: страницы категорий, тегов, архивы авторов и служебные пути вроде /wp-json/. Если ваш сайт имеет более 500 страниц, индексация этого «шума» замедляет обновление основного контента в индексе Google и Яндекса на 3-7 дней.
Кейс: при аудите интернет-магазина на WooCommerce было обнаружено, что 40% проиндексированных страниц — это фильтры и параметры сортировки. После закрытия этих разделов в robots.txt частота переобхода целевых карточек товаров выросла с 1 раза в 10 дней до 1 раза в 2 дня.
Экспертный вывод: оставлять robots.txt по умолчанию или полагаться на базовые настройки плагинов — значит добровольно отдавать краулинговый бюджет на индексацию системного мусора.
Оптимальный шаблон директив для WP
Для большинства проектов актуален баланс: закрываем админку и системные файлы, открываем всё остальное. Важно помнить, что Disallow в robots.txt не удаляет страницу из индекса, а лишь запрещает её обход. Если страница уже в индексе, она останется там с пометкой «индексация запрещена», что может негативно влиять на CTR в выдаче.
- User-agent: *
- Disallow: /wp-admin/ (кроме /wp-admin/admin-ajax.php)
- Disallow: /wp-login.php
- Disallow: /wp-content/plugins/
- Disallow: /wp-content/themes/
- Disallow: /search/
Нюанс: закрытие /wp-content/plugins/ может заблокировать доступ к CSS и JS файлам, которые нужны роботам для рендеринга страницы. В 2024-2025 годах Google оценивает PageSpeed и мобильную адаптивность, поэтому блокировка ресурсов приведет к падению позиций.
Экспертный вывод: никогда не закрывайте весь каталог /wp-content/ — это критическая ошибка, которая «ослепляет» поисковик и обнуляет усилия по SEO оптимизации сайтов на WordPress в 2024-2025.
Борьба с дублями через robots.txt
WordPress создает дубли через систему тегов и архивы. Если у вас 10 статей в одной категории, WP создаст страницу категории, страницу автора и страницу даты — итого 3 дубля на 1 полезный URL. На крупных порталах (от 10 000 страниц) это создает колоссальную нагрузку на сервер.
Пример: закрытие /author/ и /tag/ через Disallow сокращает количество страниц в индексе на 15-20% без потери трафика, так как эти страницы редко бывают целевыми для пользователей. Однако, если вы развиваете личный бренд эксперта, страницу автора закрывать нельзя.
Экспертный вывод: используйте robots.txt для отсечения системных дублей, но для тонкого управления индексацией конкретных страниц используйте мета-тег noindex, так как он работает надежнее.
Инструменты настройки и риски автоматизации
Существует три способа правки: через FTP/файловый менеджер (самый надежный), через плагины (Yoast SEO, Rank Math) или через панель хостинга. Плагины удобны тем, что позволяют править файл «на лету», но при сбое плагина или конфликте обновлений файл может сброситься к дефолтному или, что хуже, закрыть весь сайт (Disallow: /).
Статистика показывает, что около 5% сайтов случайно закрывают себя от индексации при переезде с тестового домена на основной, забыв сменить статус в Настройках → Чтение. Это приводит к выпадению из поиска за 24-48 часов.
Экспертный вывод: для стабильности крупных проектов я рекомендую создавать физический файл robots.txt в корне сайта, чтобы исключить зависимость от работы PHP-скриптов плагинов.
Вывод
Идеальный robots.txt для WordPress — это минималистичный файл, который закрывает только системные пути (/wp-admin/, /wp-login.php) и явный мусор (/search/), оставляя открытыми все CSS, JS и изображения для корректного рендеринга. Начните с проверки файла через Google Search Console: если там более 10% страниц с пометкой «заблокировано в robots.txt», но имеющих входящие ссылки — срочно пересматривайте директивы. Избегайте использования сложных регулярных выражений, если не уверены в них на 100%, так как одна лишняя точка или знак доллара могут закрыть весь раздел с контентом.