Страницы внутреннего поиска в WordPress часто попадают в индекс не потому, что они полезны, а потому что поисковик легко находит их по ссылкам и параметрам запроса. В итоге в выдаче появляются URL вида ?s=, а в отчётах — мусорные страницы с тонким контентом и дубли. Если задача именно в том, чтобы убрать такие страницы из индекса, одного robots.txt обычно недостаточно: поисковик может увидеть URL, но не получить сигнал на удаление из индекса. Надёжнее сочетать noindex на самих страницах поиска и аккуратные правила в robots.txt.
Когда это действительно проблема
Закрывать поиск от индексации имеет смысл, если у вас обычный сайт, блог или корпоративный проект, а не отдельный каталог с полезными страницами поиска. Типичный сценарий: в Search Console растёт число URL с параметром s, а в индексе появляются страницы с пустыми или почти пустыми результатами. Это не даёт трафик и размывает качество индекса.
Что именно нужно проверить
- Есть ли в индексе URL вида
/ ?s=запросили/search/запрос/. - Не закрывает ли текущий robots.txt важные CSS/JS или, наоборот, не оставляет ли поиск открытым.
- Не добавляет ли SEO-плагин уже свой
noindexна страницы поиска. - Не используется ли на сайте кастомный шаблон поиска, который отдаёт индексируемый HTML без мета-роботов.
Диагностика: почему robots.txt сам по себе не решает задачу
Частая ошибка — запретить в robots.txt всё, что содержит ?s=, и считать вопрос закрытым. Для удаления уже известных поисковику URL этого мало: если робот не может зайти на страницу, он не увидит мета-тег noindex и может держать URL в индексе дольше, чем ожидается. Поэтому для страниц поиска лучше использовать noindex,follow на уровне HTML, а robots.txt применять только как дополнительную меру.
Ещё один нюанс: если у вас есть внутренний поиск по красивому ЧПУ, например /search/term/, нужно закрывать именно этот шаблон, а не только параметр s. Иначе часть URL останется доступной для индексации.
Пошаговое решение
Ниже — рабочая схема, которая подходит для большинства тем и не ломает обычные страницы сайта.
Шаг 1. Добавьте meta robots на страницы поиска
Если тема не делает это сама, можно добавить правило в functions.php дочерней темы или в небольшой mu-plugin. Код ставит noindex,follow только на результаты поиска и не трогает обычные страницы.
<?php
add_action( 'wp_head', function () {
if ( is_search() ) {
echo '<meta name="robots" content="noindex,follow" />' . "\n";
}
}, 1 );
Если у вас уже подключён SEO-плагин, сначала проверьте его настройки. Во многих случаях он умеет ставить noindex без кода. Но если плагин не даёт нужного поведения на кастомном шаблоне поиска, ручной вариант выше остаётся самым предсказуемым.
Шаг 2. Ограничьте обход в robots.txt
В robots.txt можно добавить мягкое ограничение для параметра поиска. Это не замена noindex, а дополнительный сигнал, который уменьшает лишний обход.
User-agent: *
Disallow: /*?s=
Disallow: /search/
Если ваш сайт использует только параметр ?s=, строку Disallow: /search/ можно не добавлять. Но если тема или плагин формирует поисковые URL через красивый путь, это правило пригодится.
Шаг 3. Убедитесь, что поиск не генерирует лишние ссылки
Иногда проблема не в индексации, а в том, что ссылки на поиск массово появляются в меню, сайдбаре или хлебных крошках. Такие ссылки не всегда вредны, но они ускоряют обнаружение мусорных URL. Если поиск не нужен в навигации, уберите его оттуда или оставьте только в интерфейсе для пользователей.
Сравнение подходов
| Подход | Что делает | Плюсы | Минусы |
|---|---|---|---|
| Только robots.txt | Запрещает обход URL поиска | Просто внедрить | Не гарантирует удаление из индекса |
| Только meta robots noindex | Даёт поисковику сигнал не индексировать страницу | Надёжнее для удаления из индекса | Страница всё ещё может обходиться роботом |
| noindex + robots.txt | Сочетает оба сигнала | Практичный вариант для большинства сайтов | Нужно аккуратно проверить правила, чтобы не задеть важные URL |
Проверка результата после внедрения
После изменений не ограничивайтесь визуальной проверкой страницы в браузере. Нужно убедиться, что поисковик видит именно те сигналы, которые вы добавили.
- Откройте страницу поиска и проверьте исходный код: должен быть
<meta name="robots" content="noindex,follow" />. - Проверьте robots.txt по адресу
/robots.txtи убедитесь, что правила записаны без ошибок. - В Search Console отправьте проверку конкретного URL поиска через инструмент проверки URL.
- Если URL уже был в индексе, отслеживайте его статус несколько дней или недель — удаление не всегда происходит мгновенно.
Для быстрой локальной проверки можно использовать curl и посмотреть заголовки и HTML:
curl -I "https://example.com/?s=test"
curl -s "https://example.com/?s=test" | grep -i "robots"
Если у вас кэш на уровне плагина или сервера, не забудьте очистить его после правок. Иначе вы будете проверять старую версию страницы и решите, что код не работает.
Частые ошибки и как их исправить
Закрыли поиск в robots.txt, но не добавили noindex
Это самая частая причина, почему URL остаются в индексе. Исправление простое: верните доступ роботу к странице поиска и добавьте noindex,follow в HTML.
Поставили noindex не на те страницы
Иногда разработчик использует слишком общий условный тег, и мета-robots появляется на всех страницах сайта. Проверяйте условие is_search() и тестируйте шаблон отдельно.
Сломали поиск в теме или плагине
Если после правок поиск перестал работать, обычно проблема в том, что в robots.txt запретили не только индексацию, но и обход нужных URL для фронтенда или AJAX-эндпоинтов. В таком случае уберите слишком широкие правила и проверьте, какие адреса реально используются формой поиска.
Не учли кастомный search URL
Некоторые темы используют не стандартный параметр ?s=, а собственный маршрут. Тогда правило для robots.txt нужно подстроить под фактический URL, иначе закрытым окажется только один из вариантов.
Практические советы по безопасности и производительности
Если поиск на сайте активно используется, не стоит блокировать его грубо и без проверки. Лучше ограничить только индексацию, но оставить работу формы для пользователей. Это особенно важно для интернет-проектов с большим архивом материалов, где поиск — реальный инструмент навигации.
Ещё один полезный приём — не плодить отдельные страницы поиска в sitemap. Если SEO-плагин или кастомный код случайно добавляет такие URL в карту сайта, удалите их оттуда. Поисковику не нужно подсказывать, что внутренний поиск является посадочной страницей.
Если вы используете плагины для SEO и чистки дублей, например Clearfy Pro, проверьте, не дублируют ли они ваши ручные правила. В таких случаях лучше оставить один источник истины: либо настройка в плагине, либо код, но не оба варианта одновременно без необходимости.
Когда лучше не закрывать поиск полностью
Есть редкие сценарии, когда страницы поиска могут быть полезны сами по себе: например, если это узкоспециализированный каталог с хорошо оформленными результатами и стабильными URL. Но для обычного WordPress-сайта такие страницы почти всегда создают больше шума, чем пользы. Если сомневаетесь, начните с noindex,follow и посмотрите на поведение индекса, а не закрывайте всё жёстко.