Если нужно спрятать тестовый сайт, служебные страницы или отдельный раздел WordPress от поисковиков, важно не путать три разные вещи: запрет индексации, запрет обхода и техническую защиту. На практике чаще всего используют noindex, robots.txt и встроенную настройку WordPress «Попросить поисковые системы не индексировать сайт». Но работают они по-разному, и если выбрать не тот способ, можно либо не добиться результата, либо случайно закрыть от поисковиков то, что должно ранжироваться.
Ниже — понятная схема: что именно можно закрывать, чем это делать и как проверить, что всё сработало.
Что именно нужно закрыть: сайт целиком, раздел или отдельные страницы
Сначала стоит определить задачу. От этого зависит, какой инструмент использовать.
- Тестовый сайт или staging-копия — обычно нужно закрыть весь сайт целиком.
- Служебные страницы вроде корзины, оформления заказа, личного кабинета, поиска по сайту, внутренних фильтров — их лучше исключать точечно.
- Отдельный раздел — например, архивы, черновой каталог, внутреннюю базу знаний, которая не должна попадать в поиск.
Если нужен именно запрет на появление в поиске, а не просто ограничение доступа, ориентируйтесь на noindex. Если нужно уменьшить обход роботом, помогает robots.txt. Если сайт вообще не должен быть доступен посторонним, лучше не полагаться на SEO-настройки, а закрыть его паролем, HTTP-авторизацией или хотя бы ограничением по IP.
Самый простой способ: встроенная настройка WordPress
В WordPress есть базовая опция, которая просит поисковые системы не индексировать сайт. Она подходит для временного закрытия тестовой копии или нового сайта до запуска.
Откройте админку WordPress и перейдите в Настройки → Чтение. Там есть пункт «Попросить поисковые системы не индексировать сайт». После включения WordPress добавляет для сайта сигнал, который поисковики обычно учитывают.
Этот способ удобен, но у него есть ограничения:
- это именно просьба, а не жёсткий запрет;
- она не удаляет уже проиндексированные страницы мгновенно;
- если сайт открыт публично, поисковик может какое-то время сохранять старые URL в выдаче.
Для тестового сайта этого часто достаточно, но для служебных разделов лучше использовать более точечное управление через noindex.
Когда нужен noindex и как он работает
noindex — это директива, которая говорит поисковому роботу не включать страницу в индекс. В WordPress её обычно задают не вручную в HTML, а через SEO-плагин или настройки темы/плагина, если они это поддерживают.
Практически это лучший вариант для страниц, которые должны открываться пользователю, но не должны появляться в поиске: результаты внутреннего поиска, страницы фильтров, служебные архивы, временные лендинги, дубли контента.
Важно понимать разницу: noindex не запрещает роботу зайти на страницу. Он запрещает добавлять её в индекс. Поэтому если вам нужно скрыть страницу от людей, а не только от поисковиков, используйте пароль или ограничение доступа.
Как задать noindex в WordPress
В стандартном WordPress нет удобной точечной настройки noindex для отдельных типов страниц без дополнительных инструментов. На практике используют SEO-плагин, который умеет ставить мета-тег robots или заголовок X-Robots-Tag.
Если плагин позволяет, для нужной страницы или типа записей выбирают вариант вроде noindex, follow или просто noindex. Первый вариант говорит не индексировать страницу, но разрешить переход по ссылкам с неё. Это полезно для служебных страниц, где ссылки всё же должны работать.
Для закрытия целого раздела обычно настраивают:
- архивы рубрик или меток;
- страницы поиска;
- страницы пагинации, если они создают мусор в индексе;
- служебные пользовательские типы записей.
Если вы не уверены, как именно плагин реализует настройку, проверьте исходный код страницы или заголовки ответа сервера: там должен появиться мета-тег robots или заголовок X-Robots-Tag с noindex.
Что можно и что нельзя делать через robots.txt
robots.txt — это файл для управления обходом сайта роботами. Он полезен, когда нужно уменьшить нагрузку на сервер, не тратить краулинговый бюджет на служебные URL или подсказать поисковику, какие разделы лучше не обходить.
Но здесь часто путают два разных действия. robots.txt не гарантирует удаление страницы из индекса. Если URL уже известен поисковику и на него есть внешние ссылки, он может остаться в выдаче даже без обхода страницы. Поэтому robots.txt не заменяет noindex, если цель — именно убрать страницу из поиска.
Для WordPress robots.txt обычно используют так:
- закрывают технические каталоги и параметры, которые не нужны в поиске;
- ограничивают обход служебных разделов;
- не дают роботам ходить по страницам, которые создают дубли или бесполезные вариации URL.
Пример минимального файла для сайта, который не должен индексироваться, но при этом должен оставаться доступным для проверки и администрирования:
User-agent: * Disallow: /
Такой вариант запрещает обход всего сайта большинству роботов. Но он не всегда решает задачу полностью: если страницы уже в индексе, одного robots.txt может быть недостаточно. Кроме того, при полном запрете обхода поисковик не сможет увидеть noindex на страницах, если он был нужен для удаления из индекса. Поэтому для уже опубликованного сайта этот способ применяют осторожно.
Когда robots.txt уместен, а когда нет
robots.txt подходит, если нужно:
- снизить обход служебных URL;
- закрыть от роботов технические пути;
- не создавать лишнюю нагрузку на сайт.
Он не подходит, если нужно:
- гарантированно убрать страницу из индекса;
- скрыть контент от пользователей;
- закрыть уже проиндексированные страницы без дополнительных мер.
Если задача — именно убрать URL из поиска, используйте noindex, а robots.txt оставьте как вспомогательный инструмент.
Как закрыть отдельные страницы и разделы без ошибок
На практике лучше не пытаться закрыть всё одним способом. Для разных типов страниц рабочая схема разная.
| Что закрываем | Что использовать | Комментарий |
|---|---|---|
| Тестовый сайт целиком | Настройка WordPress + при необходимости пароль или HTTP-авторизация | Если сайт не должен быть доступен никому, одной SEO-настройки мало |
| Служебная страница | noindex | Подходит для страниц, которые должны открываться, но не индексироваться |
| Технические пути и дубли | robots.txt | Помогает ограничить обход, но не заменяет noindex |
| Отдельный раздел | noindex на тип записей, архив или шаблон | Нужно проверить, что мета-тег выводится на всех нужных URL |
Если вы закрываете раздел через SEO-плагин, проверьте не только саму страницу, но и архивы, пагинацию, теги и результаты поиска по сайту. Частая ошибка — закрыть только карточку записи, а архив рубрики оставить открытым, и в индексе продолжает жить именно он.
Как проверить, что сайт действительно закрыт от индексации
После настройки не стоит полагаться на ощущение «должно сработать». Проверка занимает несколько минут.
Сначала откройте страницу в браузере и посмотрите исходный код. В нём должен быть мета-тег robots с noindex, если вы настраивали именно его. Также можно проверить заголовки ответа сервера, если используется X-Robots-Tag.
Для проверки через командную строку удобно посмотреть заголовки:
curl -I https://example.com/page/
В ответе ищите строку с X-Robots-Tag, если она используется. Если вы не работаете с консолью, достаточно открыть исходный код страницы в браузере и найти мета-тег robots.
Затем проверьте сам robots.txt по адресу /robots.txt. Файл должен быть доступен в браузере и содержать именно те правила, которые вы задали. Если сайт находится на staging-домене, убедитесь, что правила не конфликтуют с плагинами кэширования или защитой от индексации на уровне хостинга.
Если страница уже была в поиске, удаление может занять время. Поисковик сначала должен заново обойти URL и увидеть новый сигнал. Это нормально: мгновенного исчезновения в выдаче обычно не бывает.
Типичные ошибки, из-за которых сайт всё равно попадает в поиск
Самая частая проблема — смешать задачи. Например, закрыть сайт в robots.txt, надеясь убрать его из индекса. Если страница уже известна поисковику, этого может не хватить.
Ещё одна ошибка — включить глобальную настройку WordPress, но забыть, что на сайте уже есть SEO-плагин, который переопределяет мета-теги. В результате в коде страницы может остаться открывающий индекс сигнал, и поисковик увидит противоречие.
Также часто забывают про:
- архивы рубрик и меток;
- страницы пагинации;
- внутренний поиск;
- страницы авторов, если они не нужны в выдаче;
- технические копии сайта на поддоменах.
Если сайт должен быть закрыт полностью, не ограничивайтесь SEO-настройками. Для тестовой копии надёжнее поставить пароль на уровне хостинга, включить HTTP-авторизацию или хотя бы закрыть доступ по IP. Это уже не про индексацию, а про реальную защиту контента.
Что выбрать в итоге
Если нужен короткий ответ без лишней теории: для тестового сайта включите настройку WordPress «Попросить поисковые системы не индексировать сайт» и при необходимости закройте доступ паролем. Для отдельных страниц и разделов используйте noindex. robots.txt оставьте для технического ограничения обхода, но не рассчитывайте на него как на единственный способ убрать URL из поиска.
Рабочая схема обычно такая: noindex — чтобы не попадать в индекс, robots.txt — чтобы не тратить обход на лишнее, а пароль или ограничение доступа — чтобы скрыть сайт от людей. Если держать эти роли отдельно, WordPress закрывается от индексации без сюрпризов и лишней ручной чистки выдачи.