Как закрыть от индексации страницы автора и архивы в WordPress

На небольших и средних сайтах WordPress страницы автора и архивы по датам часто создают лишний индексный мусор: в выдачу попадают почти пустые страницы, дубли анонсов и служебные URL, которые не дают трафика. Если сайт ведётся одним автором или архивы не несут самостоятельной ценности, их лучше не показывать поисковикам. Важно сделать это аккуратно: не путать noindex, nofollow, canonical и закрытие в robots.txt.

Ниже — рабочая схема: как диагностировать проблему, что именно закрывать, чем отличается настройка через плагин и код, и как проверить, что поисковый робот действительно перестал индексировать лишние страницы.

Когда страницы автора и архивы мешают индексации

Проблема обычно заметна не сразу. Сайт может нормально открываться, а в поиске при этом копятся URL вида /author/username/, /2024/05/, /2024/. У таких страниц часто слабый или нулевой контент: заголовок, список записей и всё. Для поисковика это не полезная посадочная, а ещё одна версия уже опубликованных материалов.

Есть несколько типичных сценариев, когда закрытие оправдано:

• на сайте один автор и архив автора дублирует главную или блог;
• архивы по датам не используются как навигация для пользователей;
• в выдаче уже есть страницы архивов, но они не приносят переходов;
• SEO-плагин автоматически добавил архивы в sitemap, хотя они не нужны;
• в теме есть шаблон архива автора, но он почти пустой и не доработан.

Что именно закрывать, а что не трогать

Не стоит закрывать всё подряд. Если архив категории — это нормальная рубрика с полезной подборкой материалов, его лучше оставить открытым и доработать. Если же речь о служебных страницах автора, дат и, иногда, тегов, то их можно убрать из индекса без потери смысла для посетителей.

Диагностика: как понять, что проблема есть

Перед изменениями проверьте, какие URL уже попали в индекс и как они отдаются поисковику. Самый простой путь — открыть страницу автора и архив даты в браузере, а затем посмотреть исходный код и заголовки.

Что искать:

• в HTML есть ли <meta name="robots" content="noindex,follow">;
• не стоит ли canonical на главную или на другую страницу без логики;
• не закрыт ли URL только в robots.txt без noindex;
• не попадает ли архив в XML sitemap;
• не дублирует ли архив контент рубрик или главной страницы.

Если у вас есть доступ к Search Console, проверьте разделы с исключёнными страницами и отчёт по индексированию. Там обычно видно, что архивы автора и даты либо просканированы, либо исключены по метатегу robots. Это полезно: вы понимаете, что именно сработало.

Пошаговое решение через SEO-плагин

Если на сайте уже стоит SEO-плагин, сначала используйте его настройки. Это самый безопасный путь: меньше шансов сломать шаблоны и проще откатить изменения. В большинстве случаев достаточно отключить индексацию архивов автора и дат в настройках отображения в поиске.

Логика такая: архив остаётся доступным для пользователей, но для роботов получает noindex. При этом важно не закрывать его в robots.txt, иначе поисковик может не увидеть метатег и дольше держать URL в индексе.

1. Откройте настройки SEO-плагина.
2. Найдите раздел архивов автора и архивов по датам.
3. Поставьте noindex для тех архивов, которые не нужны в поиске.
4. Проверьте, не исключил ли плагин эти страницы из sitemap автоматически.
5. Сохраните настройки и очистите кеш сайта, если он есть.

Если вы используете Clearfy Pro, в нём есть инструменты для чистки сайта и управления SEO-элементами. Это удобно, когда нужно убрать лишние архивы и не лезть в шаблоны темы. Но всё равно проверяйте итоговый HTML: разные темы и плагины могут по-разному собирать head.

Решение через код: когда нужен точный контроль

Если вы не хотите зависеть от интерфейса плагина или у вас кастомная тема, можно добавить фильтры в мини-плагин или functions.php. Для архивов автора и дат WordPress позволяет управлять robots-мета через фильтр wp_robots.

Ниже пример, который закрывает от индексации архивы автора и даты, но оставляет их доступными для обхода:

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_author() || is_date() ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Этот вариант хорош тем, что он не зависит от конкретного SEO-плагина. Но есть нюанс: если другой плагин тоже меняет robots-мета, нужно проверить, кто победит в итоговом HTML. В WordPress фильтры могут накладываться друг на друга.

Если нужно закрыть ещё и архивы тегов, добавьте is_tag(). Но делайте это только если теги на сайте реально не используются как навигационный слой и не дают трафик.

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_author() || is_date() || is_tag() ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Если нужно убрать архивы из sitemap

Одна только мета robots не всегда достаточно. Если архивы продолжают попадать в sitemap, поисковик будет регулярно их обходить. В SEO-плагинах обычно есть отдельная настройка, отключающая включение архивов в карту сайта. Это предпочтительнее, чем вручную править XML.

Если вы пишете собственную логику, не пытайтесь генерировать sitemap руками без необходимости. Проще и надёжнее использовать штатный механизм плагина или ядра WordPress, а затем исключить ненужные типы страниц на уровне настроек.

Проверка результата после внедрения

После изменений не ограничивайтесь просмотром страницы в браузере. Нужно проверить именно то, что увидит робот.

• Откройте архив автора и посмотрите исходный код: должен быть noindex,follow.
• Проверьте, что страница не закрыта в robots.txt, если вы рассчитываете на удаление из индекса через noindex.
• Убедитесь, что URL не остался в XML sitemap.
• В Search Console отправьте страницу на повторную проверку, если она уже была в индексе.
• Посмотрите кеш CDN и кеш плагина: иногда в браузере виден старый HTML.

Полезно проверить заголовки ответа сервера. Иногда тема или плагин добавляют редирект, canonical или нестандартный robots-метатег. Для быстрой диагностики можно использовать curl:

curl -I https://example.com/author/admin/

В ответе вы не увидите meta robots, но сможете проверить редиректы, кеш и тип ответа. А сам HTML лучше смотреть через просмотр исходника или через инструменты разработчика.

Частые ошибки и как их исправить

Самая распространённая ошибка — закрыть архивы только в robots.txt. Это не удаляет URL из индекса мгновенно и не помогает, если поисковик уже знает адрес. Для удаления из поиска нужен именно noindex на самой странице.

Ещё несколько типичных проблем:

• Поставили noindex и одновременно закрыли URL в robots.txt. Робот может не увидеть метатег и дольше держать страницу в индексе.
• Сломали canonical. Если canonical указывает на нерелевантную страницу, поисковик может начать игнорировать нужный URL.
• Закрыли архивы, которые реально дают трафик. Это часто случается с тегами и рубриками, если не посмотреть статистику заранее.
• Не очистили кеш. В результате проверка показывает старую версию страницы, и кажется, что настройка не сработала.
• Отключили архив автора, но оставили ссылку на него в теме. Пользователь попадает на страницу, которая не несёт пользы и выглядит как ошибка архитектуры.

Практика по безопасности и производительности

Если вы вносите код, лучше не править functions.php напрямую на живом сайте. Для таких задач безопаснее использовать мини-плагин или дочернюю тему, чтобы не потерять изменения после обновления. Это особенно важно, если сайт обновляется регулярно и над ним работают несколько человек.

Ещё один момент — не плодить лишние плагины ради одной настройки. Если у вас уже есть SEO-плагин, используйте его. Если нет — небольшой кодовый фрагмент в отдельном плагине часто надёжнее, чем ставить тяжёлый комбайн только ради noindex.

Если на сайте много архивных страниц, проверьте и общую структуру: иногда проще отключить лишние архивы в теме, чем маскировать последствия в SEO. Например, для одностраничного блога архив автора может быть просто не нужен как сущность.

Короткий чек-лист перед публикацией изменений

• Проверили, нужны ли архивы автора и даты пользователям.
• Выбрали один способ: SEO-плагин или код.
• Добавили noindex,follow на нужные архивы.
• Убрали архивы из sitemap, если они там были.
• Очистили кеш сайта и CDN.
• Проверили исходный код страницы и Search Console.

Если после этого архивы всё ещё появляются в выдаче, проблема обычно не в метатеге, а в кеше, sitemap или в том, что робот ещё не переобходил URL. В таких случаях помогает повторная проверка в Search Console и ожидание переиндексации, а не новые хаотичные правки.