Если сайт уже открыт, но страницы не появляются в поиске, сначала нужно понять, что именно мешает индексации: запрет в robots.txt, мета-тег noindex, неправильный canonical, проблемы с картой сайта или технические ошибки на стороне сервера. В WordPress такие вещи часто выглядят незаметно: сайт работает, страницы открываются, а поисковик их просто не берет в индекс.
Ниже — практическая проверка по порядку. Если идти от простого к сложному, обычно удаётся найти причину без лишних догадок и без полной переделки сайта.
Сначала убедитесь, что проблема именно в индексации
Перед проверкой настроек не путайте две разные ситуации. Первая — страница уже проиндексирована, но не ранжируется по нужному запросу. Вторая — страница вообще не попала в индекс. Для этой статьи важна именно вторая.
Самый быстрый способ проверить это — взять конкретный URL и поискать его в Google или Яндексе через оператор site:. Например, запрос site:example.ru/stranitsa/ покажет, видит ли поисковик страницу. Если результата нет, это ещё не доказательство проблемы, но хороший повод идти дальше.
Полезно также открыть страницу в режиме инкогнито и посмотреть, нет ли на ней явных признаков закрытия от индексации: предупреждений в теме, баннеров плагинов SEO, нестандартных редиректов или пустого контента, который загружается только через JavaScript.
Проверьте, не закрыт ли сайт от индексации в WordPress
В админке WordPress есть базовая настройка, которая может полностью запретить индексацию сайта. Она находится в разделе Настройки → Чтение и называется «Попросить поисковые системы не индексировать сайт».
Если галочка стоит, WordPress добавляет сигнал для поисковиков, что сайт не нужно индексировать. На рабочем сайте эта опция должна быть выключена. После снятия галочки сохраните настройки и дайте поисковым системам время пересканировать страницы.
Эта проверка кажется очевидной, но на практике именно она часто остаётся включённой после разработки, переноса сайта или тестирования на временном домене.
Посмотрите robots.txt: он не должен блокировать важные разделы
Файл robots.txt находится в корне сайта, например по адресу https://example.ru/robots.txt. Он подсказывает поисковым роботам, какие разделы можно сканировать, а какие нет. Если там стоит слишком жёсткий запрет, страницы могут не попасть в обход и, как следствие, в индекс.
Проверяйте в первую очередь такие вещи:
Disallow: /— полный запрет на сканирование всего сайта;- запрет на важные каталоги, где лежат записи, страницы или товары;
- ошибочные правила для поддоменов и служебных папок;
- ссылку на карту сайта, если она указана с ошибкой.
Нормальный robots.txt для обычного сайта не должен закрывать публичные страницы, которые вы хотите видеть в поиске. При этом важно понимать: robots.txt не всегда полностью запрещает индексацию, если страница уже известна поисковику по внешним ссылкам. Но для диагностики это всё равно один из первых файлов, который нужно проверить.
Если вы редактируете robots.txt вручную, делайте это аккуратно. Ошибка в одной строке может случайно закрыть весь сайт от обхода. После правки сразу откройте файл в браузере и убедитесь, что он отдается без ошибки 404 и содержит именно те правила, которые вы ожидали.
Проверьте мета-теги noindex и заголовки ответа
Даже если robots.txt открыт, страница может быть закрыта от индексации другим способом — через мета-тег noindex или HTTP-заголовок X-Robots-Tag. Это уже более точечная блокировка: поисковик может зайти на страницу, но не должен добавлять её в индекс.
Что смотреть:
- в HTML-коде страницы наличие
<meta name="robots" content="noindex">или похожих вариантов; - в SEO-плагине настройки индексации для конкретной записи, страницы, рубрики или шаблона;
- HTTP-заголовки ответа сервера, если запрет задаётся на уровне сервера или плагина.
Проверить это можно через просмотр исходного кода страницы в браузере или через инструменты разработчика. Если у вас есть доступ к командной строке, удобно использовать curl -I https://example.ru/stranitsa/ и посмотреть, нет ли в ответе X-Robots-Tag: noindex.
На WordPress такие запреты часто ставят SEO-плагины для архивов, дублей, служебных страниц или черновых шаблонов. Если проблема только на части страниц, проверьте настройки именно этого типа контента, а не только главную страницу.
Проверьте карту сайта и её доступность
Карта сайта сама по себе не гарантирует индексацию, но сильно помогает поисковику быстрее находить новые и обновлённые URL. Если sitemap не открывается, содержит мусор или не включает нужные страницы, индексация будет идти хуже.
Проверьте три вещи:
- Карта сайта открывается по рабочему адресу, обычно это
/sitemap.xmlили индекс карт сайта, который создаёт SEO-плагин. - В ней есть нужные типы страниц: записи, страницы, категории, если они должны индексироваться.
- В карту не попали лишние URL с
noindex, редиректами, ошибками 404 или каноникалами на другие адреса.
Если карта сайта генерируется плагином, после изменения настроек её нужно заново сохранить или обновить, чтобы файл пересобрался. Иногда проблема не в самой карте, а в том, что поисковик видит старую версию из-за кэша на сервере или CDN.
Сверьте canonical: он не должен указывать не туда
Canonical URL подсказывает поисковику, какая версия страницы считается основной. Если на странице указан неправильный canonical, поисковик может проигнорировать текущий URL и выбрать другой адрес, а иногда — вообще не индексировать нужную страницу как отдельную сущность.
Проверяйте canonical на страницах, которые не попадают в поиск:
- он должен вести на саму эту страницу, если это основная версия;
- не должен указывать на главную, категорию или другой похожий URL без причины;
- не должен вести на страницу с редиректом, 404 или на адрес с параметрами, которые не являются каноническими.
В WordPress canonical часто формируется автоматически темой или SEO-плагином. Проблемы появляются после смены структуры ссылок, дублирования контента, пагинации или неправильной настройки архивов. Если canonical указывает не туда, сначала ищите причину в плагине SEO и шаблоне темы, а не в контенте самой страницы.
Проверьте редиректы, ошибки ответа и доступность страницы для робота
Страница может открываться у вас в браузере, но для поискового робота вести себя иначе. Например, она может отдавать цепочку редиректов, временную ошибку сервера, нестабильный ответ 5xx или блокировку по User-Agent.
Для диагностики полезно проверить:
- нет ли лишних редиректов с http на https, с www на без www и обратно;
- не уходит ли URL в цепочку из нескольких перенаправлений;
- отдаёт ли страница код ответа 200, а не 3xx, 4xx или 5xx;
- не блокирует ли сервер доступ по подозрительным правилам безопасности, WAF или модулю защиты.
Если у вас есть доступ к консоли, команда curl -I помогает быстро увидеть код ответа и цепочку редиректов. Для обычного владельца сайта достаточно проверить URL в браузере и в инструментах для вебмастеров, но при сложной проблеме без заголовков ответа часто не обойтись.
Посмотрите, не дублируется ли контент и не конфликтуют ли URL
Иногда проблема не в полном запрете индексации, а в том, что у одной и той же страницы есть несколько адресов. Например, версия со слэшем и без слэша, с параметрами, с UTM-метками, с пагинацией или с разными вариантами фильтров. Тогда поисковик выбирает одну версию, а остальные может не индексировать как отдельные страницы.
Это нормально, если каноникал и редиректы настроены правильно. Но если у сайта много дублей, поисковик тратит краулинговый бюджет на лишние URL и медленнее доходит до нужных страниц. В WordPress это часто происходит из-за архивов, тегов, страниц автора, вложений медиафайлов и технических шаблонов темы.
Если вы видите, что в индекс попадают не те URL, проверьте:
- структуру постоянных ссылок;
- настройки архивов рубрик, тегов и авторов;
- страницы вложений медиафайлов;
- дубли с параметрами и сортировками.
Здесь полезно не просто закрывать всё подряд, а оставить в индексе только те страницы, которые реально нужны пользователю и поиску.
Сравните данные WordPress с тем, что видит поисковик
После локальной проверки полезно открыть инструменты для вебмастеров — Google Search Console или Яндекс Вебмастер. Там видно, как поисковая система воспринимает страницу: разрешена ли индексация, когда робот её обходил, есть ли проблемы с каноникалами, sitemap или ответом сервера.
Если страница в сервисе отмечена как исключённая, смотрите причину, а не только статус. Часто там прямо указано: noindex, альтернативная страница с правильным canonical, обнаружено, но не проиндексировано, просканировано, но не проиндексировано. Это разные ситуации, и лечатся они по-разному.
Если в сервисе страница вообще не известна, значит, проблема может быть в внутренней перелинковке, карте сайта или в том, что робот не может нормально дойти до URL.
Как быстро проверить сайт по порядку
Если нужен короткий рабочий алгоритм, идите так:
- Убедитесь, что в Настройки → Чтение не включён запрет на индексацию.
- Откройте
/robots.txtи проверьте, не закрыт ли сайт или важные разделы. - Посмотрите исходный код страницы на наличие
noindex. - Проверьте canonical URL.
- Убедитесь, что карта сайта открывается и содержит нужные URL.
- Проверьте код ответа страницы и редиректы.
- Сверьте данные с Google Search Console или Яндекс Вебмастером.
Если после этого причина не найдена, обычно проблема уже не в базовых настройках WordPress, а в теме, SEO-плагине, серверных правилах, кэше или в комбинации нескольких факторов. Тогда имеет смысл проверять конкретный URL точечно: от ответа сервера до HTML-кода и заголовков.
На практике чаще всего мешают не «сложные алгоритмы поисковиков», а одна из трёх вещей: случайно включённый запрет на индексацию, неверный canonical или закрытый robots.txt. Поэтому начинать стоит именно с них, а не с переустановки плагинов или смены темы.