Если страницы не индексируются Яндексом — сайт целиком или только новые страницы — это почти всегда решаемо. Проблема лежит в одной из четырёх зон: доступность для робота, запрещающие сигналы (noindex, canonical, robots.txt), качество и дубли, либо низкий приоритет обхода. Главное — не гадать по симптомам, а прочитать причину в отчётах Яндекс.Вебмастера.
В этом руководстве — 12 причин, по которым страницы не попадают в индекс Яндекса, в формате «симптом → как проверить → что исправить». Мы разберём и ситуацию, когда не индексируется весь сайт, и когда Яндекс не берёт только новые страницы, и когда сайт раньше был в поиске, но выпал.
Если запомнить только одну мысль
Сначала отделите «ещё рано» от «сломано». Яндекс индексирует новые страницы волнами, и иногда нужно просто подождать апдейта. Но если страница закрыта в robots.txt, помечена noindex, признана дублем или считается некачественной — сама она в индекс не зайдёт никогда, сколько ни отправляй на переобход. Точную причину показывает Вебмастер.
С чего начать: быстрая диагностика за 5 минут
Прежде чем разбирать причины по отдельности, пройдите базовую проверку — она сразу сузит круг подозреваемых.
- Откройте Яндекс.Вебмастер → Индексирование → Проверка страницы, введите проблемный URL и посмотрите статус.
- Проверьте robots.txt и мета-тег robots на странице (нет ли noindex).
- Убедитесь, что canonical страницы указывает сам на себя, если это не осознанное решение.
- Проверьте код ответа сервера — страница должна отдавать 200 OK.
- Посмотрите раздел «Страницы в поиске» → «Исключённые» и прочитайте статус исключения.
Мнение эксперта SEO-Pulse
90% паники вокруг индексации снимается одним действием — чтением отчёта Вебмастера. Яндекс почти всегда прямо пишет, почему страница не в поиске: «Недостаточно качественная», «Дубль», «Запрещена в robots.txt», «Ошибка HTTP». Не начинайте лечение, пока не увидели этот статус, — иначе будете чинить не то.
Причина 1. Страница закрыта в robots.txt
Симптом: в Вебмастере статус «Запрещена в файле robots.txt».
Как проверить: откройте ваш-сайт.ру/robots.txt и найдите директивы Disallow. Проверьте, не попадает ли под запрет нужный раздел. В Вебмастере есть инструмент «Анализ robots.txt».
Что исправить: уберите лишние Disallow, закрывающие нужные страницы. Частая ошибка — закрыть весь сайт (Disallow: /) при разработке и забыть открыть после запуска. Подробнее — в руководстве по правильной настройке robots.txt. Важный нюанс: Disallow не всегда удаляет страницу из индекса — иногда нужен именно noindex.
Причина 2. Мета-тег noindex или заголовок X-Robots-Tag
Симптом: «Индексирование запрещено тегом noindex». Одна из самых частых причин, когда Яндекс не индексирует уже 1-2 месяца конкретную страницу.
Как проверить: откройте исходный код страницы (Ctrl+U) и найдите <meta name="robots" content="noindex">. Проверьте также заголовки ответа сервера на наличие X-Robots-Tag: noindex (через инструменты разработчика, вкладка Network).
Что исправить: уберите noindex со страниц, которые должны быть в поиске. На WordPress это часто включается плагином или галочкой «Запретить индексацию» в настройках — проверьте их в первую очередь.
⚠ Важно
Тег noindex — это жёсткий запрет. Пока он на странице, никакая отправка на переобход, никакой сервис автоотправки URL и никакие внешние ссылки не помогут. Робот приходит, видит запрет и уходит. Сначала снимите тег — потом всё остальное.
Причина 3. Неправильный canonical
Симптом: «Неканоническая страница» — Яндекс считает основной другую страницу.
Как проверить: найдите в коде <link rel="canonical" href="...">. Если canonical указывает на другой URL, страница в индекс не попадёт — её вес уйдёт на «каноническую».
Что исправить: каждая самостоятельная страница должна ссылаться canonical сама на себя. Проверьте, не проставлен ли шаблонно canonical на главную или на первую страницу пагинации. Как правильно настроить — в статье про canonical и защиту от дублей.
Причина 4. Ошибочный код ответа сервера
Симптом: «Ошибка HTTP», страница недоступна роботу.
Как проверить: страница должна отдавать 200 OK. Проверьте через Вебмастер или онлайн-сервисы проверки кода ответа. Коды 3xx (редирект), 4xx (не найдено), 5xx (ошибка сервера) мешают индексации.
Что исправить: устраните битые редиректы и ошибки 404/500 на страницах, которые должны быть в индексе. Если сайт медленный и «падает» под нагрузкой при визите робота — займитесь скоростью и хостингом.
Причина 5. Яндекс не индексирует НОВЫЕ страницы — низкий приоритет обхода
Это самый частый запрос наших читателей: сайт в индексе, но новые страницы не заходят. Обычно дело не в запрете, а в том, что робот до них ещё не добрался или не считает их приоритетными.
Симптом: статус «Страница обходится роботом, но пока не в поиске» или страница вообще не обойдена.
Как проверить: в Вебмастере в разделе «Обход» посмотрите, когда робот последний раз заходил на страницу и заходил ли вообще.
Что исправить:
- Добавьте новые URL в sitemap.xml и убедитесь, что карта отправлена в Вебмастер.
- Поставьте на новую страницу внутренние ссылки с уже проиндексированных страниц — это главный сигнал приоритета.
- Используйте инструмент «Переобход страниц» в Вебмастере (есть суточный лимит).
- Проверьте, не «сирота» ли страница — то есть ведёт ли на неё хоть одна ссылка внутри сайта.
Все рабочие способы ускорить обход мы собрали в отдельном руководстве — как ускорить индексацию сайта в Яндекс.
💡 Инсайт SEO-Pulse
Внутренняя перелинковка — самый недооценённый инструмент индексации. Страница, на которую ведут 3-4 ссылки с важных разделов, индексируется в разы быстрее «сироты», о которой знает только sitemap. Прежде чем искать сложные причины, просто перелинкуйте новые страницы.
Причина 6. Новые страницы «ждут апдейта» — просто рано
Симптом: страница создана недавно, обойдена роботом, запретов нет, но в поиске её ещё нет.
Как проверить: в Яндексе индекс обновляется апдейтами («апы»), и новые страницы попадают в выдачу волнами. Если странице несколько дней и она технически в порядке — возможно, всё нормально.
Что исправить: в этом случае — ничего, кроме ожидания и ускорения через перелинковку и переобход. Важно отличать «ещё рано» от «сломано»: если прошло 2-3 недели и страница технически чиста, тогда причина в качестве (см. ниже), а не в скорости.
Причина 7. Недостаточно качественная страница (тонкий контент)
Симптом: статус «Недостаточно качественная страница» — Яндекс обошёл, но в индекс не взял.
Как проверить: честно оцените страницу: есть ли на ней уникальная польза, или это пара абзацев «ни о чём», шаблон или рерайт. Это самая частая причина, по которой страница не попадает в индекс после обхода.
Что исправить: усильте контент — добавьте фактуру, структуру, ответы на реальные вопросы пользователя, экспертность. Тонкие и пустые страницы либо дорабатывают, либо объединяют в одну сильную.
Причина 8. Дубли страниц
Симптом: статус «Дубль» — страница повторяет содержание другой.
Как проверить: дубли возникают из-за URL с GET-параметрами, версий с/без слэша, страниц пагинации, одинакового шаблонного текста на разных URL.
Что исправить: склейте дубли через canonical или 301-редирект, настройте параметры в Вебмастере, уникализируйте шаблонные страницы. Если у вас много похожих страниц (например, однотипные карточки услуг), Яндекс может брать в индекс только часть — уникализируйте содержание каждой.
Причина 9. Страница-сирота: нет внутренних ссылок
Симптом: страница есть, но робот её «не видит» и не индексирует.
Как проверить: ведёт ли на страницу хотя бы одна ссылка внутри сайта? Страницы, доступные только по прямому адресу, робот находит плохо.
Что исправить: добавьте внутренние ссылки из меню, разделов, других статей. Это касается и внешних ссылок: сайт совсем без ссылок индексируется медленнее, хотя для большинства проектов решает именно внутренняя структура.
Причина 10. Сайт раньше был в индексе, но ВЫПАЛ
Отдельная болезненная ситуация: страницы перестали индексироваться, блог или сайт был в поиске, а потом пропал.
Симптом: ранее проиндексированные страницы исчезли из выдачи.
Как проверить: посмотрите в Вебмастере статус исключённых страниц и историю. Частые причины выпадения:технические сбои (сайт лежал при визите робота), появление noindex после обновления CMS, наложение фильтра за качество, массовые дубли.
Что исправить: определите по Вебмастеру причину — техническая или алгоритмическая. Технические (коды ответа, случайный noindex) устраняются быстро. Если это фильтр за качество — нужна работа над контентом сайта в целом. Яндекс редко «наказывает без причины», фильтры почти всегда обоснованы.
Причина 11. Сайт под фильтром или санкцией
Симптом: массовое исключение страниц, резкое падение.
Как проверить: раздел «Безопасность и нарушения» в Вебмастере. Иногда сайт под алгоритмическим фильтром, о котором владелец не знает.
Что исправить: устраните нарушение (переоптимизация, накрутка, вредоносный код, обманные тексты) и отправьте на перепроверку.
Причина 12. Технические ограничения: JS-рендеринг, скорость, сервер
Симптом: контент не виден роботу или сайт недоступен в момент обхода.
Как проверить: Яндекс осторожно работает с JavaScript. Если ключевой контент или ссылки подгружаются скриптами (SPA без серверного рендеринга, ссылки через onClick вместо <a href>), робот может их не увидеть. Проверьте, что видит робот, через рендеринг в Вебмастере.
Что исправить: отдавайте важный контент и ссылки в исходном HTML, настройте серверный рендеринг или пререндеринг для роботов, ускорьте загрузку сайта.
Сводная таблица: причина → как проверить → решение
| Причина | Где проверить | Решение |
|---|---|---|
| robots.txt закрывает | Анализ robots.txt в Вебмастере | Убрать лишний Disallow |
| Мета noindex | Код страницы, X-Robots-Tag | Снять запрет |
| Неправильный canonical | Код страницы | Canonical на себя |
| Ошибка кода ответа | Проверка URL | Вернуть 200 OK |
| Новые страницы не заходят | Раздел «Обход» | Перелинковка, sitemap, переобход |
| Тонкий контент | Статус «Недостаточно качественная» | Усилить страницу |
| Дубли | Исключённые страницы | Canonical / 301 / уникализация |
| Страница-сирота | Внутренние ссылки | Добавить перелинковку |
| Выпал из индекса | История в Вебмастере | Найти причину: тех. или фильтр |
| Фильтр / санкция | «Безопасность и нарушения» | Устранить нарушение |
Что НЕ поможет с индексацией (частые заблуждения)
Много сил тратят впустую на действия, которые не решают проблему:
- Бесконечная отправка на переобход — если причина в запрете или качестве, переобход бесполезен. Робот и так уже был на странице.
- Сервисы автоотправки URL — они ускоряют обнаружение новых страниц, но не заставляют Яндекс индексировать то, что он счёл дублем или некачественным.
- Массовое добавление похожих страниц — увеличивает только число непроиндексированных, если страницы шаблонные.
- Покупка внешних ссылок — для проблемы индексации это почти всегда не корень; сначала внутренняя структура и качество.
FAQ. Часто задаваемые вопросы
1. Почему Яндекс не индексирует мой сайт целиком?
Чаще всего сайт целиком закрыт в robots.txt, помечен noindex (осталось с этапа разработки), не подтверждён в Вебмастере или новый и ещё ждёт первого обхода. Проверьте эти пункты по порядку.
2. Почему Яндекс не индексирует новые страницы?
Обычно причина — низкий приоритет обхода: на страницы нет внутренних ссылок, их нет в sitemap, либо просто ещё не прошёл апдейт. Перелинкуйте новые страницы и добавьте в карту сайта.
3. Сколько времени Яндекс индексирует страницу?
От нескольких дней до 2-3 недель. Индекс обновляется волнами (апдейтами). Если прошло больше 3 недель, а страница технически чиста — ищите причину в качестве или дублях, а не в скорости.
4. Страница обойдена роботом, но не в поиске — что это значит?
Робот скачал страницу, но не взял в индекс. Почти всегда это статус «Недостаточно качественная» или «Дубль». Нужно усиливать контент или убирать дублирование.
5. Сайт был в индексе, а теперь страницы выпали. Почему?
Типичные причины: технический сбой (сайт был недоступен роботу), случайно появившийся noindex после обновления CMS, дубли или фильтр за качество. Смотрите статус исключённых страниц в Вебмастере.
6. Что за ошибка noindex в Яндексе?
Это не ошибка, а запрещающий тег. Если он стоит на нужной странице (в коде или в заголовке X-Robots-Tag), Яндекс её не индексирует намеренно. Уберите тег.
7. Помогает ли переобход, если страница не индексируется?
Только если причина была в скорости обнаружения. Если страница под запретом, дубль или некачественная — переобход не поможет, сначала устраните причину.
8. Влияет ли отсутствие внешних ссылок на индексацию?
Слабо. Для большинства сайтов индексацию решает внутренняя структура и качество, а не внешние ссылки. Страница-сирота без внутренних ссылок — куда более частая проблема.
9. Как понять, дубль моя страница или нет?
Если убрать заголовок, текст подходит другой странице сайта — это дубль или шаблон. Уникализируйте содержание либо склейте страницы через canonical.
10. Что делать, если ничего не помогает?
Соберите по Вебмастеру точный статус каждой проблемной страницы — Яндекс всегда указывает причину. Если статус «Недостаточно качественная» — проблема в контенте, и это решается только его улучшением, а не техническими манипуляциями.
Мнение эксперта SEO-Pulse
Если запомнить один принцип диагностики: не лечите симптом, читайте отчёт. Яндекс.Вебмастер прямо называет причину для каждой исключённой страницы. Дальше всё просто — технические запреты (robots, noindex, коды ответа) снимаются за час, а вот статус «Недостаточно качественная» честно говорит, что дело в контенте, и никакие сервисы это не обойдут.
Заключение
Когда страницы не индексируются Яндексом, проблема всегда в одной из четырёх зон: доступность для робота, запрещающие сигналы, качество и дубли, либо приоритет обхода. Ключ к решению — не гадать и не заваливать сайт отправками на переобход, а открыть Яндекс.Вебмастер и прочитать точную причину для каждой страницы.
Технические причины (robots.txt, noindex, canonical, коды ответа) устраняются быстро. Проблемы приоритета (новые страницы, сироты) решаются перелинковкой и sitemap. А если Яндекс пишет «Недостаточно качественная» — это сигнал работать над контентом, и здесь не помогут никакие обходные пути, кроме реального улучшения страниц.
Страницы не заходят в индекс?
Команда SEO-Pulse проведёт технический аудит индексации, найдёт точную причину по каждой странице и вернёт сайт в поиск.
- ✅ Диагностика индексации в Яндекс.Вебмастере и Google Search Console.
- ✅ Настройка robots.txt, canonical, sitemap.
- ✅ Проверка на дубли и тонкий контент.
- ✅ Внутренняя перелинковка для ускорения обхода.
- ✅ Снятие фильтров и возврат выпавших страниц.
Полезные статьи по теме
- Как ускорить индексацию сайта в Яндекс
- Sitemap.xml для SEO: как настроить
- Как добавить сайт в Яндекс.Вебмастер
- Как анализировать сайт в Яндекс.Вебмастере
- Краулинговый бюджет: что это и как оптимизировать
- Canonical: как настроить и избежать дублей
- Мета-теги noindex и nofollow
- Каннибализация запросов: как найти и устранить
