В девяти случаях из десяти причина техническая: сайт закрыт от индексации в robots.txt или мета-тегом noindex, он слишком молодой и робот ещё не дошёл, домен не добавлен в Вебмастер или сервер отдаёт ошибки. Реже — фильтр за качество и аффилиат. Проверить основные причины можно за 15 минут, не привлекая никого со стороны.
Разберу подробнее.
Шаг ноль: убедитесь, что сайта действительно нет
Сначала отделите «сайта нет в индексе» от «сайт есть, но не в топе». Это разные проблемы с разными решениями.
- Введите в Яндексе запрос вида site:вашдомен.ru. Если страницы выводятся — сайт в индексе, проблема в позициях, а не в индексации.
- Поищите точное название компании. Если по бренду находится, а по услугам нет — вы просто не в топе по коммерческим запросам.
- Откройте Яндекс Вебмастер → «Индексирование» → «Страницы в поиске». Там видно точное количество страниц и причины исключения.
Если Вебмастер к сайту не подключён — подключите прямо сейчас. Без него вы гадаете, а с ним видите ответ робота по каждой странице.
Причина 1. Сайт закрыт от индексации
Самая частая и самая обидная ситуация. Обычно сайт закрывают на время разработки и забывают открыть.
Что проверить:
- robots.txt. Откройте вашдомен.ru/robots.txt и убедитесь, что там нет строки Disallow: / для User-agent: * или Yandex.
- Мета-тег. В исходном коде страницы не должно быть noindex в теге robots.
- HTTP-заголовок X-Robots-Tag. Реже, но встречается: страница открыта, а заголовок запрещает индексацию.
- Закрытый тестовый поддомен. Бывает наоборот: в индексе висит dev-версия, а основной домен воспринимается как дубль.
- Пароль или ограничение по IP на сайте либо в настройках хостинга.
Правила работы с robots.txt и директивами описаны в справке Яндекса. После правки отправьте главную и ключевые страницы на переобход в Вебмастере.
Причина 2. Сайт слишком молодой
Новому домену нужно время: робот должен узнать о сайте, обойти его и принять решение о включении страниц в поиск. Обычно это занимает от нескольких дней до 2–4 недель, иногда дольше, если на сайт вообще никто не ссылается.
Что ускоряет процесс: добавление сайта в Вебмастер, корректный sitemap.xml, отправка страниц на переобход, размещение ссылки на сайт в вашей карточке Яндекс Бизнеса и в соцсетях. Подробнее о том, как работает индексация сайта, я писал отдельно.
Чего делать не надо — каждый день переотправлять одни и те же страницы на переобход. Лимиты быстро закончатся, а скорости это не прибавит.
Причина 3. Технические проблемы
| Симптом | Вероятная причина | Что делать |
|---|---|---|
| Страницы исключены с кодом 4xx/5xx | Сервер отдаёт ошибки или падает при обходе | Проверить логи и хостинг, поднять лимиты |
| Исключено как «малоценная или маловостребованная страница» | Тонкий контент, дубли, пустые фильтры | Наполнить или закрыть от индексации |
| В индексе только главная | Нет внутренних ссылок или sitemap | Сделать нормальную перелинковку и карту сайта |
| Контент не виден роботу | Весь текст подгружается скриптами | Отдавать основной контент в HTML |
| Разные версии домена в индексе | Не настроены редиректы с www и http | Склеить зеркала через 301 |
Отдельная беда — дубли, цепочки редиректов и битые ссылки. Робот тратит бюджет обхода на мусор и не доходит до нужных страниц, а вы видите в поиске случайный набор URL.
Причина 4. Фильтры и качество
Если сайт был в поиске и разом исчез, смотрите раздел «Диагностика» и «Безопасность и нарушения» в Вебмастере — санкции там отображаются прямо. Типичные поводы: переспам ключевыми словами, автоматически сгенерированные тексты, навязчивая реклама, аффилиат — несколько сайтов одной компании по одним и тем же услугам.
Ещё одна частая история — взлом. Заражённый сайт с редиректом на чужой ресурс Яндекс исключает быстро, а возвращает медленно. Если страницы пропали внезапно и массово, проверьте сайт на вирусы прежде, чем искать ошибки оптимизации.
Снятие санкций — это не письмо в поддержку, а устранение причины и месяцы ожидания. Поэтому дешевле не доводить: не покупать мусорные ссылки, не плодить клоны и не публиковать сгенерированные простыни текста.
Причина 5. Сайт в индексе, но его не видно
Самый массовый случай. Страницы проиндексированы, но находятся за пределами топ-50, поэтому владельцу кажется, что сайта нет. Здесь дело уже не в индексации, а в конкуренции: у сайта нет отдельных страниц под запросы, слабые тексты, нет цен и условий, медленная загрузка, неудобная мобильная версия.
Проверьте в Вебмастере отчёт «Поисковые запросы»: если показы есть, а кликов нет, сайт виден по запросам, но стоит слишком низко. Это уже задача SEO-продвижения: структура, контент, коммерческие факторы, скорость и поведенческие сигналы.
И если заявки нужны прямо сейчас, пока сайт выбирается в топ, разумно параллельно запустить Яндекс Директ — реклама не зависит от индексации и даёт трафик в день запуска.
Отдельный случай: сайт переехал или его переделали
После редизайна или смены домена сайт часто «пропадает» на несколько недель — и это почти всегда следствие ошибок переезда, а не капризов поисковика.
- Сменились адреса страниц, а редиректов нет. Старые URL отдают 404, новые ещё не проиндексированы — в этот промежуток сайта в поиске действительно почти нет. Нужны постраничные 301-редиректы со старых адресов на соответствующие новые.
- Забыли снять запрет с тестовой версии. Разработчики выкатили сайт вместе с robots.txt от стенда — классика жанра.
- Не указали переезд в Вебмастере. При смене домена или переходе на HTTPS зеркала нужно склеить явно, иначе Яндекс будет считать это двумя разными сайтами.
- Потерялся контент. Новый лаконичный дизайн часто вырезает половину текста и цен — страница перестаёт отвечать на запрос и теряет позиции, даже оставаясь в индексе.
Правило простое: перед любым переездом выгружайте список текущих URL и позиций, после переезда сверяйте их построчно. Восстановление вслепую занимает месяцы.
Вывод
Начинайте диагностику с простого: оператор site:, robots.txt, мета-теги и отчёты Вебмастера — это закрывает большинство случаев. Если сайт в индексе, но его не находят по услугам, проблема не в поисковике, а в конкурентоспособности страниц. Пришлите адрес — сделаю бесплатный экспресс-аудит, проверю индексацию и скажу, что именно мешает сайту появиться в выдаче.
Как найти причину, по которой сайта нет в поиске
- Шаг 1: Проверьте наличие сайта в индексе Введите в Яндексе запрос site:вашдомен.ru и посмотрите, сколько страниц выводится. Если результатов нет совсем — проблема в индексации, если есть — в позициях.
- Шаг 2: Откройте robots.txt и код страницы Убедитесь, что в robots.txt нет запрещающей строки Disallow: / и что в коде страниц отсутствует мета-тег noindex. Это причина примерно половины случаев «сайта нет в поиске».
- Шаг 3: Подключите Яндекс Вебмастер Добавьте сайт, подтвердите права и дождитесь загрузки данных. В разделе «Индексирование» будет видно, какие страницы в поиске, какие исключены и по какой причине.
- Шаг 4: Проверьте ответы сервера и скорость Посмотрите, отдаёт ли сайт код 200 и нет ли ошибок 5xx при обходе. Медленный или нестабильный хостинг напрямую снижает количество страниц, которые робот успевает обойти.
- Шаг 5: Проверьте санкции и безопасность Загляните в разделы «Диагностика» и «Безопасность и нарушения» в Вебмастере. Там прямо указано, есть ли фильтр, вирусы или обнаруженные нарушения.
- Шаг 6: Настройте sitemap и отправьте страницы на переобход Сформируйте sitemap.xml со всеми нужными URL, укажите его в Вебмастере и отправьте на переобход главную и ключевые страницы. Повторять отправку каждый день не нужно.
- Шаг 7: Оцените конкурентоспособность страниц Если сайт в индексе, сравните свои страницы с теми, что в топ-10: объём и полнота контента, цены, условия, скорость, мобильная версия. Дальше это уже работа по продвижению, а не по индексации.
Частые вопросы
Обычно от нескольких дней до 2–4 недель после добавления в Вебмастер и публикации sitemap. Если через месяц в индексе по-прежнему пусто, ищите технические запреты — само это не рассосётся.
Чаще всего роботу нечем дойти до остальных страниц: нет sitemap и нормальной внутренней перелинковки, либо разделы закрыты в robots.txt. Реже страницы признаны малоценными из-за тонкого или дублированного контента.
Проверьте доступность сайта, ответ сервера, robots.txt и раздел «Безопасность и нарушения» в Вебмастере. Внезапное массовое исключение почти всегда означает взлом, ошибку на сервере или случайно закрытую индексацию после обновления сайта.
Нет, это независимые механики: Яндекс Директ не влияет на позиции в органике. Но реклама даёт трафик сразу и закрывает потребность в заявках, пока сайт индексируется и продвигается.
Да, у Google своя панель — Search Console, где так же проверяется индексация и отправляются страницы на обход. Для рунета это второй по значимости источник, но игнорировать его не стоит.
