Индексация сайта: как быстро попасть в поиск Яндекса и Google

Индексация сайта — первый рубеж, на котором обрывается половина SEO-проектов. Можно собрать идеальное семантическое ядро, написать сильные тексты и вылизать дизайн, но если страница не попала в индекс, её не существует для поиска. Ни позиций, ни трафика, ни заявок — просто нет такой страницы.

В аудитах я вижу это постоянно: сайт живёт два года, в Вебмастере в поиске 40 страниц из 300, владелец уверен, что «SEO не работает». А на деле раздел услуг закрыт в robots.txt со времён разработки, половина страниц отдаёт неверный код ответа, а карта сайта не обновлялась с момента запуска. Исправление таких вещей обычно даёт первый рост трафика ещё до того, как начнётся сама оптимизация.

В этой статье разберу, как устроена индексация сайта в Яндексе и Google, почему страницы не попадают в поиск, чем управляют robots.txt, карта сайта и канонические адреса, как ускорить попадание новых страниц в индекс и как понять, что именно пошло не так. В конце — пошаговый план проверки, который можно выполнить за один вечер.

Как устроена индексация сайта

Индексация — это не одно событие, а цепочка из нескольких этапов. Проблема может возникнуть на любом из них, и лечение в каждом случае разное.

1. Обнаружение. Робот узнаёт об адресе: из карты сайта, по внутренней ссылке, по внешней ссылке, из данных браузера или счётчика.
2. Обход (краулинг). Робот приходит по адресу и получает ответ сервера. Здесь всё решает код ответа и доступность.
3. Загрузка и рендеринг. Робот получает HTML, при необходимости выполняет скрипты, чтобы увидеть контент.
4. Обработка. Содержимое анализируется: уникальность, качество, каноничность, дубли.
5. Включение в индекс. Страница попадает в базу и может показываться в выдаче.
6. Ранжирование. Только здесь начинается то, что обычно называют SEO.

Ключевое, что стоит запомнить: обход и индексация — не одно и то же. Робот может регулярно заходить на страницу и не включать её в поиск, потому что считает дублем или малополезной. Поэтому «робот был вчера» — ещё не повод расслабляться.

Почему страницы не индексируются: реальные причины

Причина	Как обнаружить	Что делать
Запрет в robots.txt	Проверка URL в Вебмастере, анализ robots.txt	Убрать лишние директивы Disallow, оставить закрытыми только служебные разделы
Метатег noindex или заголовок X-Robots-Tag	Просмотр исходного кода и заголовков ответа	Снять запрет на нужных страницах, проверить весь шаблон
Неверный код ответа (404, 500, 302 вместо 200)	Краулер, отчёты Вебмастера	Настроить корректные коды, убрать лишние редиректы
Канонический адрес указывает на другую страницу	Проверка rel=canonical в коде	Каждая самостоятельная страница канонична сама себе
Дубль по содержимому	Отчёт «Страницы в поиске» со статусом «Дубль»	Устранить дублирование или склеить канониклом
Малополезная страница	Статус «Малоценная или маловостребованная страница»	Наполнить содержимым или убрать из индекса осознанно
Нет ни одной внутренней ссылки (страница-сирота)	Сравнение карты сайта с обходом краулера	Добавить ссылки из меню, каталога, смежных страниц
Контент подгружается только скриптом	Просмотр HTML без выполнения JS	Отдавать основной контент в серверном HTML
Медленный или нестабильный сервер	Отчёт по обходу, логи, всплески времени ответа	Ускорить ответ сервера, убрать таймауты
Страница слишком глубоко в структуре	Уровень вложенности в краулере	Поднять до 3-го уровня ссылками и структурой
Сайт закрыт паролем или доступен только по IP	Проверка в режиме инкогнито	Открыть доступ роботам
Санкции или ограничения	Раздел безопасности и нарушений в Вебмастере	Устранить нарушение и отправить на перепроверку

Моя статистика по аудитам примерно такая: больше половины проблем с индексацией — это остатки настроек с этапа разработки и ошибки шаблона, а не сложные технические истории. Проверка занимает час, а эффект бывает кратный.

Чем управлять индексацией: инструменты

robots.txt — регулировщик, а не шлагбаум

Файл в корне сайта говорит роботам, какие разделы обходить не нужно. Важно понимать его ограничения: robots.txt управляет обходом, а не индексом. Страница, закрытая в robots.txt, может остаться в выдаче с пустым сниппетом, если на неё ведут ссылки. И наоборот: закрыв страницу от обхода, вы лишаете робота возможности увидеть на ней метатег noindex.

• Закрывайте: админку, корзину, личный кабинет, результаты внутреннего поиска, технические параметры сортировки и UTM-метки.
• Не закрывайте: CSS и JS, необходимые для отображения; изображения, которые должны попадать в поиск по картинкам.
• Обязательно укажите директиву Sitemap с полным адресом карты сайта.
• Проверьте файл после каждого переезда или обновления CMS — именно там чаще всего остаётся Disallow: /.

Карта сайта sitemap.xml

Карта сайта — это список адресов, которые вы считаете достойными индекса. Она не гарантирует индексацию, но ускоряет обнаружение, особенно на больших и молодых сайтах.

• В карте только страницы с кодом 200, каноничные, открытые к индексации. Мусор в карте снижает доверие к ней.
• Дата последнего изменения должна быть настоящей. Если у вас все страницы «обновлены сегодня», значение просто перестанут учитывать.
• Карта должна генерироваться автоматически при добавлении страниц, а не лежать статичным файлом с прошлого года.
• При объёме больше 50 000 адресов используйте индексный файл со списком карт.

Метатег robots и заголовок X-Robots-Tag

Это настоящий способ убрать страницу из индекса. Метатег в коде страницы или HTTP-заголовок для файлов, у которых нет HTML. Комбинация noindex, follow полезна для страниц, которые не нужны в поиске, но по которым робот должен проходить дальше — например, для некоторых служебных разделов.

Правило, которое спасает: если вы хотите убрать страницу из индекса, страница должна оставаться доступной роботу. Закрытие в robots.txt и noindex одновременно — классическая ошибка, из-за которой страница остаётся в выдаче годами.

Канонические адреса

rel=canonical сообщает, какая версия страницы главная. Нужен для параметров сортировки, пагинации, версий с UTM. Частые ошибки: canonical со всех страниц на главную (так теряется весь сайт), canonical на страницу с редиректом, canonical на закрытую от индексации страницу. Проверяйте: каждая посадочная страница должна быть канонична сама себе.

Особенно аккуратно нужно работать с фильтрами и сортировками — там легко породить тысячи адресов. Как отделить полезные комбинации от мусорных, я разбирал в материале про фильтры и теговые страницы.

Краулинговый бюджет: кому про него думать

Краулинговый бюджет — это объём страниц, который робот готов обойти на вашем сайте за период. Для сайта услуг на 50 страниц эта тема почти не актуальна: робот обойдёт всё. Она становится важной на сайтах от нескольких тысяч адресов — каталогах, агрегаторах, сайтах с фильтрами и множеством гео-страниц.

Бюджет тратится впустую, когда робот ходит по мусору: бесконечным комбинациям фильтров, страницам пагинации без смысла, дублям с параметрами, страницам с редиректами и ошибками. Пока он обходит это, действительно важные страницы переобходятся реже, а новые появляются в поиске медленнее.

• Уберите цепочки редиректов: каждая лишняя ступень — потраченный запрос.
• Закройте от обхода генерируемый мусор: результаты внутреннего поиска, бесконечные сочетания параметров.
• Устраните ошибки 404 в навигации и в карте сайта.
• Ускорьте ответ сервера: чем быстрее отдаются страницы, тем больше их успевает обойти робот. Тема тесно связана со скоростью сайта и Core Web Vitals.
• Сделайте плоскую структуру: важные страницы не глубже третьего уровня.

Как ускорить индексацию в Яндексе

1. Подтвердите права в Вебмастере. Без этого вы работаете вслепую: не видите ни статусов страниц, ни ошибок обхода.
2. Загрузите и поддерживайте карту сайта. Проверьте, что робот её видит и что в ней нет ошибок.
3. Используйте переобход страниц. В Вебмастере есть инструмент, куда можно отправить адреса вручную — лимит выделяется на сутки. Это самый прямой способ показать роботу новую или обновлённую страницу.
4. Подключите оповещение об изменениях. Протокол мгновенного уведомления поисковиков об обновлениях поддерживается Яндексом и позволяет сообщать о новых адресах автоматически из CMS.
5. Дайте внутренние ссылки. Новая страница, на которую ведёт ссылка из раздела, индексируется быстрее сироты из карты сайта.
6. Разместите анонс там, где робот бывает часто. Главная, раздел новостей, блок «новые услуги» — всё это точки входа с частым переобходом.

Сроки: свежие страницы на живом сайте с настроенным Вебмастером обычно появляются в поиске за несколько дней, на молодом домене — за одну-три недели. Гарантированных сроков нет ни у кого; официальные рекомендации и инструменты описаны в справке Яндекс Вебмастера.

Как ускорить индексацию в Google

Логика похожая, инструменты свои. Подтвердите сайт в Search Console, загрузите карту сайта, используйте проверку URL с последующим запросом индексирования для отдельных важных страниц. Массово «заказать индексацию» нельзя — лимиты небольшие, и это нормально.

Отчёт «Индексирование страниц» показывает причины, по которым адреса не попали в индекс: «Страница с переадресацией», «Обнаружена, не проиндексирована», «Просканирована, но пока не проиндексирована», «Страница является копией». Последние две — самые частые и самые неприятные: они означают, что технически всё в порядке, но система не считает страницу достаточно ценной. Лечится это не запросами индексирования, а качеством и внутренними ссылками. Документация по инструментам есть в справке Google Search Console.

Как проверять индексацию сайта

Способ	Что показывает	Ограничения
Оператор site: в поиске	Примерное число страниц в выдаче	Данные приблизительные, для оценки порядка величины
Вебмастер, «Страницы в поиске»	Точный список включённых и исключённых страниц с причинами	Только для подтверждённого сайта
Вебмастер, «Статистика обхода»	Коды ответа, динамика обхода	Не показывает качество содержимого
Search Console, «Индексирование страниц»	Причины исключения в Google	Данные с задержкой в несколько дней
Краулер сайта	Структура, коды, канониклы, noindex, вложенность	Показывает ваш сайт, а не взгляд поисковика
Логи сервера	Куда на самом деле ходит робот	Нужен доступ и время на разбор

Рабочая схема — сравнение трёх чисел: сколько страниц на сайте по краулеру, сколько в карте сайта, сколько в поиске. Расхождения между ними и есть карта проблем. Если на сайте 320 страниц, в карте 180, а в поиске 90 — вы точно знаете, где копать.

Разбор статусов исключения

• «Дубль». Есть другая страница с тем же содержимым. Ищите версии с параметрами, копии услуг для разных городов, страницы печати.
• «Малоценная или маловостребованная». Поисковик считает, что страница не несёт пользы или на неё нет спроса. Типично для пустых категорий и шаблонных гео-страниц.
• «Ошибка HTTP». Сервер отдал не то. Проверяйте доступность и стабильность.
• «Запрещена тегом noindex». Проверьте, осознанно ли это, и не попал ли тег на весь шаблон.
• «Неканоническая». Страница склеена с другой. Убедитесь, что склеена с правильной.

Особая боль — массовые гео-страницы, которые вылетают со статусом малоценных. Это почти всегда следствие шаблонной генерации с подменой города. Как делать такие страницы, чтобы они держались в индексе, я описывал в материале про страницы «услуга + город».

Что закрывать от индексации, а что нет

Ещё одна ловушка — избыточная осторожность. Насмотревшись советов «закройте дубли», владельцы сайтов начинают прятать половину контента и удивляются, почему трафик не растёт. Ориентир простой: в индексе должно быть всё, что может быть ответом на чей-то запрос, и ничего больше.

Тип страниц	Решение	Почему
Услуги, цены, кейсы, контакты, статьи	Индексировать	Это и есть ваш поисковый трафик
Полезные комбинации фильтров со спросом	Индексировать с уникальными заголовками	Длинный хвост запросов
Пагинация категорий	Индексировать, каждая страница канонична сама себе	Иначе товары и материалы с глубоких страниц теряются
Результаты внутреннего поиска	Закрыть от обхода	Бесконечный генератор мусорных адресов
Корзина, оформление, личный кабинет	Закрыть	Не отвечают ни на один поисковый запрос
Версии для печати, дубли с параметрами	Склеить канониклом	Дублирование содержимого
Служебные и тестовые поддомены	Закрыть полностью	Классический источник дублей всего сайта

Про тестовые копии скажу отдельно: домен вида test.вашсайт.ру, открытый для индексации, — одна из самых частых находок в аудитах. Поисковик видит полную копию сайта и выбирает, какую версию считать главной, иногда не в вашу пользу.

Индексация и JavaScript

Отдельная тема — сайты, где контент рисуется скриптами. Роботы умеют выполнять JavaScript, но делают это с задержкой и не всегда полностью. На практике это означает, что важные вещи лучше отдавать сразу в HTML.

• Заголовки, основной текст, цены и ссылки на внутренние разделы должны быть в исходном коде страницы.
• Навигация должна быть обычными ссылками, а не обработчиками кликов: по кнопке без адреса робот никуда не перейдёт.
• Подгрузка «показать ещё» должна дублироваться постраничной навигацией со ссылками.
• Проверять просто: отключите выполнение скриптов в браузере или посмотрите исходный код страницы — если текста и ссылок там нет, у робота они тоже могут не появиться.

Если проект уже построен на клиентском рендеринге, выход — серверный рендеринг или предварительная генерация HTML для поисковых роботов. Это работа разработчиков, но без неё остальные меры по индексации будут полумерами.

Что делать, если страницы выпали из индекса

1. Определите масштаб. Выпала одна страница, раздел или весь сайт? Массовое выпадение — почти всегда техника или санкции, единичное — качество.
2. Сверьте дату с изменениями на сайте. Переезд, смена CMS, обновление шаблона, изменение robots.txt — главные подозреваемые.
3. Проверьте доступность. Код ответа, скорость, отсутствие блокировок по user-agent или региону.
4. Посмотрите причины исключения в Вебмастере — там прямо написано, за что.
5. Проверьте раздел нарушений и безопасности. Вирусы и взлом дают быстрое выпадение.
6. Исправьте и отправьте на переобход. После этого ждите: возврат в индекс занимает от нескольких дней до нескольких недель.

Отдельно предупрежу про типовую ошибку при переезде на новый сайт: старые адреса нужно закрывать 301-редиректами на соответствующие новые страницы, а не все скопом на главную. Массовый редирект на главную — надёжный способ потерять трафик на полгода. Заранее продуманная структура сайта услуг сильно упрощает такой переезд: вы просто сопоставляете старые и новые разделы.

Переобход: почему правки долго не видны в выдаче

Вопрос, который мне задают почти в каждом проекте: «Мы переписали заголовки неделю назад, почему в выдаче старые?». Потому что попадание в индекс и обновление уже проиндексированной страницы — разные процессы. Робот приходит повторно с той частотой, которую считает разумной для конкретного адреса.

• Часто обновляемые разделы — главная, блог, новости — переобходятся быстрее всего.
• Статичная страница услуги, которая не менялась два года, может переобходиться раз в несколько недель.
• Глубоко вложенные страницы без входящих ссылок — реже всех.
• Явная отправка на переобход в Вебмастере ускоряет процесс, но суточный лимит ограничен, поэтому расходуйте его на приоритетные страницы.

Практический вывод: после массовых правок не паникуйте в первую неделю и не переделывайте всё заново. Отправьте на переобход 10–20 самых важных адресов, обновите дату изменения в карте сайта и оценивайте результат через три-четыре недели. И фиксируйте дату внедрения — без неё вы не сможете связать изменения с динамикой трафика.

Пошаговый план проверки индексации

1. Подтвердить права в Яндекс Вебмастере и Google Search Console.
2. Открыть robots.txt и убедиться, что нет Disallow, закрывающего нужные разделы, и указана карта сайта.
3. Проверить, что sitemap.xml доступен, актуален и содержит только каноничные страницы с кодом 200.
4. Просканировать сайт краулером: собрать коды ответа, канониклы, метатеги robots, уровни вложенности.
5. Сравнить число страниц: на сайте, в карте, в индексе Яндекса, в индексе Google.
6. Разобрать список исключённых страниц по причинам и сгруппировать их.
7. Исправить массовые проблемы: шаблонные noindex, неправильные канониклы, битые ссылки, цепочки редиректов.
8. Добавить внутренние ссылки на страницы-сироты.
9. Отправить приоритетные страницы на переобход.
10. Повторить сверку через 2–3 недели и зафиксировать динамику.

Вывод

Индексация сайта — фундамент, без которого не работает ничего остальное. Хорошая новость в том, что большинство проблем здесь механические и решаются быстро: открыть закрытое, починить коды ответа, обновить карту сайта, расставить внутренние ссылки. Это не творческая работа, а дисциплина и регулярная проверка.

Заведите привычку: раз в месяц открывать Вебмастер и смотреть раздел со страницами в поиске. Пять минут дают ответ на вопрос, растёт ваш сайт или тихо осыпается. А после любого обновления сайта — обязательная проверка robots.txt, карты и кодов ответа, потому что именно тогда всё чаще всего и ломается.

Если разбираться самому некогда, я делаю SEO-аудит сайта с полным разбором индексации и приоритетами по исправлению — от 30 000 ₽, экспресс-разбор бесплатно. Дальше можно взять продвижение сайта услуг целиком или получить трафик быстрее через настройку Яндекс Директ, пока SEO набирает обороты.

Частые вопросы