Дубли, редиректы и битые ссылки: как чистить сайт

Дубли страниц — самая скучная и самая недооценённая проблема в SEO. Она не выглядит катастрофой: сайт открывается, страницы работают, всё вроде бы нормально. А потом выясняется, что одна и та же услуга доступна по четырём разным адресам, поисковик выбрал главной не ту версию, накопленные сигналы размазались между копиями, и страница, которая должна быть в топе, болтается на второй десятке.

Рядом с дублями всегда живут их родственники: цепочки редиректов, оставшиеся после переездов, и битые ссылки, которые накопились за годы правок. По отдельности каждая мелочь незначительна. Вместе они создают фон, из-за которого робот тратит время на мусор, посетитель попадает в тупик, а вы не понимаете, почему трафик стоит на месте.

В этой статье разберу, откуда берутся дубли страниц, как их находить без дорогих сервисов, каким инструментом закрывать каждый тип дублей, как правильно настраивать редиректы и что делать с удалёнными страницами и битыми ссылками. В конце — чек-лист чистки и короткий регламент, чтобы мусор не накапливался снова.

Чем вредны дубли страниц

Механика простая. Поисковая система не хочет показывать в выдаче два одинаковых результата, поэтому из группы копий она выбирает одну — каноническую — и показывает её. Проблема в том, что выбирает она сама, и её выбор часто не совпадает с вашим.

• Выбирается не та страница. В выдачу попадает версия с параметрами или страница печати вместо нормальной посадочной, которую вы оптимизировали.
• Размываются сигналы. Внутренние и внешние ссылки, поведение пользователей делятся между копиями вместо того, чтобы усиливать одну страницу.
• Тратится краулинговый бюджет. Робот обходит десятки одинаковых адресов вместо новых и важных страниц. На больших сайтах это прямо тормозит индексацию сайта.
• Появляются качели в выдаче. Сегодня в поиске одна версия, завтра другая, позиции скачут, аналитика врёт.
• Раздувается индекс. Сайт из 200 полезных страниц превращается в 5000 адресов, большинство из которых — мусор, и общее качество домена в глазах поисковика падает.

Откуда берутся дубли страниц

Полные дубли: одна и та же страница по разным адресам

Тип дубля	Пример	Как лечить
С www и без www	site.ru и www.site.ru	301-редирект на выбранный вариант, указать главное зеркало в Вебмастере
http и https	Работают обе версии	301 со всего http на https
Со слешем и без	/uslugi/seo и /uslugi/seo/	301 на один формат, единообразие во внутренних ссылках
Индексный файл	/ и /index.php	301 на корень раздела
Разный регистр	/Uslugi/ и /uslugi/	301 на нижний регистр
Метки и параметры	?utm_source=…, ?from=…	rel=canonical на чистый адрес
Версия для печати	/uslugi/seo/print/	canonical на основную или noindex
Тестовый поддомен	test.site.ru, dev.site.ru	Закрыть доступ паролем, а не только robots.txt
Страница в нескольких разделах	/uslugi/seo/ и /moskva/seo/	Оставить один адрес, остальные — 301

Отдельно предупрежу про ситуацию, которую встречаю регулярно: сайт разрабатывали на поддомене, запустили на основном, а тестовую копию забыли закрыть. В результате поисковик видит два полностью одинаковых сайта и может выбрать главным не ваш боевой домен.

Частичные дубли: разные страницы, но неразличимые для поиска

Этот тип коварнее, потому что адреса разные и формально всё правильно. Но содержимое настолько похоже, что поисковик склеивает страницы или помечает их как малоценные.

• Одинаковые заголовки и описания. Двадцать страниц услуг с Title вида «Услуги | Название компании» — классика. Поисковику нечем их различать.
• Шаблонные гео-страницы. Один текст, в котором меняется только название города или района. Самая частая причина массового выпадения таких страниц из индекса.
• Пересекающиеся услуги. «Ремонт квартир» и «Ремонт квартир под ключ» с почти одинаковым содержанием конкурируют между собой.
• Карточки-близнецы. Товары, отличающиеся одной характеристикой, с идентичным описанием.
• Страницы фильтров. Автоматически созданные комбинации без уникального содержимого. Какие из них стоит оставлять в индексе, я разбирал в материале про фильтры и теговые страницы.
• Пагинация без различий. Вторая и третья страницы списка с тем же описанием и тем же заголовком.

Как находить дубли

1. Яндекс Вебмастер, раздел страниц в поиске. Отфильтруйте исключённые страницы по статусу «Дубль» — вы сразу увидите, какие адреса система склеила и с чем.
2. Краулер. Просканируйте сайт и отсортируйте результат по заголовкам: одинаковые Title и одинаковые Description выдают частичные дубли за минуту.
3. Ручная проверка вариантов адреса. Откройте главную с www и без, по http и https, со слешем и без, с /index.php. Каждый вариант, который открывается с кодом 200, — дубль.
4. Поиск по фрагменту текста. Возьмите характерное предложение со страницы и поищите его в кавычках с оператором site: — найдёте копии внутри сайта.
5. Сравнение объёмов. Число страниц по краулеру против числа в карте сайта против числа в индексе. Резкое превышение индекса над реальным количеством страниц — верный признак генерации дублей.
6. Логи сервера. Показывают, по каким мусорным адресам реально ходит робот. Часто вскрывают генерируемые ссылки, о которых никто не знал.

Чем закрывать дубли: подбираем инструмент

Главная ошибка — применять один инструмент ко всему. У каждой ситуации свой способ.

Ситуация	Инструмент	Почему именно он
Адрес больше не нужен, есть замена	301-редирект	Передаёт накопленные сигналы на новый адрес
Обе версии нужны пользователю, в поиске нужна одна	rel=canonical	Склеивает без потери доступности
Страница нужна людям, но не нужна в поиске	Метатег noindex	Убирает из индекса, оставляя доступной
Бесконечная генерация мусорных адресов	Запрет обхода в robots.txt	Экономит краулинговый бюджет
Дубли с метками и параметрами	canonical на чистый адрес	Метки нужны для аналитики, в индексе не нужны
Частичные дубли по содержанию	Переписать или объединить	Технические костыли здесь не помогают

Запомните два правила, которые нарушают чаще всего. Первое: не ставьте canonical на страницу, которая сама отдаёт редирект или закрыта от индексации — такая склейка не работает. Второе: не сочетайте запрет в robots.txt с метатегом noindex. Робот не сможет зайти на страницу и прочитать запрет, и страница останется в выдаче.

Редиректы: как не сделать хуже

301 или 302

301 — постоянный переезд, сигналы передаются на новый адрес. 302 — временный, старый адрес остаётся основным. Для смены структуры, переезда на https, склейки зеркал нужен только 301. Я регулярно нахожу 302 там, где давно должен быть 301: обычно это настройка по умолчанию в каком-нибудь плагине, которую никто не проверил.

Цепочки и циклы

Цепочка вида старый адрес → промежуточный → новый работает для человека, но на каждом шаге теряется время и часть сигнала. После двух-трёх переездов цепочки достигают пяти-шести звеньев. Правило: любой старый адрес должен вести на конечный адрес за один шаг. Циклический редирект, когда А ведёт на Б, а Б обратно на А, делает страницу недоступной полностью.

Переезд сайта

1. Составьте таблицу соответствия: каждый старый адрес — конкретный новый.
2. Настройте постраничные 301-редиректы. Массовый редирект всего на главную — надёжный способ потерять трафик на полгода.
3. Страницы, которым нет замены, отдавайте 404 или ведите на ближайший по смыслу раздел, а не на главную.
4. Обновите внутренние ссылки, чтобы они вели сразу на новые адреса, а не через редирект.
5. Обновите карту сайта и укажите переезд в Вебмастере.
6. Отслеживайте отчёты по ошибкам обхода в течение месяца — там вылезет всё, что забыли.

Переезд проходит несравнимо легче, если у сайта продумана структура сайта услуг: разделы сопоставляются один в один, и таблица соответствия собирается за час вместо недели.

Битые ссылки и страницы 404

Внутренние битые ссылки

Это ссылки внутри сайта, ведущие на несуществующие адреса. Появляются после удаления страниц, смены адресов, опечаток в ручной вёрстке. Для посетителя это тупик, для робота — потраченный запрос. Находятся любым краулером за одно сканирование: ищите в отчёте коды 404 и смотрите, с каких страниц на них ссылаются.

Внешние битые ссылки

Ссылки на чужие сайты, которые закрылись или сменили адреса. Прямого вреда позициям немного, но для пользователя это плохой опыт, а для статьи — устаревший материал. Проверяю их при обновлении контента: раз в полгода достаточно.

Какой должна быть страница 404

• Отдаёт код 404, а не 200. Страница с текстом «не найдено» и кодом 200 — это soft 404, и поисковик будет держать её в индексе.
• Оформлена в дизайне сайта, с рабочим меню и поиском, а не голым техническим текстом.
• Содержит ссылки на главные разделы и популярные услуги, чтобы человек продолжил путь.
• Не перенаправляет автоматически на главную: пользователь теряет понимание, что произошло.

Удалённая страница: 404, 410 или 301

Если у страницы есть смысловая замена — 301 на неё. Если замены нет и страница удалена навсегда — 410, это более явный сигнал, чем 404, и такие адреса выпадают из индекса быстрее. Если страница временно недоступна — 503 с указанием срока, а не 404. Массовая выдача 404 после переделки сайта без разбора соответствий — самая дорогая ошибка из всех, что я видел: трафик падает за две недели, а восстанавливается месяцами.

Как отличить дубль от самостоятельной страницы

Не каждая похожая страница — дубль. Иногда две страницы обязаны существовать, просто им не хватает различий. Я пользуюсь тремя вопросами, и они закрывают почти все спорные случаи.

1. Есть ли разные запросы? Если у страниц разные запросы с реальным спросом — это две страницы, им нужны разные заголовки и разное содержание. Если запрос один — это одна страница в двух экземплярах.
2. Различаются ли они для человека? Откройте обе рядом и прочитайте. Если отличия только в подставленном названии города или в одном слове заголовка — поисковик увидит то же самое.
3. Можно ли добавить уникальную фактуру? Реальные примеры работ в этом районе, свои цены, свои условия, свои сроки. Если да — страница имеет право на жизнь. Если нечего добавить, кроме подстановки, — объединяйте.

В Вебмастере есть подсказка: если поисковик сам склеил страницы, он покажет, с какой именно. Иногда выясняется, что склеены страницы, которые вы считали совершенно разными, — и это повод пересмотреть их содержание, а не спорить с системой. Технические требования к зеркалам и склейкам описаны в справке Яндекс Вебмастера.

Когда ждать результата от чистки

Ожидания здесь часто завышены в обе стороны. Одни ждут роста на следующий день, другие считают, что «это техническая мелочь, эффекта не будет». Реальная картина такая.

Что сделали	Когда видно эффект	Как проявляется
Склейка зеркал, настройка https	2–4 недели	Число страниц в индексе выравнивается, позиции перестают скакать
Уникальные Title и Description	2–6 недель	Растёт кликабельность в выдаче, страницы выходят по своим запросам
Объединение конкурирующих страниц	1–2 месяца	Одна страница поднимается вместо двух слабых
Закрытие генерации мусора	1–3 месяца	Индекс сокращается, новые страницы индексируются быстрее
Выпрямление редиректов	Сразу для скорости, 2–4 недели для поиска	Меньше задержка загрузки, стабильнее обход

И ещё одно наблюдение: сокращение числа страниц в индексе после чистки — это нормально и хорошо. Пугаться тут нечему, если из индекса уходит мусор, а полезные страницы остаются. Смотреть нужно на трафик и заявки, а не на количество адресов.

Скорость, мусор и здоровье сайта

Есть неочевидная связь: чем больше на сайте мусорных адресов и редиректов, тем хуже он себя чувствует технически. Каждая цепочка редиректов — это дополнительные запросы и задержка для посетителя, особенно на мобильном интернете. Каждая битая ссылка в меню — это лишняя нагрузка и испорченный сценарий. Поэтому чистку дублей я всегда делаю в связке с работой над скоростью сайта и Core Web Vitals: обе задачи трогают одни и те же места и дают эффект вместе.

Второй эффект — управляемость. На сайте, где 200 понятных страниц вместо 5000 случайных адресов, аналитика читается, отчёты Вебмастера имеют смысл, а любое изменение позиций можно связать с конкретным действием. Это не про поисковики, это про то, чтобы вы сами понимали, что происходит с вашим сайтом.

Порядок чистки: с чего начать

1. Зафиксируйте состояние. Выгрузите текущие позиции и трафик, сделайте полный скан сайта краулером и сохраните отчёт. Без базового замера вы не поймёте, что дала чистка.
2. Закройте зеркала. www, https, слеш, индексный файл — один канонический формат адреса, всё остальное 301.
3. Устраните генерацию мусора. Внутренний поиск, бесконечные параметры, тестовые поддомены.
4. Разберитесь с канониклами. Проверьте, что каждая посадочная канонична сама себе, а параметры и версии печати склеены правильно.
5. Почините заголовки. Уникальные Title и Description на всех страницах — половина частичных дублей уходит сама.
6. Объедините близнецов. Страницы, конкурирующие между собой по одному запросу, слейте в одну сильную и поставьте 301.
7. Выпрямите редиректы. Все цепочки — в один шаг, циклы устранить, внутренние ссылки обновить на конечные адреса.
8. Почините битые ссылки. Сначала в меню и шаблонах, потом в текстах.
9. Обновите карту сайта и отправьте изменения на переобход.
10. Повторите скан через месяц и сравните с исходным отчётом.

Порядок важен: если начать с текстов, не закрыв зеркала, вы будете переписывать контент для страниц, которые поисковик всё равно склеит.

Частые вопросы из практики

«У нас интернет-магазин, дублей тысячи — с чего начать?»

С источников генерации, а не с отдельных адресов. Найдите механизмы, которые плодят копии: сортировки, параметры отображения, товар, доступный из нескольких категорий, бесконечные комбинации фильтров. Закройте источник — и тысячи дублей исчезнут сами. Ручная правка отдельных страниц в такой ситуации бесполезна: завтра CMS сгенерирует новые.

«Можно ли просто удалить дубли из индекса вручную?»

Инструмент удаления страниц из выдачи есть и в Вебмастере, и в Search Console, но это скорая помощь, а не лечение. Он убирает адрес из поиска на время, пока причина не устранена. Пользоваться им имеет смысл, когда в выдачу попало что-то нежелательное и нужно убрать это срочно, параллельно исправляя источник.

«Сайт переехал год назад, редиректы вроде стоят — что проверить?»

Три вещи. Первое: не превратились ли редиректы в цепочки после последующих правок. Второе: ведут ли внутренние ссылки на новые адреса напрямую — часто в текстах и меню остаются старые. Третье: нет ли в карте сайта адресов, которые отдают редирект, — в карте должны быть только конечные страницы с кодом 200.

Как не накапливать мусор снова

• При удалении любой страницы сразу решайте её судьбу: 301 на замену или 410.
• При изменении адреса страницы автоматически ставьте 301 со старого.
• Раз в квартал прогоняйте сайт краулером и смотрите коды ответа и дубли заголовков.
• Раз в месяц открывайте отчёт по страницам в поиске и смотрите причины исключений.
• Добавьте проверку дублей и редиректов в приёмку любых доработок сайта.
• Не плодите страницы «на всякий случай»: каждая новая страница должна отвечать на реальный запрос.

Чек-лист чистки сайта

• Главная открывается только по одному адресу, остальные варианты отдают 301.
• Главное зеркало указано в Яндекс Вебмастере, сайт работает по https.
• Все внутренние ссылки ведут на конечные адреса без промежуточных редиректов.
• Цепочек и циклов редиректов нет.
• У каждой страницы уникальные Title и Description.
• Каждая посадочная страница канонична сама себе.
• Версии с метками и параметрами склеены канониклом на чистый адрес.
• Тестовые копии и поддомены закрыты доступом, а не только robots.txt.
• Результаты внутреннего поиска закрыты от обхода.
• Страница 404 отдаёт код 404, оформлена и содержит навигацию.
• Soft 404 отсутствуют: пустые страницы не отдают код 200.
• Внутренних битых ссылок в меню, шаблонах и текстах нет.
• Удалённые страницы обработаны осознанно: 301 или 410.
• Карта сайта содержит только каноничные страницы с кодом 200.
• Настроен регламент проверки раз в квартал.

Вывод

Дубли страниц, кривые редиректы и битые ссылки — не та работа, которой приятно заниматься, и не та, которую видно на скриншотах для клиента. Но именно она чаще всего даёт первый заметный рост: вы не добавляете ничего нового, вы перестаёте мешать поисковику понимать ваш сайт. На запущенных проектах одна только чистка возвращает страницы в индекс и убирает качели в выдаче.

Начните с самого простого: проверьте, открывается ли ваша главная по четырём разным адресам, и посмотрите в краулере, сколько у вас одинаковых заголовков. Этих двух проверок обычно хватает, чтобы понять масштаб. Дальше — по плану выше, от зеркал к содержимому.

Если нужен взгляд со стороны, я делаю SEO-аудит сайта, где дубли, редиректы и коды ответа разбираются отдельным блоком с приоритетами по исправлению — от 30 000 ₽, экспресс-разбор бесплатно. Полное SEO-продвижение сайтов — от 40 000 ₽ в месяц; если параллельно нужен быстрый поток заявок, смотрите условия на настройку Яндекс Директ.

Частые вопросы