Как быстро найти и убрать дубли страниц на сайте

Сайт на CMS можно настраивать бесконечно, и всё равно на нём будут выявляться «сюрпризы». Один из них – дубли страниц, на что многие или не обращают внимания, или вообще про это не знают. Между тем, это серьёзная проблема, из-за которой можно надолго задержаться на низких позициях в поиске или даже вообще получить бан.

Что такое дубли страниц

Дубли – это копии страниц с одинаковым содержимым, но с разными адресами. То есть, открывая их по разным ссылкам, разницы можно не заметить – они абсолютно идентичны.

Такие страницы генерируются самой CMS, поэтому их наличие вовсе неявно. Но поисковики без труда их находят, индексируют, и это явно не идёт на пользу в продвижении. И с возрастом количество дублей у сайта может увеличиваться, например, каждый новый комментарий может порождать такую страницу, а сотня комментариев на странице – это сотня её копий. А если у вас неверно настроен протокол https, то и вовсе может существовать ещё одна полная копия сайта по протоколу http, притом с кучами тех же дублей.

Как быстро найти и убрать дубли страниц на сайте

С дублями нужно бороться и удалять их. Каждая страница должна существовать в единственном экземпляре, по крайней мере, для поисковиков.

Как найти дубли страниц

Обнаружить вручную дубли очень сложно – их ссылки могут иметь самый причудливый вид, и проверить все возможные варианты вручную просто не получится. Но можно воспользоваться специальной программой или сервисом, которые просканируют сайт и покажут все имеющиеся на нём проблемы, в том числе дубли страниц.

Из программ хорошо справляется с этой работой Screaming Frog Spider. Из сервисов можно воспользоваться ApollonGuru – проверить достаточно несколько типичных страниц сайта. Увидеть список дублей можно и в панели Вебмастера Яндекса – в списке проиндексированных страниц. В Google тоже есть такая возможность.

Дубли страниц в программе Screaming Frog Spider.
Поиск дублей страниц в программе Screaming Frog Spider.

Кроме проверки сайта по протоколу https, где находится ваш сайт, проверьте также его по протоколу http – если там есть страницы с кодом ответа сервера 200, это значит, что они тоже работают и от них нужно избавиться.

Как удалить дубли страниц

Заниматься удалением дублей страниц на сайте, работающем на CMS, должен человек, хорошо разбирающийся в теме разработки сайтов. Ведь обычно просто так эти страницы удалить нельзя – они генерируются автоматически. Но их можно закрыть от индексации или настроить перенаправления на оригинальные страницы. Например, избавиться от копии сайта на http можно, настроив перенаправление на версию https.

Некоторые дубли можно удалить путём исключения функции в CMS, которая их создаёт. Для исчезновения некоторых достаточно поменять настройки сайта.

И самое главное – на страницах в коде должна быть указана каноническая ссылка. Это та ссылка, которая должна учитываться поисковиками и по ней должен находиться оригинал страницы. Эта каноническая ссылка должна быть во всех дублях – тогда вред их для поискового ранжирования значительно уменьшается. В WordPress канонические ссылки настраиваются в SEO-плагинах, например, YoastSEO, а потом они автоматически добавляются на страницы.

Если вам нужно провести проверку сайта на наличие дублей страниц и провести их удаление, вы всегда можете обратиться к нам.

Оставьте свои контакты

Мы перезвоним и обсудим Ваш вопрос

Получите скидку 5 000 руб. + бонусы«Пройти тест»Вам доступны бонусы и скидка