Что такое внутренние дубли страниц?

Содержание:

• Основные разновидности дублей
  • Полные дубли
  • Частичные дубли
• Санкции от дублирования на сайте
• Инструменты для оценки наличия дублей
  • Программное обеспечение Netpeak Spider
  • Поисковые системы
• Как исключить дубли
  • 301 редирект
  • Указания для роботов в robots.txt
  • Метатеги noindex и nofollow
  • Атрибут rel=»canonical»

Иногда на сайте автоматически или умышленно формируются страницы с одинаковым контекстом, но под разными URL. Безобидная ситуация, которая может оказаться причиной наложения санкций от поисковых систем. Как найти дубли страниц, чтобы не попасть в проблемную ситуацию. Рассмотрим методы поиска и борьбы с ними.

Под дублем следует понимать несколько страниц, которые сопровождаются одинаковым наполнением, но различными URL-адресами. Последние могут совпадать частично или полностью, что не меняет сути проблемы. Другим словами, это копии, которые доступны под уникальными ссылками.

Обычно проблемный момент появляется из-за причин:

Существует 2 разновидности дублей: частичные и полные.

Под полными дублями следует понимать ситуацию, когда на сайте располагается 2 странички с полностью разными адресами, но с идентичным содержанием. Примером является:

Показатель GCLID появляется при переходе через рекламные объявления. Элемент Google Click Identifier добавляется автоматически, что позволит отследить данные относительно фирмы, канала трафика, ключевых слов. При таком переходе у посетителя высветится не https://site.com/, а https://site.com/?glid=5516.

Такая же система присутствует и в Яндекс Метрике, она именуется yclid. Помогает прослеживать эффект от рекламных кампаний, следить за посетителями и их действиями. Адрес выглядит примерно так:

https://site.com/?yclid=111

Похожая метка присутствует для других специализированных систем учета посетителей и проведения рекламных кампаний. Еще одним примером считается openstat. Применяется для осуществления анализа и разработки маркетинговых приемов по привлечению трафика и покупателей. Ссылка с метками выглядит:

https://site.com/?_openstat=546885526.

В некоторых случаях дубли формируются из-за реферальных ссылок, которые ведут на главную страницу, но обладают уникальным написанием. От такой практики не следует отказывать, важно правильно выполнять настройку системы через rel=canonical. Внешне ссылка будет выглядеть:

https://site.com/register/?refid=65489465

или

https://site.org/index.php?cf=reg-newr&ref=12311321

Предполагают использование одинакового контента в отдельных блоках. Представим основные виды частичных дублей:

Проблема может появиться неожиданно, не зависит от возраста и контента. Дублирование никак не повлияет на получение информации для клиента или посетителя. Другое видение на этот счет у поискового робота. Переходя по сайту, бот определяет свежие страницы, на которых уже имеется повторяющаяся информации. Это ведет к следующему:

Основные виды дублей и негативный эффект изучили. Теперь важно провести аналитику, научиться выявлять и устранять проблему. Ознакомьтесь с несколькими способами:

Программное обеспечение Netpeak Spider

Простым и эффективным инструментом считается программного обеспечение Netpeak Spider. С применением софта можно обнаружить полные внутренние дубли страниц, по содержанию в блоках. В некоторых случаях по повторам в теге «Title» или «Description».

Поисковые системы

Второй способ связывается с использованием стандартных поисковиков. Для этого нужно зайти в Google или в Yandex, после вписать «site:». То есть вписываем префикс, после двоеточия указываем адрес сайта. Это позволит вывести все страницы, представленные для выдачи. Количество их может существенно различаться от найденных в программе выше или в XML-карте. После просмотра можно убедиться в наличии или отсутствии «мусорных» страничек, от которых лучше избавиться.

Подобным образом используется поиск фрагментами, что поможет углубленно проанализировать сайт. Если вы знаете определенную фразу, которая доступна по ряду страниц, тогда воспользуйтесь функцией «site:» для выявления частичных дублей. Для этого следует взять в кавычки фразу, а после дописать оператор и сайт для анализа. Это имеет вид такой:

«Неправильно настроенная сортировка, фильтры или поиск товаров по критериям также становится причиной появления частичных дублей.» site:https://site.org/

Если в выдаче располагается только одна страница, дублирование отсутствует. Иногда в выдаче доступно несколько страничек, что потребует от вас анализа о причинах появления. Возможно, что от них придется избавиться в будущем.

Для анализа содержимого в «Title» используется специальный оператор «intitle:». Наличие одинакового текста зачастую считается основным признаком появления продублированных страниц. Для проверки в строке поиска должна располагаться следующая информация:

Через оператор «inurl» определяется дубли, которые сформированы из-за неправильной настройки фильтров, поиска или сортировки. Внешний вид использования этой функции:

site:https://site.org/ inurl:sort (filter, search)

Обратите внимание, что специальные операторы работают только с проиндексированными страницами. Полагаться на 100% не приходится.

Если проблема в действительно актуальна, ее необходимо решить. Существует несколько способов, как убрать дубли страниц, помогающие оптимизировать выдачу и повысить качественные характеристики вашего сайта в глаза поисковиков.

301 редирект

Это наиболее простой и эффективный способ устранения полных дублей. Метод предполагает перенаправление неликвидной, дублированной страницы на главную. Переадресация настраивается автоматически и не требует вашего вмешательства. Робот видит переадресацию и помечает, что по представленному URL информация недоступна.

Редирект с кодом 301 передает ссылочную массу дубля на продвигаемую. Метод актуален не только для единичных статей, но и в следующих случаях:

Каждый веб-мастер дает руководство роботам, какие страницы можно и нужно обходить, а какие нет. Для этого создается специальный файл robots.txt. Здесь прописываются основные команды с применением директив «Allow» и «Disallow».

User-agent: *

Disallow: /news//*

В некоторых случаях подобная практика не работает. Это связывается с уже включением странички в выдачу. Кроме этого, на нее ссылаются другие источники. В robots находятся рекомендации, что не гарантирует удаление дублей.

Существует похожий способ контролировать индексацию тех или иных страниц роботом. Для этого прописывается метатег meta name=»robots» content=»noindex, nofollow>. Функция «noindex» указывает на не востребованность роботу проанализировать документ, а «nofollow» что переходить по ссылке необязательно. Это прямая команда, поэтому соблюдается ботом при обходе.

Присутствует схожий метатег <meta name=»robots» content=»noindex, follow>, он указывает на невозможность индексирования, но по ссылке можно переходить. Механизм функционирования упирается в размещении тега в блоке <head>.

Популярный способ для удаления дублей. Страницу удалить или перенаправить не можем, информацию поменять также невозможно. Обычно подобная технология используется для решения проблем с пагинацией или с фильтрами. Атрибут rel=»canonical» указывает на основную, которая и попадает в поиск.

Тег показывает эффективность также при работе с временными метками или параметрами GET. В некоторых случаях можно использовать для страниц, где производится печать или предоставляется информация на нескольких языках. Обратите внимание, что параметр понятен только Google, робот от Яндекса проигнорирует его.

Использовать каноническую страницу следует аккуратно. В ряде случаев лучше подготовить дополнительную информацию для фильтров, в том числе при выборе по цвету, по экрану, материалу и так далее. Это позволит повысить конверсию путем привлечения новых клиентов. Но если продвижения не будет, тогда лучше указать на общую категорию.

Обычно каноническая страница задается через HTML, он обязан располагаться в блоке <head>. Для отдельных CMS доступны специальные плагины, позволяющие указывать эту характеристику.

Рассмотрим пример:

https://site.org/index.php

https://site.org/example?filtr1=1

https://site.org/example/print

С указанием канонического адреса https://site.org/, то в коде будет располагаться соответствующая строчка на каждой из трех страниц: <link rel=»canonical» href=»https://site.org/» />. Теперь мы знаем, что такое дубли страниц, как удалить. Остается только применить знания на практике, устранить все недочеты на вашем проекте.