Теги для задания основной страницы появились еще в 2009 году – более десяти лет назад. Главная цель их создания – это облегчение работы вебмастеров, которые часто сталкивались с проблемой нескольких одинаковых (или почти одинаковых) web-страниц.
О самих тегах
Тег — это часть html-кода, которые определяет, какая страница – самая авторитетная и должна быть принята за основную. То есть, если у вас есть несколько адресов с очень похожим контентом (например, каталог рубашек и каталог рубашек в клеточку), вы можете воспользоваться этим тегом: он поможет узнать, какая страница – основная и требует индексации.
- link rel=”canonical” – означает, что ссылка ведет на основную страницу, определенную пользователем;
- href=»: означает, что по url находится переход на основную страницу.
- Какой вариант страницы должен быть проиндексирован?
- Что конкретно нужно ранжировать по релевантным запросам?
- Есть ли необходимость в том, чтобы объединить на единой странице ссылочный профиль, либо же его нужно разбить на несколько разных версий?
К тому же, если дублированного контента будет слишком много, это негативно повлияет на бюджет сканирования (речь идет, в первую очередь, о затрате времени). То есть, поисковая система (в данном случае – Гугл) будет тратить слишком много времени на то, чтобы просканировать несколько версий страницы с одним и тем же контентом. Вместо этого же поисковый робот мог быть занят обработкой другого – оригинального и более важного материала на сайте.
Все эти проблемы как раз могут быть решены, если вы научитесь управлять тегами и правильно выстраивать код. Теги помогают алгоритму определить основную страницу, которую требуется проиндексировать и проранжировать.
Если вы не пропишете канонический url адрес, то Google просто решит это самостоятельно. А поскольку мы говорим пусть и об умном, но все же о поисковом роботе, едва ли вы сможете полагаться на его грамотный выбор. Может возникнуть ситуация, когда гуглом на основную принята страница, которая таковой на самом деле не является.
Если дублированного контента нет
Маловероятно, что вы действительно публикуете один и тот же материал на нескольких страницах своего сайта (ведь мы говорим о его уже законченной и доработанной версии). Однако поисковый робот будет обходить не саму страницу, а url адрес. То есть, если у вас будут разные ссылки с абсолютно идентичным контентом – Гугл посчитает их уникальными!
В качестве примера возьмем два адреса: один заканчивается на /product, а второй – на product?color=blue. Вероятнее всего, что при переходе по первой ссылке откроется основная страница товара, а по второй – один из вариантов его дизайна (мы видим синий цвет в адресе) или отдельная характеристика. Такие адреса являются параметрическими. Именно из-за них
может возникать проблема дублированного контента: часто с ней сталкиваются сайты интернет-магазинов, имеющие меню с фильтрами или фасетную навигацию.
Например, есть интернет-магазин: Blue Tanny Clothing. Он продает рубашки, и основную категорию товаров можно будет найти по определенному url адресу.
Представим, что пользователь ищет рубашку определенного размера: его интересуют только те модели, которые представлены в размере XL. Он выставляет фильтр в меню, а в адресную строку для следующей страницы добавляется новый параметр.
Отлично! Пользователь увидел все рубашки, которые подходят ему по размеру, и теперь хочет найти те, которые есть в синем цвете. Он снова пользуется фильтром, и для страницы вновь изменяется адрес.
Гугл посчитает все эти отдельные страницы уникальными, ведь у них одинаковые адреса. Однако содержание на них будет очень похожим: тот же каталог рубашек, и те же модели, которые есть на основной странице – только отфильтрованные.
Такая ситуация может произойти не только у сайтов с онлайн магазинами. С проблемой также могут столкнуться:
- люди, который просто задали запрос в поисковике (они попадут по неверному адресу и могут не захотеть остаться на сайте именно поэтому);
- параметры для индивидуальных настроек;
- различные версии, созданные для просмотра на электронном устройстве и для печати;
- страницы, которые по-разному отображаются (и, соответственно, прописываются) для браузеров и для телефонов/планшетов;
- уникальный адрес url для различных категорий контента (это не обязательно товары или услуги для продажи, может быть просто информационный сайт);
- одни и те же материалы по ссылкам с вставкой www и без нее.
В вышеописанных случаях очень важно самостоятельно задать основную страницу: если этого не сделать, во время индексации возникнет путаница, которая будет негативно отражаться на показателях сайта.
Если одинаковый материал создан оправдано (например, новостной портал цитирует материалы с частного сайта), то следует обратиться к этому порталу за размещением канонической ссылки на источник. Это позволит обеспечить уникальность контента на оригинальной странице и получать на нее поток реферального трафика.
Как применять
В самой канонизации нет ничего сложного: есть четыре основных способа (о них мы поговорим ниже). Пока мы рассмотрим пять основных законов работы с тегами для задания основной страницы.
Закон №1. Работать с абсолютными url ссылками
Каноническим тегам не место на относительных url – так советует сотрудник компании Гугл Лжон Мюллер. Для того, чтобы адреса обрабатывались корректно, рекомендуется использовать абсолютные url.
Закон №2. Использовать символ нижнего регистра
Гугл обрабатывает символы верхнего и нижнего регистра как различные адреса. Для того, чтобы вписать в ссылку адрес с тегом, необходимо использовать как раз символ нижнего регистра (до этого рекомендуется настроить автоматическое использование строчных адресов на сервере).
Закон №3. Работать с корректной версией домена
Для того, чтобы перейти к ssl-сертификату, необходимо задать корректную передачу данных внутри ссылки – HTTPS. Если данные будут неверны, возникнет путаница, которая может привести к неожиданным последствиям.
Закон №4. Ссылка на саму себя может быть полезна
Это делать не обязательно, но Джон Мюллер рекомендует использовать канонический url, который будет вести на себя же и располагаться на той же страницы. На популярных конструкторах эта функция вводится автоматически, но если ее нет – не будет лишним добавить.
Закон №5. Один тег для одной страницы!
Если на странице будет более одного канонического тега – робот Гугла будет игнорировать вообще все. Размещать теги обязательно нужно, но только по одному!
Варианты применения
Есть четыре основных варианта использования тегов, чтобы задать самую авторитетную страницу:
- Вписывание в HTML.
- Работа с HTTP header.
- Вписывание в карту сайта.
- Настройка с 301 редиректом.
Ниже мы чуть подробнее расскажем о каждом из них.
1. Вписываем HTML
Добавление тега html код страницы посредством специальной вставки в раздел header – это один из самых простых способов задать авторитетную страницу. Однако это актуально только для тех сайтов, которые создаются с нуля: если вы используете специальные конструкторы, то возиться с кодами вам не нужно.
Ниже мы разберем несколько вариантов использования тегов в CMS.
Настройка в конструкторе сайтов WordPress
Для того, чтобы запустить канонизацию в Вордепрессе, нужно установить специальный плагин – он называется YOAST SEO. С его помощью канонические ссылки будут добавляться автоматически (мы выделили поле для этих адресов на скриншоте ниже, для перехода нужно использовать вкладку «Дополнительно»).
О частых ошибках и о том, как их избежать
Пользователи часто сталкиваются с недопониманием и неверными представлениями о том, как правильно вводить на сайт каноничные адреса. Мы собрали несколько распространенных ошибок, чтобы разобрать их.
Первая ошибка: создание блокировки для url через robots.txt
Если вы сделали блокирование адреса url, то поисковый робот Гугла не сможет сделать его сканирование. Это означает, что и распознать канонический тег у него тоже не получится, и не будет ясно, какая страница является основной, а какая – дублирующей.
Вторая ошибка: запрещать индексацию в коде
Канонизацию и тег на запрет индексации ни в коем случае нельзя ставить вместе, так как они являются противоречиями. В свою очередь, Гугл всегда отдает приоритет каноническим тегам, но лишний раз рисковать не стоит.
Третья ошибка: использование состояния 4XX
Эта ошибка аналогична той, что возникает при прописывании запрета индексации. 4XX не рекомендуется устанавливать – это состояние противоречит канонизации. Это приводит к тому, что Гугл просто не видит канонических адресов и не может задать им авторитет.
Четвертая ошибка: создание канонизации через корневые страницы
Когда вы создаете канонизацию для навигационных страниц, вам не нужно делать их привязку относительно первой, корневой страницы. Джон Мюллер, которого мы упоминали выше, называет такую канонизацию бессмысленной – куда более эффективно будет сделать канонические адреса, которые будут вести на саму страницу.
Пятая ошибка: игнорирование: hreflang во время канонизации
Использование hreflang актуально для страниц, представленных на разных языках – им задают нужную версию. В коде при канонизации должна быть прописан url для страницы на основном (и главном) языке.
Разбираем распространенные проблемы
4XX
Эта проблема может случиться, если для url будет использован 4ХХ код ответа. Эти страницы не проходят индексацию у Гугл, потому что считаются не рабочими. Итогом будет полное игнорирование тегов, определяющих основные страницы, и может быть проиндексирована неверная версия.
Рекомендуется всегда проверять адреса у канонических url, если код 4ХХ встречается – его необходимо исправить.
5ХХ
Эта проблема аналогична той, что была описана выше. Если у вас встречается код 5ХХ – значит, где-то на сервере есть проблема, и страница остается недоступной для индексации.
Единственное исключение, когда код 5ХХ допустим – если у сервера просто большая нагрузка. В этом случае проблема времена и может быть решена автоматически.
Проблемы с перенаправлением по другим ссылкам
Url, вписанные в коде для канонизации, всегда должны перенаправлять на ту версию страницы, которая принимается за основную. И если уже на нее есть редирект, то ее надежность становится сомнительной для поискового робота. В этом случае срабатывает предупреждение: алгоритму непонятно, как действовать дальше.
Если такое случилось, то вам нужно проверить все линки на странице. Отыщите проблему и устраните ее: в крайнем случае, канонические ссылки можно заменить прямыми, ведущими на основную версию страницы – это вернет код 200.
Повторяющиеся страницы без применения тегов
Не задавать основную страницу – очень большая ошибка. В этом случае вы получите несколько одинаковых страниц, и ни поисковик, ни пользователи не будут знать, где основная. Поисковик будет самостоятельно определять авторитетную систему и отображать ее по запросам пользователей. И если авторитетный адрес не был задан, то выбор поисковика не всегда будет совпадать с вашим видением – это может снизить трафик на ваш сайт.
Обязательно отработайте группы одинаковых страниц, чтобы избежать такой проблемы.
Не авторитетная страница совместно с Hreflang
В аннотации hreflang у вас обязательно должен стоять url на основную страницу. Обязательно проверьте правильность перехода. Если вы пропустите этот момент, то алгоритм поисковой системы при индексации может сбиться.
Отсутствие доступа для пользователей на сайте
Основные страницы, на которых нет внутренних ссылок, остается недоступным для посетителей вашего сайте. При переходе они окажутся не там, где рассчитывали, поэтому и создание основной версии в этом случае становится бессмысленным.
Обязательно проверяйте наличие внутренних ссылок на той странице, которую вы принимаете за основную.
Сразу несколько страниц определены основными
Вы не можете определить основными сразу несколько страниц – это создаст путаницу. Поэтому вам нужно проследить, чтобы у вас не создавалось цепочки страниц, где один адрес перенаправляет на следующую авторитетную страницу.
Если вы создали такую цепочку, то это приведет к некорректной работе поискового алгоритма, а также создаст раздражение у пользователей.
Неправильная ссылка для соцсетей
Open Graph помогает вам сделать красивую ссылку для перехода на сайт из социальных сетей. Если же вы не проверили, чтобы указанный адрес вел именно на основную страницу, то вы можете столкнуться с тем, что в соцсетях будет отображаться не та страница.
Это значит, что и трафик пользователей из этого источника будет переходить по неверному направлению. Несмотря на то, что поисковик по запросу будет отправлять пользователей на основную версию страницы, значительную часть аудитории из социальных сетей вы можете потерять.