Карта сайта позволяет поисковым роботам быстрее проиндексировать вновь добавленные страницы, а посетителям ресурса лучше сориентироваться в его структуре. И если посетители крайне редко прибегают к использованию подобной навигации, то поисковые системы обращаются к файлу Sitemap регулярно, поэтому создание карты сайта является неотъемлемой частью создания и продвижения ресурса.
Разновидности карт сайта
Для сравнительно небольших сайтов, как правило, достаточно одного HTML- и одного XML-документа. Если же проект многостраничный, имеет сложную структуру и многоуровневую вложенность, возможно, понадобится большее количество карт, а также некоторые специфические их разновидности. Далее рассмотрим все известные на данный момент варианты файлов Sitemap, начиная с наиболее распространенных.
Базовые принципы составления карты сайта
При создании Sitemap могут использоваться различные данные, дополняющие основное содержимое. Однако существует ряд требований обязательных к выполнению для всех документов этого типа, а именно:
- Количество адресов, перечисляемых в любом файле карты (кроме новостной) не должно быть больше, чем 50000. Все что превышает данное значение вносят в одну или несколько дополнительных карт.
- Согласно данным, указанным на sitemaps.org и в Google Search Console, размер файла не должен превышать 50 Мб. Что касается Яндекса, ряд источников упоминает ограничение размера файла до 10 Мб. В панели Яндекс Вебмастер ничего подобного не указано. Единственное требование, которое косвенно связано с объемом карты – не более 50000 ссылок в одном файле.
- Адреса страниц, которые прописываются в sitemap.xml, должны включать в себя доменное имя (абсолютная ссылка) и иметь одинаковую форму записи. Если в одном URL присутствует название протокола, значит подобным образом нужно прописывать и все остальные URL.
- Для корректной индексации поисковыми машинами сервер при обращении к странице сайта должен возвращать код 200.
- Адрес страницы не может содержать ID сессии.
- Максимальное количество символов в URL не может превышать: 1024 – для Яндекса; 2048 – для Google.
- Sitemap составляется исключительно в кодировке UTF-8, при этом в ссылках нужно использовать латинские буквы и цифры.
- Стандартное расположение – корневой каталог проекта. В случае размещения в какой-либо другой папке, адреса, прописанные в документе, могут ссылаться только на страницы, находящиеся в этой папке.
- После составления и размещения на сервере sitemap.xml, его необходимо вписать в robots.txt. Следует уделить внимание соответствию разрешений, обозначенным в robots.txt, ссылкам, перечисленным в карте. Иногда случается так, что в robots запрещены к индексации некоторые разделы, прописанные в sitemap.xml.
Как создать Sitemap
Процесс во многом зависит от типа проекта, но для подавляющего большинства случаев подойдут следующие способы и онлайн-сервисы:
Если сайт создан на каком-либо движке (WordPress, Jumla и т.п.), проще всего будет использовать встроенный функционал этих систем или дополнительные модули сторонних разработчиков (например, Yoast SEO для WP или Sitemap faster для Joomla).
Для небольших ресурсов, не использующих CMS, вполне подойдут онлайн-генераторы, такие как xml-sitemaps.com, xmlsitemapgenerator.org, check-domains.com и им подобные.
Десктопные приложения, предназначенные для комплексного аудита и аналитики сайта. Например, Netpeak Spider, умеет помимо всего прочего генерировать файлы Sitemap.
Поиск и устранение ошибок в карте сайта
Файл Sitemap не отличается особой сложностью и может создаться впечатление, что допустить в нем какие-либо существенные ошибки маловероятно. Но на самом деле, имеет место немалое количество достаточно серьезных нюансов, о которых многие разработчики сайтов либо не знают вообще, либо считают их незначительными и не обращают на них внимания.
Для проверки используют специальные приложения и сервисы, среди которых имеются платные. Среди платных наиболее популярен на данный момент десктопный краулер Netpeak Spider. Помимо богатого функционала для аудиторского анализа проектов, программа имеет на борту встроенный валидатор файлов Sitemap. Приложение выявляет более 30 ошибок, в числе которых 20 характеризуются как критические (способные повлиять на чтение документа поисковыми роботами).
Распространенные способы бесплатной проверки – это некоторые онлайн-генераторы, например у сервиса XML Sitemaps имеется функция анализа валидности карты сайта. Кроме того, в панели Яндекс Вебмастер и Google Search Console также можно выполнить проверку.
Вместо заключения
Файл Sitemap выполняет роль одного из основных средств общей оптимизации сайта. Данный инструмент позволяет сделать индексацию страниц на порядок быстрее и дать поисковикам больше информации о странице и ее содержимом. Помимо классических XML и HTML вариантов, поисковые машины поддерживают работу с картами для изображений, видео и новостей. Главное, после создания всех необходимых файлов Sitemap, организовать их своевременное обновление, а также устранять ошибки в случае возникновения.