Давайте представим, что вы создали отличный сайт и заполнили его интересным и уникальным контентом, а потом провели seo оптимизацию по всем правилам. Соответственно теперь вы находитесь в ожидании, когда вся ваша работа для сайта принесет плоды: начнет приходить трафик, поисковый робот будет индексировать страницы, все больше людей начнут посещать ваш ресурс… Но что-то идет не так: почему-то ваши старания не принесли результата. Вы, конечно, начнете искать причину: что вы могли упустить, почему сайт не работает достаточно эффективно? Весь контент для сайта у вас полностью уникальный, оптимизация проведена верно… Но поисковый робот по-прежнему сайт не жалует, а если и делает индексацию, то очень уж медленно. Давайте разберемся, в чем дело.
У каждого сайта должны быть два файла: робот (robots) и карта (sitemap): мы говорим именно о файлах в форматах txt и xml соответственно. Если у вас нет обоих или одного из них, то скорее всего, ваш ресурс не будет работать так эффективно, как вы ожидали при всех его достоинствах. Дело в том, что роботы поисковиков всегда работают с учетом ограничений: они могут обработать всегда только четко ограниченное количество информации. И с помощью вышеупомянутых файлов вы задаете им порядок, чтобы они индексировали именно те страницы, которые нужны вам. Если этого не сделать, то поисковик придумает порядок самостоятельно, что может не совпадать с вашим видением.
Во избежание путаницы, определимся сразу: файл роботс указывает на те адреса, которые индексировать точно не нужно, а файл карты сайта sitemap – напротив, задает направление для индексации и обращает на определенные страницы внимание поисковика.
Давайте подробнее разберем, как работает файл карты сайта: sitemap.xml.
Две разные версии для карты сайта: формат xml и html
Карта в формате html создана для людей: она является навигацией и помогает пользователям на сайте быстрее найти тот раздел или страницу, которая их интересует.
Файл sitemap.xml создан для роботов от поисковиков. Он указывает им, какие именно страницы на вашем проекте нуждаются в индексации. Особенно актуально это для крупных проектов, где создано большое количество связанных между собой веб-страниц. Кроме того, наличие файла sitemap.xml повышает лояльность к сайту у поисковиков.
У файла sitemap.xml на сайте есть еще несколько положительных функций:
- только что созданные страницы будут индексироваться быстрее;
- вы будете на 100% уверены, что будет проиндексировано все, что вам нужно;
- вы сами определяется приоритеты для обработки поисковиками;
- поисковые системы становятся более лояльными к вашему сайту и больше ему доверяют.
Создаем карту для сайта в формате xml
Для того, чтобы создать файл sitemap.xml, необходимо начать работу в текстовом редакторе (мы будем делать на примере Notepad++). В первую очередь – прописываем стандартную часть:
Далее мы создаем описание для страницы (его необходимо заключить в url теги):
У каждого тега есть свое значение:
- loc – в него нужно вписать адрес, по которому необходимо будет провести индексацию поисковыми роботами.
- lastmod – в нем должна быть указана дата последнего обновления по адресу, который прописан в предыдущем теге.
- changefreq – в нем мы задаем частоту обновлений (мы прописали ежедневную).
- priority – в нем нужно задать приоритет для обработки поисковиками (в формате от 0 до 1).
Когда файл sitemap будет готов, его необходимо сохранить как xml и поместить на сайт. В файле роботс мы указываем путь к sitemap.xml, прописывая его через слеш от основного адреса сайта.
Еще один вариант – это использовать специальный генератор для создания файлов карты сайта. Правда, у таких сервисов есть свои ограничения, например, популярный Sitemap generator не может работать с ресурсами, у которых более 500 страниц.
Мы разберем пример работы с этим генератором, потому что его ограничение вполне адекватно: как правило, более 500 страниц сайту и не нужно.
В верхнюю строчку вам нужно вписать полный url адрес вашего ресурса.
Во второй строке вы указываете на английском языке, как часто будут обновления на страницах. Можно указать никогда, ежедневно, еженедельно, каждый час, месяц или год.
В третьей строчке вы задаете дату последнего обновления страницы. Можно указать ее автоматически, обратившись к данным сервиса, а можно вписать ту дату, когда вы создаете карту сайта.
В четвертой строке нужно указать приоритет для индексации. Мы указали автоматическое вычисление приоритета.
Когда вы закончили вводить данные – нажмите на кнопку старта, и файл карты сайта в формате xml сгенерируется автоматически. Далее вам тоже нужно будет поместить файл в корень сайта и прописать его адрес в файле роботс.
Уведомляем поисковики о файле sitemap
Чтобы сообщить Гуглу и Яндексу, что теперь у вас есть такой чудесный и полезный файл, вам нужно зайти в Вебмастер и перейти на страницу проверки карты.
Делаем переходим в раздел «по ссылке» и задаем путь к нашему файлу sitemap.
Если все в порядке, время идти к настройкам Гугла.
Карту сайта нужно добавлять в поисковой консоли Гугла. Нажимаем на функцию проверки:
В строке вам нужно ввести название карты с xml, сам адрес сайта уже буден указан автоматически.
Отправляем и получаем подтверждение:
После всех манипуляций нужно обновить страницу (F5) и посмотреть, появились ли обозначения проблем. Если в соответствующе колонке прочерк – значит, все хорошо, и вы молодец.
Вместо заключения
В самом создании файла sitemap.xml нет ничего сложного: вы можете прописать его текстом самостоятельно или воспользоваться онлайн генератором. А вот обойтись на сайте без этого файла практически невозможно: если, конечно, вы хотите эффективной работы поисковиков по индексации. Поэтому обязательно уделите время для создания sitemap и регулярно проверяйте ее на актуальность.
К сожалению, иногда на сайт приходят и недобросовестные контентмейкеры, которые воруют информацию. Чтобы не потерять позиции из-за таких жуликов, регулярно проверяйте страницы на уникальность, чтобы карта сайта случайно не вела поисковика прямо к скопированной (пусть и у вас, а не вами) информации. Предупредив такие ситуации, вы сохраните к вашему ресурсу доверие у Яндекса и Гугла.
