Процесс индексации сайта представляет собой изучение поисковыми ботами всей информации интернет-ресурса, которая открыта для поиска, и занесения полученных данных в базу. Поисковые роботы проводят индексирование ссылок, видеоматериалов, картинок и иной информации сайта. Для полноты картины, что же представляет собой данный процесс, нужно детально разобраться в его особенностях.
Индекс – перечень данных, что-то вроде инструкции, указывающей, как можно найти ту или иную информацию. Ярким примером индекса является алфавитный указатель, располагающийся в конце книги.
Веб-индекс обладает некоторыми отличиями. Он представляет собой большую базу данных, или иными словами, перечень всех материалов, находящихся в интернете, с указанием их расположения. Именно благодаря данному свойству индекса все мы можем быстро находить информацию в интернете по тем или иным запросам.
Метафорически, Интернет можно представить в виде большой библиотеки, хранящей на своих полках миллиарды книг (в данном случае – сайтов). Если взять, к примеру, поисковую систему Yandex, то она и будет выступать в роли индекса данной «библиотеки». Вводя в строку поиска определенное словосочетание (запрос), и нажимая на «Поиск», вы запускаете поиск сведений по индексу. Выдаваемая страница с результатами называется страницей индекса.
Чтобы произвести индексацию всей информации в интернете, потребуется наличие мощных ресурсов. Подобными ресурсами являются пауки (по англ. – «spider»), или иными словами – боты систем поиска.
Откуда такое название? Дело в том, словно пауки, они переползают с одного ресурса на другой, занимаясь по сути, созданием веб-информации. Данный процесс именуется выборкой (по англ. – «fetching»). Отобранная пауками информация отправляется на хранение в индекс поисковиков.
Что бы сайт был проиндексирован нужно:
-
- Для начала необходимо в документе robots.txt разрешить доступ для индексации.
Чтобы это выполнить, следует создать файл формата txt в корне сайта с названием «robots», если такового еще нет. Затем внести следующий код:
User-agent: *
Эта директива позволяет индексировать все содержимое веб-сайта.
Чтобы запретить просмотр какой-либо папки, к примеру, с изображениями, следует прописать данный код:
User-agent: *
Disallow: /images (здесь после косой черты (слеша) должно идти название папки, которая будет закрыта от индексации).
Более подробно настройке файла robots.txt можете узнать в следующих статьях: Robots.txt для joomla, Правильный robots.txt для WordPress, Запрет индексации в файле robots.txt.
- Ссылаться на другие веб-ресурсы
Следующий этап – проставить индексируемые ссылки с иных ресурсов. Найти и приобрести ссылки можно на специализированных площадках-биржах ссылок. Лучшие ссылки – те, которые относятся к авторитетным ресурсам с постоянно обновляющейся информацией.
Наиболее индексируемыми веб-ресурсами считаются, сайты посвященные СМИ, а также блоги. Добавить на них ссылки можно по средствам специальных бирж, где широкое разнообразие ресурсов разной степени привлекательности.
- Добавление веб-ресурса в поисковые системы
Когда добавление и настройка документа robots.txt будет завершена, нужно заполнить определенные формы и добавить веб-сайт в поисковые системы, а так же добавить его в «Яндекс.Вебмастер» и «Google webmaster tools».
- Ссылки на соцсети
Индексируемые ссылки прямого типа из соц сетей могут сильно влиять на процесс индексации интернет-ресурса. К таким относятся Ютуб, Твиттер, Google Plus, Фейсбук и др. Такой метод будет эффективен, только если ссылки окажутся прямого типа. К примеру, если использовать ссылки из ВК, то эффекта добиться не удастся – данный сервис использует редирект.
При использовании этих сервисов довольно быстро привлекаются боты поисковых систем.
Важно понимать, что процесс индексации веб-сайта в поисковиках не везде одинакова. Каждая система поиска обладает своими правилами насчет глубины индексации ресурсов. Глубина индексации – последовательность и количество уровней страниц определенного ресурса, которые анализируют поисковики.
Бывает и такое, что поисковик никак не ограничивает глубину. В таком варианте поисковая система будет добираться до самых глубоких страниц ресурса, однако подобные случаи довольно редки и поисковики обычно ставят ограничение на глубину.
При ограниченной глубине, поисковик при достижении установленного уровня просто уйдет с ресурса, оставив весь контент, находящийся за рамками границ, не проиндексированным.
Таким образом, вывод напрашивается сам – чтобы индексация сайта в поисковых системах проходила максимально эффективно, необходимо уменьшать уровни вложения на своем ресурсе.
Существует несколько способов проверить, какие страницы попали в область индексации
-
Посмотреть данные в панели вебмастеров
Это является стандартным методом проверки индексации сайтов. Чтобы проверить, как прошла индексация сайта в Гугл, нужно открыть Search Console, найти раздел «Индекс Google» и нажать «Статус индексирования».
Чтобы проверить, как прошла индексация сайта в Яндексе, требуется авторизоваться в Яндекс.Паспорт, после чего войти в Яндекс.Вебмастер и перейти к вкладке «Индексирование сайта», где потребуется нажать на «Страницы в поиске». Если открыть вкладку «История»и выбрать «Страницы в поиске», то можно отследить в динамике, как менялось количество страниц в поиске.
Вы должны увидеть примерно следующее:
Если есть проблемы с индексацией картина будет следующей:
-
Применять операторы в поисковых запросах
Уточнить результат поиска можно применяя поисковые операторы. Оператор «site: »дает информацию о текущем количестве страниц, которые уже проиндексированы, причем число не точное, а приблизительное. Чтобы выполнить проверку, нужно в строке поиска ввести «site:[url вашего сайта]».
-
Использование букмарклетов и плагинов
Автоматическим вариантом проверки, как проходит поисковая индексация сайта, является использование букмарклетов и плагинов, представляющих собой малые по весу javascript-программы, существующие в виде браузерных закладок.
На скриншоте изображен плагином RDS bar для Гугла. С помощью него проверяется, как индексация отдельной страницы (текущей), так и всего ресурса.
Для использования букмарклета «Проверка индексации» нужно перенести ссылку из открытого документа на панель, где располагаются закладки. Для проверки нужно будет открыть требуемый ресурс и нажать на эту вкладку.
-
Установка специальных сервисов для проверки
Примером может служить сервис Netpeak Spider. Вебмастер при помощи таких инструментов может получить сведения о числе страницах в индексации, а также множество другой полезной информации: метаописания, robots.txt, названия и заголовки, каноникал, ссылки, код ответа и другое. Вдобавок, сервис предупреждает пользователя об ошибках.
