Посещаемость сайта во многом зависит от поисковых машин. Но чтобы посетитель зашел через Яндекс или Google на важную для разработчика страницу, необходимо ее присутствие в индексе этих поисковиков.
Как же проверить индексацию сайта и узнать попала заветная страница в поисковую выдачу или нет?
Вариантов не так много, они просты, многие бесплатны и при этом достаточно эффективны. Способы, популярные среди опытных оптимизаторов, подробно рассмотрим далее.
В процессе сканирования робот обходит все ссылки сайта, находя таким образом добавленные страницы и обновляя старые. Затем индексный модуль анализирует полученную информацию и заносит ее в индексную базу (или не заносит, если контент не качественный). Дальнейшая выдача формируется из этой базы в соответствии с пользовательскими запросами.
Анализируем индексацию в панели вебмастера
Первый способ, на который стоит обратить внимание – проверка через специализированные сервисы поисковиков. Кому, как не им лучше знать, что попало в индекс, а что нет и почему.
Яндекс.Вебмастер
Панель управления вебмастера доступна пользователям, зарегистрированным в системе. Если есть активный аккаунт, необходимо авторизоваться, если нет, пройти стандартную процедуру регистрации.
Для проверки индексации сайта Яндексом идем следующим путем:
Индексирование -> Страницы в поиске.
На этой же вкладке, кликнув по кнопке «История», можно ознакомиться с динамикой индексирования страниц за определенный период времени.
Кликните на картинку для увеличения
Google Search Console
Открываем главную страницу сервиса и выбираем сайт, состояние которого необходимо просмотреть. На открывшейся странице в меню слева находим пункт «Индекс Google», где и будет отображена вся интересующая вебмастера информация.
Применяем операторы поисковых запросов
Это определенные слова и символы, которые заставляют алгоритм системы быть более избирательным в выборе результатов. Операторов достаточно много и каждый по-своему конкретизирует поиск, в данном случае нужен оператор «site:».
Способ актуален для сравнительного анализа индексирования сайта в обоих поисковиках. Значительное расхождение в результатах иногда свидетельствует о проблемах с сайтом, например:
Кликните на картинку для увеличения
Кликните на картинку для увеличения
Также с помощью оператора «site:» можно получить более конкретную информацию:
Кликните на картинку для увеличения
- Появилась ли в индексе недавно добавленная страница. Для этого нужно скопировать ее URL и вставить в строку поиска. Если по нажатию клавиши «Enter» система отображает единственный результат со ссылкой на интересующую страницу, значит она проиндексирована.
- Что было проиндексировано за определенный временной промежуток. Кликаем по «Инструментам поиска» и выбираем необходимое значение.
SEO-плагины и букмарклеты
Способы, описанные выше, требуют выполнения ряда действий (скопировать/вставить URL, прописать оператор и т.д.), а при использовании поисковых сервисов необходимо подтвердить доступ к файлам сайта. Если же воспользоваться одним из SEO-плагинов, этих неудобств можно избежать. Все что нужно сделать установить расширение в браузер, после чего перейти на интересующую страницу и кликнуть по значку. Даже не являясь владельцем ресурса можно получить массу интересной информации. Вот что отображает RDS-bar в Google Chrome:
Кликните на картинку для увеличения
В Mozilla Firefox возможности этого плагина еще богаче и кликать ничего не нужно – устанавливается как дополнительная панель. Есть платная версия, более функциональная и удобная, например, в ней не нужно вводить капчи при проверке индексации сайта Yandex.
Утилиты для мониторинга индексации
Сторонние приложения от специализированных сервисов с богатым функционалом, предназначенные для профессионального SEO-анализа. С их помощью можно быстро проанализировать весь сайт.
- наличие файла robots.txt и мета тега роботс;
- заголовки и описания (title, description, keywords);
- ссылочный атрибут «каноникал»;
- наличие карты сайта;
- серверные редиректы;
- внешние и внутренние ссылки;
- многое другое.
К сожалению, найти бесплатные версии для достойных внимания утилит довольно сложно.
Причины плохой индексации сайта
- Новый проект. Часто нужно просто набраться терпения и подождать. Поисковику требуется время на индексацию. Например, Google индексирует новые сайты примерно через две недели, Яндекс – позже. Однако иногда этот процесс длится не один месяц.
- Отсутствие файла Sitemap (карты сайта). Правильно составленная карта сайта помогает существенно ускорить сканирование и последующую индексацию. Файл необходимо создать, разместить на сервере и проинформировать поисковую систему о его наличии или обновлении. Сделать это можно через панель вебмастера.
- Ошибки на сайте. Поисковые системы регулярно информируют разработчика о разного рода ошибках. Если таковые имеются, об их наличии можно узнать из Google search console или «Яндекс.Вебмастер».
- Метатег robots. Иногда, изменяя настройки системы управления контентом, или сервера, пользователь, сам того не зная, закрывает сайт от индексации. Это происходит из-за появления коде страниц единственной строки:
- Robots.txt. Одна из возможностей этого файла – закрытие от индексации некоторых страниц, разделов или сайта полностью. Банальная синтаксическая ошибка в коде может стать причиной игнорирования ботами содержимого проекта. Бывает, что вебмастер закрывает от индексации, какую-либо директорию сайта, а потом в нее же добавляет страницу и удивляется, что она не попадает в выдачу поисковика.
Заключение
Каждый вебмастер стремится к тому, чтобы все содержимое проекта было проиндексировано и присутствовало в поиске. Добиться этого непросто. Необходимо следить за динамикой попадания страниц в выдачу: внезапные перемены как в положительную, так и в отрицательную сторону говорят о проблемах.
Были рассмотрены четыре варианта контроля индексации сайтов Гуглом и Яндексом:
- Сервисы для вебмастера от поисковых машин;
- Оператор «site:» в строке поиска;
- Браузерные расширения и буркмарклеты;
- Специализированные утилиты.
Иногда случается и так, что все проиндексировано, а органический трафик ничтожно мал. В таких ситуациях необходимо проанализировать публикуемый контент:
Релевантный ли он поисковым запросам?
Решает ли проблему посетителей?
Положительные ответы на эти вопросы сделают все вышеописанное нужным лишь для фиксации хороших результатов.