Вебмастера при продвижении сайтов прибегают к миллионам тонкостей и хитростей, связанных с оптимизацией, привлечением аудитории, оформлением контента. Несмотря на ухищрения, проследить за всем сразу невозможно, а потому даже у профессионалов встречаются ситуации, когда часть информации случайно попадает в общий доступ и становится доступна не там, где нужно. Проблема страшная, но решаемая: необходимо лишь подробно разобраться в параметрах индексации.
Почему вебмастера исключают веб-страницы из поиска «Яндекс»
Причины скрыть информацию от посторонних глаз найдутся даже у международных корпораций. Чего стоит история с «Мегафоном», случайно проиндексировавшим страницы с SMS-сообщениями абонентов, или интернет-магазинами, часто открывающими доступ к конфиденциальной информации покупателей. Кроме ошибок и случайностей встречаются и иные поводы настроить индексацию:
- Дублирование контента. Причины возникновения повторяющегося контента различны, но результат одинаков: продвигается сайт в разы хуже.
- Неактуальные материалы. Разовые акции, специальные предложения, скидки. Если информация давно устарела, то желательно скрыть страницу.
- Конфиденциальная информация. Секретные данные не редкость: порой необходимо заранее разграничить параметры доступа.
- Смена URL-адреса. Стандартная процедура, затрагивающая перенос некоторых материалов.
- Переезд на новый домен. Некоторые вебмастера так пытаются сохранить актуальность материалов (скрыть старые статьи, а новые – опубликовать на новом домене).
Как удалить конкретную страницу
Начинающие вебмастера привыкли к радикальным методам, а потому даже не пытаются экспериментировать или изменять контент и полагаются на стандартный путь переиндексации:
- Перенос ненужных страниц в корзину через CMS. Достаточно заглянуть на сайт, перейти в раздел с опубликованными материалами, а после – отметить галочками уже ненужные статьи и нажать на «Удалить» (или «Перенести в корзину» в зависимости от системы управления). Страница сразу станет недоступна для просмотра на сайте, но поисковые роботы изменят статус намного позже.
- Ускорение индексации через сервис «Удалить URL». Сократить время, необходимое для переиндексации, поможет сервис от «Яндекс», способный вычистить отдельную информацию из результатов поиска.
Удаление страниц в поиске «Яндекс», но не с сайта
Вебмастера дорожат опубликованным контентом, а потому не спешат переносить материалы в корзину без раздумий. Совсем наоборот – неактуальные статьи дорабатывают, дубли – скрывают. С индексацией же поступают следующим образом:
- Сначала настраивают файл robots.txt, куда добавляют строчки, связанные с поисковиками. Речь о комбинации «User-agent: Yandex» и «Disallow: /no-pages». В результате страница с адресом «www.site.ru/no-pages» перестанет индексироваться.
- И, хотя проделанные действия сработают, порой инструмента Disallow недостаточно. Поисковые роботы часто воспринимают команды и строчки из robots.txt в качестве рекомендаций, но не требований. Жесткие ограничения добавляются внутрь тега <head> в шаблоне с HTML-кодом страницы. Соблюдать структуру представленного выше кода необходимо целиком и до последней буквы. Мета-тег robots обязан располагаться в <meta> с атрибутом контент.
<head>
<meta name=»robots» content=»noindex, nofollow» />
</head>
- Последний шаг – переход на страницу сервиса «Яндекс» «Удалить URL» для ускорения процесса.
Исключение всего сайта из поиска
Если в базе «Яндекс» хранится целый пласт конфиденциальной информации и удалением пары страниц ситуацию уже не исправить, то вебмастера предлагают пойти альтернативным путем и спрятать сайт целиком:
- Индексация вновь настраивается в robots.txt, но вот подставлять ссылки в Disallow уже не придется: поле достаточно оставить пустым.
User-agent: Yandex
Disallow: /
- Далее – обязательный переход на сайт «Удалить URL».
- Порой проделанных действий недостаточно. Вебмастера рекомендуют избавиться еще и от сторонних ссылок (внешних), ведущих на сайт и ранее применявшихся для продвижения.
Переиндексация начнется уже в течение короткого промежутка времени. Если же в поиске все осталось по-прежнему, то последний способ сохранить репутацию: очистить все содержимое хостинга до последнего файла вручную или с помощью службы поддержки. Кэш перенесенного в корзину сайта все еще останется доступен у поисковиков, но зато остальные детали исчезнут.
Вердикт
Разобраться с параметрами индексации способны даже начинающие владельцы сайтов: достаточно повторить действия, описанные выше, заранее определившись с тем, как исчезнут выбранные страницы из поиска: полностью с сайта или исключительно из «Яндекс». Вне зависимости от выбора вдаваться в детали предстоит лишь поверхностно: уж слишком весь процесс предсказуемый.