Новый формат
Как защитить сайт от парсинга: капча, лимиты, honeypot и здравый смысл
Парсеры снимают цены, тексты, отзывы и каталоги. Полностью «закрыть» сайт от мотивированного сбора нельзя, но можно сильно удорожить атаку и снизить вред для сервера и SEO.
Ниже — рабочие уровни защиты и типичные ошибки. Что такое парсинг и где этические границы сбора — в соседнем материале; здесь — сторона владельца сайта. Без инструкций по обходу защиты.
Зачем защищаться
Агрессивный парсинг копирует контент, снимает прайс для демпинга, засоряет формы и грузит сервер. Иногда цель — аналитика конкурента (цены), иногда — автонаполнение копиями.
Приоритет: доступность сайта для людей и поисковиков, целостность данных, меньше кражи уникального контента.
Капча и поведенческий скоринг
Классическая капча на каждом шаге раздражает. Современнее — оценка риска (бот/человек) и вызов проверки только при подозрении. Cookies/сессия снижают повторные запросы к постоянным пользователям.
Помните: сервисы «решения капч» существуют — одна капча не остановит целеустремлённого сборщика. Сочетайте с лимитами запросов.
Honeypot, IP и лимиты
Honeypot: скрытый элемент, который кликает/заполняет бот. Событие — сигнал в лог и повод ужесточить правила для IP/сессии.
Сигналы IP (хостинг vs обычный провайдер, PTR у известных краулеров) помогают, но ломаются прокси. Надёжнее rate limit: много URL/сек с одного адреса → throttle или временный бан. Отдельно различайте всплеск интереса и DDoS.
Когда резать доступ:
- аномальный RPS с одного IP/подсети;
- обход типовых паттернов человека;
- массовый обход каталога без реферера/с кривым UA;
- атака на формы и админку.
Сервисы и юридический слой
CDN/WAF с бот-менеджментом (в т.ч. Cloudflare и аналоги) снимают часть нагрузки: лимиты, JS-challenge, гео/ASN-правила. Платные антибот-решения удорожают парсинг, но не дают абсолютной гарантии — названия и тарифы меняются, выбирайте под трафик и бюджет.
В пользовательском соглашении зафиксируйте запрет автоматизированного сбора. Это не замена технике, но опора для претензий при копировании контента. Уникальные тексты и фото дополнительно защищайте мониторингом копий.
Практичный минимум:
- rate limit на каталог и API;
- мониторинг 5xx и аномалий в логах;
- honeypot на формах;
- капча/challenge по риску;
- не резать поисковых роботов;
- бэкапы и контроль целостности каталога.
Частые вопросы
Капча на всех страницах — хороший план?
Обычно нет: бьёт по UX и конверсии. Лучше риск-скоринг и проверка при подозрительном поведении.
Можно ли заблокировать всех ботов?
Нет. Нужны «белые» краулеры поиска и сервисов превью. Режьте аномальный трафик, не весь роботный.
Поможет ли robots.txt?
Добросовестным роботам — да. Злонамеренный парсер его игнорирует; это не единственная защита.
Honeypot — что это?
Скрытая приманка (ссылка/поле), которую человек не видит, а тупой бот трогает. Помогает детектить, не панацея.
CDN/WAF обязательны?
Для высоких нагрузок и частых атак — полезны (лимиты, бот-менеджмент). Малому сайту часто хватает rate limit + мониторинг логов.
Защита на 100% существует?
Нет. Цель — снизить ущерб и стоимость для атакующего, плюс юридические и договорные меры по контенту.
Каталог снимают боты?
Настроим лимиты и антибот без войны с поисковыми роботами и без убийства UX.
Обсудить задачу
