Новый формат
Screaming Frog SEO Spider: технический обход сайта
Screaming Frog SEO Spider — десктопный краулер: обходит ваш сайт как робот и собирает URL, статусы, мета, заголовки, ссылки и вес страниц. Бесплатная версия закрывает базовый аудит; платная снимает лимит URL и даёт интеграции.
Ниже — ключевые настройки Spider, как читать отчёты и что править по результатам. Методология аудита целиком — в каноне про технический SEO-аудит; здесь фокус на инструменте. Обходите свои проекты или сайты, где есть разрешение; не устраивайте DDoS скоростью краула.
Зачем краулер и с чего начать
Краулер находит то, что глаз пропускает: 404 в меню, дубли title, пустые HTML, тяжёлые картинки, странные URL. Запускайте после крупных релизов и планово раз в период.
Укажите стартовый URL (лучше https канона), дождитесь стабилизации очереди. Экспортируйте вкладки в CSV/Excel — так удобнее раздавать задачи разработке.
Перед стартом:
- доступ к своему сайту / разрешение;
- понятный канонический хост;
- сниженная скорость на слабом сервере;
- план: что смотрим в первую очередь.
Настройки Spider: Basic, Limits, Advanced
Configuration → Spider: исключите ненужные типы ресурсов, если аудируете HTML (старый Flash/SWF точно не нужен). Limits: ограничение глубины (Search Depth) спасает на огромных каталогах — сначала ключевые ветки.
Include/Exclude — обход только `/blog/` или исключение `/cart/`, фильтров с бесконечными URL. Preferences: пороги длины title, H1, description, URL, alt — под ваши ТЗ, не как «закон Google».
Практичный минимум настроек:
- разумная скорость / число потоков;
- глубина или сегмент Include;
- учёт/игнор robots по задаче;
- пороги длины мета для фильтров;
- проверка No Response после прогона.
Коды ответа, мета и дубли
Response Codes: соберите 4xx/5xx, цепочки редиректов, Unexpected. Много No Response — снизьте скорость и перезапустите. Internal → HTML: смотрите title, meta description, H1/H2, дубли и пропуски.
Дубли URL — фильтр Duplicate. Пустые страницы — низкий Word Count при 200 OK. Не закрывайте всё в robots «чтобы скрыть»: лучше 301/удаление/нормальный канон. Длина title/description — ориентир сниппета, не магия позиций.
Первый проход отчёта:
- 4xx / 5xx внутри сайта;
- пропуски title / H1;
- дубли title и description;
- дубли URL;
- тонкий/нулевой контент.
Картинки, вес страниц, перелинковка
Images: тяжёлые файлы и Missing Alt. Сжимайте и задавайте осмысленный alt — см. канон про alt. Size / Response Time во Internal помогают найти «кирпичи», но абсолютные пороги вроде «строго 200 КБ HTML / 6 секунд» устарели: смотрите Core Web Vitals и реальные устройства.
Inlinks / Outlinks: важные URL должны быть достижимы с главной за разумное число кликов и не быть «островками». Исходящий спам и битые внешние — вкладка External по статус-кодам.
Что вынести в задачи:
- картинки > разумного веса;
- пустые alt на информационных img;
- страницы с аномальным TTFB/размером;
- сироты без внутренних ссылок;
- битые external.
URL: дефисы, длина, динамика
Вкладка URL: Non-ASCII, underscores, dynamic (`?`, `&`), слишком длинные адреса, дубли. Дефисы предпочтительнее `_` в ЧПУ; кириллица в URL возможна, но команде проще латиница — решайте стандартом проекта.
Любое изменение URL — с 301 на новый канон и правкой внутренних ссылок. Иначе краулер через месяц снова покажет те же 404.
Фильтры URL worth checking:
- Duplicate;
- Underscores;
- Non ASCII;
- Over N characters;
- Parameters / Dynamic.
Как встроить обход в работу
Сделайте чеклист: обход → выгрузка → приоритеты (5xx/404 → дубли → мета → вес) → тикеты → повторный краул. Screaming Frog закрывает технический слой; семантика, контент и ссылки снаружи — другие этапы.
Подготовка и правки — дни/недели. Рост видимости по ядру после устранения блокеров — от месяца к месяцу, планово 2–6 месяцев. Не обещайте «ТОП после одного прогона Frog».
Ритм:
- краул после релиза;
- плановый раз в месяц/квартал;
- архив CSV к тикетам;
- повторная проверка закрытых багов.
Частые вопросы
Хватит ли бесплатной версии?
Для небольших сайтов — часто да. На крупных каталогах упираетесь в лимит URL: тогда платная лицензия, сегментный обход Include/Exclude или выгрузка списка URL.
Нужно ли отключать JS и CSS?
Для классического HTML-аудита иногда исключают тяжёлые ассеты, чтобы ускорить обход. Если важны JS-шаблоны и клиентский рендер — учитывайте режим рендеринга в актуальной версии.
Можно ли игнорировать robots.txt?
На своём стейдже — да, если закрыты служебные разделы. На проде сначала поймите, почему URL закрыты, а не открывайте всё краулером «на удачу».
Screaming Frog заменяет SEO-аудит?
Нет. Это сбор техники. Дальше — приоритеты, контент, юзабилити, семантика. См. статью про технический SEO-аудит.
Какая скорость краула безопасна?
Такая, чтобы сервер не сыпал 5xx и No Response. На слабом хостинге снижайте threads/скорость. Свои визиты в аналитике на время аудита можно фильтровать.
Что делать с дублями title?
Уникализировать шаблоны или склеить дубли 301/canonical. Массовые одинаковые title — сигнал тонких/шаблонных страниц.
Битые внешние ссылки критичны?
Внешние 404 портят UX и доверие. Чините или убирайте. Внутренние битые — в приоритете выше.
Аудит = ТОП за неделю?
Нет. Обход и правки — подготовка. Позиции по ядру нарастают от месяца к месяцу; планово 2–6 месяцев после старта работ.
Нужен технический обход сайта?
Прогоним Screaming Frog: статусы, мета, дубли и битые URL — с приоритетами правок.
Обсудить задачу
