Разработка сайтов · Node.js · Парсинг · МойСклад · 1С/Bitrix · Автоматизация
Датагон — парсер цен и сопоставление
Внутренний веб-сервис Датагон: парсинг цен конкурентов, синхронизация каталога из Bitrix/Webasyst, умное сопоставление SKU и выгрузка в МойСклад. Live — p.datagon.ru.
О клиенте
Датагон (p.datagon.ru) — панель для команд e-commerce: кто из конкурентов по каким SKU и по какой цене, что в наличии у нас и у них, какие пары уже сопоставлены, что готово к МойСклад. Стек — Node.js + Express, MySQL, Cheerio; UI на ArchitectUI. Рядом в экосистеме — SEO-платформа Титло (titlo.ru), это другой продукт.
С какой болью пришли
Цены конкурентов собирали вручную или скриптами без панели: нет очереди, нет истории, нет связки «наш каталог ↔ чужая карточка ↔ МойСклад». Ошибки всплывали уже в учёте.
-
Цены конкурентов вручную
Без очереди и селекторов каждый сайт — отдельный скрипт. Повторы и сбои не видны в одном месте.
-
Каталог разъезжается с учётом
Товары в Bitrix/Webasyst и позиции в МойСклад живут отдельно — нужна синхронизация и явные сопоставления.
-
Матчинг SKU
Автопоиск по артикулу и похожести названия даёт кандидатов; без подтверждения/отклонения в UI в учёт уходит мусор.
Как мы провели
Сделали панель и API вокруг парсинга и учёта: очередь → результаты → свои товары → сопоставление → МойСклад, плюс дашборд здоровья и фоновые воркеры.
- 01
Проекты конкурентов: сайты, CSS-селекторы, очередь URL с пакетной обработкой
- 02
Парсинг цен и наличия (Axios + Cheerio), результаты и повторный запуск
- 03
«Мои сайты»: подключение к БД Bitrix/Webasyst, синхронизация my_products
- 04
Умное сопоставление: SKU + похожесть названия, подтверждение в UI
- 05
Экспорт в МойСклад (API), заказы/продажи, закупки
- 06
Дашборд очередей, воркеры, Docusaurus-справка, cookie/legal
Простыми словами
Сложные штуки из брифа — без жаргона. Так мы объясняли клиенту, зачем каждый шаг.
Очередь URL
Страницы конкурентов ставятся в ряд и обрабатываются пакетами — видно, сколько готово и где ошибки.
Сопоставление
Система предлагает пару «наш товар ↔ карточка конкурента»; менеджер подтверждает или отклоняет.
Мои сайты из БД
Каталог подтягивается из Bitrix или Webasyst напрямую — не копипастой из Excel.
Выгрузка в МойСклад
Подтверждённые данные уходят в учёт через API, а не ручным импортом.
Что сделали по шагам
Каждый шаг — конкретное изменение. Слева смысл, справа экран.
Дашборд
Сводка очереди, глобальная синхронизация, статус МойСклад и сопоставления, нагрузка CPU/RAM, быстрые действия.
Сопоставление товаров
Параметры запуска, режим по SKU/названию, выбор конкурентов, пакеты и паузы, продолжение с места остановки.
Вход в панель
p.datagon.ru — авторизация в сервис. Документация и legal-страницы для гостей.
Ещё кадры с проекта
Не галерея ради галереи — пара экранов, которые закрывают картину.
К чему пришли
Рабочая панель парсинга и матчинга на Node.js: очереди десятков тысяч URL, связь с Bitrix/Webasyst и МойСклад. Сайт: p.datagon.ru. SEO-инструменты той же экосистемы — кейс titlo.
Что получили
- Парсер цен конкурентов · очередь 60k+ URL
- Сопоставление SKU/названий · подтверждение в UI
- Синхронизация каталога из Bitrix / Webasyst
- Выгрузка и учёт в МойСклад
- Node.js + Express + MySQL · ArchitectUI
- Live p.datagon.ru
В цифрах
Нужен парсер цен или связка каталог ↔ МойСклад?
Соберём очередь, матчинг и выгрузку — как для Датагон.
Другие проекты
Похожие кейсы и соседние направления
15 000+ товаров в каталоге
VILMED (ВИЛМЕД)
Доработка интернет-магазина VILMED
Ведём крупный ИМ медтехники на 1С-Битрикс: плавающая шапка и умный поиск, UX каталога и карточки, SEO-фильтры, 1С, композит/Brotli и вычистка шеллов. Live — vilmed.ru.
Смотреть кейс →
55 000+ товаров в каталоге
КосмаМед (ранее МедМаркет)
Интернет-магазин КосмаМед
Ведём крупный ИМ медтехники на 1С-Битрикс: ребрендинг МедМаркет→КосмаМед, миграция домена с 301, скорость (без RAND, композит, WebP), МойСклад/1С/СДЭК. Live — kosmamed.ru.
Смотреть кейс →
~1 900 товаров в каталоге
Офтальмаг
Интернет-магазин Офтальмаг
Ведём ИМ офтальмооборудования на 1С-Битрикс (enext): каталог Heine/KaWe/Riester, «запросить цену», выбор города, личный кабинет ЧПУ. Live — oftalmag.ru.
Смотреть кейс →