Система сравнения цен с маркетплейсом автозапчастей

Price Comparison System for an Auto Parts Marketplace

Бесплатная консультация

Отвечаем в течение 15 минут

Коммерческий инструмент для оптового продавца запчастей: автоматически сверяет цены из внутреннего каталога с актуальными предложениями на крупной B2B-площадке и формирует понятные отчёты для отдела продаж и закупок.

Задача — не разовый парсинг, а устойчивый промышленный прогон большого каталога: тысячи позиций, нестабильная выдача сайта, антибот, лимиты прокси, необходимость догонять только «битые» строки без потери уже собранных данных.

Что делает система

  • Загружает каталог из JSON (артикул, производитель, название, своя цена).
  • Для каждой позиции открывает страницу поиска на маркетплейсе через Playwright (Chromium), дожидается таблицы предложений и разбирает HTML (BeautifulSoup).
  • Сопоставляет товар по артикулу и производителю, отделяет оригинал от аналога, находит минимальную цену конкурентов и сравнивает с ценой клиента (МЕНЬШЕ / РАВНО / БОЛЬШЕ).
  • Делит результат на два потока: успешное сравнение и «проблемные» кейсы (нет выдачи, нет в наличии, не удалось получить данные).
  • Работает батчами с --offset / --limit, сохраняет прогресс после каждой позиции и умеет перескан только неудачных строк в отдельном батче.
  • Собирает сводные отчёты для заказчика: Excel и HTML, краткое текстовое описание, разбивка по категориям результата.

Технические решения

Область Решение
Обход блокировок
Пул residential/datacenter-прокси, предварительная валидация «живых» адресов
Надёжность
До 5 попыток на позицию, очередь отложенных повторов, настраиваемые таймауты через ENV
Устойчивость к UI
Ожидание сетки цен, «быстрые» и «длинные» сценарии загрузки
Масштаб
~4 700 позиций в каталоге, прогоны по 500–1000 SKU, merge всех батчей с приоритетом свежих данных
Выдача
openpyxl — цветовая подсветка сравнения; HTML — тот же набор для просмотра в браузере

Стек: Python 3 · Playwright · BeautifulSoup4 · openpyxl · JSON · bat-скрипты для операторских сценариев

Бесплатная консультация

Отвечаем в течение 15 минут

Отзывы Google о Neolines и веб-разработчике и SEO-специалисте Maryan Polyak

Прокрутить вверх
Перейти к содержимому