Bussol: Парсер и импорт данных PRO: сайты, REST API, Excel, JSON, XML, товары, цены и остатки, ver. 1.0.1

Bussol: Парсер и импорт данных PRO: сайты, REST API, Excel, JSON, XML, товары, цены и остатки

Универсальный модуль импорта, парсинга и синхронизации данных для 1С-Битрикс.

Модуль позволяет получать данные с сайтов, из REST API, файлов поставщиков и внешних систем, преобразовывать их по заданным правилам и автоматически загружать в инфоблоки, торговый каталог и Highload-блоки 1С-Битрикс.

Подходит для интернет-магазинов, контентных проектов, каталогов, интеграций с поставщиками, агентств и разработчиков, которым нужен единый инструмент вместо набора отдельных скриптов для HTML-парсинга, импорта Excel/XML/CSV и синхронизации API.

Что можно автоматизировать

• наполнение сайта товарами, новостями, статьями и другим контентом;
  
• регулярное обновление цен и остатков;
  
• импорт товаров и торговых предложений SKU;
  
• синхронизацию нескольких типов цен и валют;
  
• загрузку изображений, файлов и характеристик;
  
• создание и обновление разделов и свойств инфоблоков;
  
• импорт данных в Highload-блоки;
  
• получение данных из REST API с авторизацией;
  
• обработку больших прайс-листов и каталогов по расписанию;
  
• контроль исчезнувших товаров и автоматическую деактивацию;
  
• массовый обход страниц сайтов и пагинации;
  
• парсинг сайтов, контент которых формируется JavaScript.
  

Поддерживаемые источники Источник Возможности

HTML-сайты	CSS-селекторы, XPath, обход ссылок, пагинация, изображения, Headless/JavaScript-парсинг
REST API / JSON	GET/POST/PUT/PATCH/DELETE, headers, Bearer, Basic Auth, OAuth2, mapping вложенных данных
XML / YML	XPath, потоковая обработка больших файлов, товары и предложения
CSV	Работа по заголовкам колонок, большие файлы, потоковый импорт
XLSX / ODS	Импорт таблиц, выбор листа, mapping колонок
FTP / SFTP	Получение файлов поставщиков напрямую с удалённых серверов

Visual Selector PRO

Для HTML-источников предусмотрен отдельный инструмент Visual Selector PRO. Он помогает настроить парсер без ручного поиска селекторов в DevTools.

• визуальный выбор элементов страницы;
  
• автоматическое построение CSS-селектора;
  
• формирование XPath;
  
• несколько вариантов устойчивых селекторов;
  
• подсчёт количества совпадений;
  
• автоматическое обнаружение повторяющихся карточек товаров и элементов списков;
  
• работа с DOM после JavaScript-рендеринга в Headless-режиме.
  

Headless / JavaScript-парсинг

Если сайт построен на React, Vue, SPA или загружает данные после открытия страницы, можно использовать Headless-режим.

Модуль поддерживает локальный Playwright/Chromium или внешний headless-renderer. Обычные HTML-профили при этом продолжают работать без Node.js.

Гибкий Mapping

Каждый профиль содержит правила соответствия между данными источника и полями 1С-Битрикс.

Можно передавать данные в:

• NAME, CODE, PREVIEW_TEXT, DETAIL_TEXT;
  
• PREVIEW_PICTURE и DETAIL_PICTURE;
  
• любые свойства инфоблока;
  
• множественные и файловые свойства;
  
• цены и валюты;
  
• остатки и склады;
  
• параметры торгового каталога;
  
• SKU и характеристики торговых предложений;
  
• UF-поля Highload-блоков.
  

Преобразование данных

Перед сохранением значения можно обработать цепочкой преобразований. Это позволяет адаптировать данные поставщика к структуре вашего сайта без отдельного PHP-скрипта.

• trim;
  
• замена текста;
  
• регулярные выражения;
  
• извлечение чисел;
  
• округление;
  
• умножение и деление;
  
• префиксы и суффиксы;
  
• преобразование дат;
  
• ограничение длины;
  
• работа с HTML и текстом.
  

Пример:

Цена поставщика: "12 990 руб."
       ↓
number
       ↓
multiply 1.15
       ↓
round
       ↓
14 939
Товары, SKU, цены и остатки

Модуль рассчитан не только на контентные инфоблоки, но и на полноценную работу с торговым каталогом.

• создание и обновление товаров;
  
• создание торговых предложений SKU;
  
• автоматическая связь SKU с родительским товаром;
  
• несколько типов цен;
  
• отдельная валюта для каждого типа цены;
  
• конвертация валют;
  
• общий остаток;
  
• остатки по складам;
  
• вес и габариты;
  
• НДС и единицы измерения;
  
• загрузка изображений и файлов.
  

Автоматическое создание структуры

• создание разделов по данным источника;
  
• поддержка вложенного дерева разделов;
  
• создание недостающих свойств;
  
• создание значений списочных свойств;
  
• автоматическое создание простых UF-полей Highload-блоков.
  

Dry-run и Diff перед импортом

Перед реальной синхронизацией можно выполнить Dry-run. Модуль анализирует источник, но не изменяет данные на сайте.

В результате видно:

• какие элементы будут созданы;
  
• какие элементы будут обновлены;
  
• какие данные не изменились;
  
• старое и новое значение полей;
  
• изменения цен и валют.
  

Это особенно удобно перед первым запуском нового поставщика или после изменения правил mapping.

Исчезнувшие товары

После полного успешного импорта модуль может определить позиции, которые ранее присутствовали в источнике, но больше в нём не находятся.

Доступны режимы:

• ничего не делать;
  
• деактивировать товар;
  
• обнулить остаток;
  
• деактивировать и обнулить остаток.
  

Защитная логика не выполняет массовую деактивацию при ошибке источника, неполном обходе или достижении лимитов импорта.

Автоматизация и расписание

• ручной запуск профиля;
  
• Bitrix Agents;
  
• cron;
  
• индивидуальный интервал запуска;
  
• пакетная обработка;
  
• ограничение количества страниц и элементов;
  
• повтор ошибочных задач;
  
• уведомления о результатах.
  

Многопроцессные Workers

Для больших каталогов предусмотрена параллельная обработка очереди несколькими worker-процессами.

• настраиваемое количество workers;
  
• атомарный захват задания;
  
• lease-блокировки;
  
• heartbeat активного worker;
  
• защита от двойной обработки одной задачи;
  
• автоматический возврат зависших задач в очередь.
  

Пример запуска:

php /local/modules/bussol.contentparser/tools/cron.php --workers=4
Автоматическое восстановление после сбоев

Watchdog контролирует состояние очереди и workers. Если PHP-процесс, cron или сервер завершили работу аварийно, модуль способен вернуть зависшие задачи в очередь и продолжить обработку.

Также обрабатываются «осиротевшие» запуски, когда все задания уже выполнены, но процесс не успел корректно завершить Run.

Авторизация и сетевые настройки

• Basic Auth;
  
• Bearer Token;
  
• OAuth2 Client Credentials;
  
• произвольные HTTP headers;
  
• cookies;
  
• HTTP/HTTPS proxy;
  
• proxy authentication;
  
• FTP;
  
• SFTP с проверкой fingerprint;
  
• настраиваемые таймауты.
  

Streaming больших файлов

Для крупных CSV, XML, YML, XLSX и ODS модуль использует потоковую обработку, чтобы не загружать весь файл целиком в оперативную память.

Это позволяет использовать модуль для крупных каталогов и прайс-листов, где обычный импорт одним PHP-процессом может упираться в memory_limit.

Highload-блоки

Highload-блок можно выбрать как самостоятельную цель профиля. Mapping записывает данные непосредственно в UF-поля.

• создание новых записей;
  
• обновление существующих;
  
• настраиваемое поле идентификации;
  
• автоматическое создание простых UF-полей.
  

Профили импорта

Для каждого источника создаётся независимый профиль со своими настройками: источник, mapping, инфоблок или Highload-блок, раздел, расписание, авторизация, proxy, transformations и правила обновления.

Профили можно экспортировать и импортировать в JSON. Чувствительные данные при экспорте по умолчанию удаляются.

Журнал, Dashboard и диагностика

Администратор получает единый интерфейс контроля:

• Dashboard состояния импорта;
  
• последние запуски;
  
• количество созданных и обновлённых элементов;
  
• очередь задач;
  
• ошибки по конкретным URL и записям;
  
• статусы workers;
  
• проверка PHP-расширений;
  
• проверка модулей iblock, catalog, highloadblock, currency;
  
• проверка агента и очереди;
  
• диагностика Headless, FTP/SFTP и других зависимостей.
  

Уведомления

После завершения синхронизации модуль может отправлять уведомления:

• по Email;
  
• через административные уведомления 1С-Битрикс;
  
• на внешний Webhook.
  

Можно уведомлять только об ошибках, только об успешных запусках или о каждом завершении профиля.

Безопасность

Модуль разработан с учётом сценариев работы с внешними источниками и прошёл отдельный security-аудит.

• защита от SSRF и обращений к приватным/служебным сетям;
  
• CSRF-проверки административных действий;
  
• проверка административных прав;
  
• защита чувствительных данных профилей;
  
• защита HTTP headers и cookies от injection;
  
• проверка SFTP fingerprint;
  
• фильтрация опасного HTML;
  
• ограничение типов загружаемых файлов;
  
• защита от передачи Authorization/Cookie на сторонние origin;
  
• безопасная работа с XML и внешними файлами.
  

Кому подходит модуль

• Интернет-магазинам — товары, SKU, цены, остатки, склады и автоматическая синхронизация.
  
• Поставщикам и дистрибьюторам — REST API, Excel, XML/YML, CSV, FTP/SFTP.
  
• Контентным проектам — автоматическая загрузка новостей, статей и каталогов.
  
• Интеграторам 1С-Битрикс — единый инструмент для разных источников вместо индивидуальных импорт-скриптов.
  
• Digital-агентствам — профили можно переносить между проектами и использовать как основу типовых интеграций.
  

Основные преимущества

• Один модуль вместо нескольких инструментов. Сайты, API, Excel и файлы поставщиков работают через единый интерфейс.
  
• Настройка без переписывания интеграции. Mapping и transformations задаются в профиле.
  
• Поддержка реального e-commerce. SKU, несколько цен, валюты, склады и исчезнувшие товары.
  
• Работа с современными сайтами. Headless/JavaScript и Visual Selector PRO.
  
• Масштабирование. Очередь, streaming и многопроцессные workers.
  
• Контроль перед запуском. Dry-run и diff позволяют заранее увидеть изменения.
  
• Надёжность. Retry, lease, heartbeat, watchdog и восстановление зависших задач.
  
• Контроль администратора. Dashboard, журнал, диагностика и уведомления.
  

Пример сценария
REST API поставщика
       ↓
OAuth2
       ↓
JSON
       ↓
Mapping + Transformations
       ↓
Dry-run / Diff
       ↓
Товары + SKU
       ↓
Розничная и оптовая цены
       ↓
Остатки по складам
       ↓
Очередь Workers
       ↓
Автоматическая синхронизация 1С-Битрикс
Требования

Базовые возможности работают в стандартной среде 1С-Битрикс. Некоторые дополнительные функции требуют соответствующих серверных компонентов:

• DOM/XMLReader/ZIP — для XML, XLSX и ODS;
  
• модуль «Торговый каталог» — для товаров, цен и SKU;
  
• Highload-блоки — для HL-назначения;
  
• модуль «Валюты» — для конвертации валют;
  
• Node.js + Playwright/Chromium или внешний renderer — для локального Headless/JavaScript-парсинга;
  
• PHP FTP — для FTP;
  
• PHP SSH2 — для SFTP.
  

Итог

Bussol: Парсер и импорт данных PRO — это универсальная платформа для автоматизации получения, преобразования и синхронизации внешних данных с 1С-Битрикс.

От простого импорта статьи с сайта до регулярной синхронизации большого товарного каталога через OAuth2 REST API, Excel, XML/YML или SFTP — всё настраивается через единые профили, mapping, очередь и расписание.

Настройте источник один раз — дальше модуль будет поддерживать данные сайта в актуальном состоянии автоматически.