Импорт и экспорт товаров в Excel и CSV, ver. 1.0.0

Импорт и экспорт товаров в Excel и CSV — модуль для «1С-Битрикс: Управление сайтом», который загружает данные из файлов Excel и CSV в инфоблоки и торговый каталог и выгружает их обратно в Excel и CSV. Настройка выполняется в административном разделе, без программирования. Выгрузка модуля пригодна для обратной загрузки: выгрузили, поправили в Excel, загрузили.

Какие задачи решает модуль
— загрузка прайс-листов и каталогов поставщиков в инфоблоки и торговый каталог;
— массовое обновление цен, остатков и свойств: выгрузить, исправить в Excel, загрузить обратно;
— регулярные загрузки и выгрузки по расписанию: из файла на сервере, по ссылке или из подключённого хранилища; на почту, в хранилище или в Google Таблицы;
— выгрузка каталога для партнёров, бухгалтерии и площадок в виде оформленной таблицы Excel;
— проверка файла до записи на сайт и откат загруженного.

Файлы и источники
— форматы XLSX, XLS (Excel 97–2003) и CSV (UTF-8 и Windows-1251, любые разделители); формат определяется по содержимому файла, а не по расширению;
— до 10 листов одного файла за один запуск, у каждого листа свой инфоблок и своё сопоставление колонок;
— источник файла: загрузка через форму, папка на сервере сайта, ссылка (в том числе с Basic-авторизацией, публичные ссылки Яндекс.Диска, Google Диска и Google Таблиц), подключённое хранилище (FTP, FTPS, SFTP, Яндекс.Диск, S3-совместимые); для хранилища можно указать имя файла или маску, тогда берётся самый новый файл.

Сопоставление колонок
— файл показывается в виде таблицы, над каждой колонкой выбирается поле инфоблока; колонки подбираются автоматически по заголовкам;
— предпросмотр результата по каждой ячейке и счётчик ошибок до запуска;
— выбор строк галочками или списком вида «5, 8-12, 40-»;
— шаблоны настроек колонки: сохранить под названием и применять к любой колонке любого файла.

Что можно загружать
— поля элементов и разделов; все основные типы свойств (строка, число, список, HTML, дата, справочник, привязка к элементам и разделам, файл), одиночные и множественные;
— разделы по пути «Раздел / Подраздел» с созданием недостающих; символьный код разделов и элементов, если инфоблок требует его обязательно, создаётся автоматически;
— недостающие значения списков и справочников (например, новый бренд из файла) добавляются при загрузке сами — это включается галочкой в мастере; каждое созданное значение записывается в журнал; при проверке без записи ничего не создаётся;
— картинки и файлы по ссылке или из папки сайта;
— при установленном модуле «Торговый каталог»: количество, цены всех типов с валютой, остатки по складам, единицы измерения, штрихкоды, вес, габариты, НДС;
— торговые предложения: отдельным файлом или вместе с товарами в одном файле.

Поиск существующих элементов
— по ID, внешнему коду, символьному коду, названию, свойству; составной ключ из трёх полей; при неоднозначном совпадении элемент не изменяется, а строка попадает в журнал.

Правила и преобразования
— до пяти преобразований на колонку: замена, регистр, префикс и суффикс, шаблон из нескольких колонок, часть строки, таблица замен, удаление HTML, округление, наценка, разбор даты;
— условия «если … то»: подставить значение, очистить, не загружать поле, пропустить строку;
— отдельные правила для пустых значений у новых и у существующих элементов;
— наценка по диапазонам цен, округление до шага или до «…99», пересчёт валюты по курсу.

Управление публикацией
— новые элементы можно создавать неактивными; найденные — активировать; активность по остатку и по наличию цены;
— действие с элементами, которых нет в файле: деактивировать, обнулить остатки или удалить, с защитой от обрезанного файла;
— пропуск строк, которые не изменились с прошлой загрузки.

Безопасность данных
— тестовый запуск без записи на сайт: проверяются привязки, справочники, единицы измерения, валюты, родитель торгового предложения;
— откат импорта: созданные элементы удаляются, у обновлённых возвращаются прежние значения;
— журнал по каждой строке с подсказками и отчёт в CSV.

Выгрузка
— форматы XLSX и CSV (UTF-8 или Windows-1251, защита от формульной инъекции), по желанию в ZIP;
— до 10 листов в одном файле, у каждого свой инфоблок, колонки, отбор и порядок;
— поля элементов, свойства, цены, остатки, разделы; список полей с поиском;
— отбор: группы условий (внутри группы «И», между группами «ИЛИ»), 12 видов сравнения, сортировка по трём полям;
— разделы строками-заголовками по дереву с группировкой строк Excel;
— торговые предложения: строками под товаром или отдельной строкой на каждое предложение;
— оформление XLSX: шапка над таблицей, стили заголовков и разделов, границы, ширина по содержимому, форматы чисел, перенос текста, закрепление строк и первой колонки, автофильтр, цвет ярлыка;
— доставка готового файла: скачивание, папка сайта, подключённое хранилище (FTP, FTPS, SFTP, Яндекс.Диск, Google Диск, S3-совместимые), электронная почта с вложением, Google Таблицы; имя файла с датой.

Автоматизация
— профили: сохранение настроек, запуск одной кнопкой, копирование, перенос в файл JSON (без паролей);
— запуск по расписанию через cron или агенты Битрикс;
— уведомления по электронной почте и в Telegram: запуск, успех, ошибка, «файл давно не обновлялся»; файл выгрузки можно приложить к письму;
— история операций, журнал по строкам, отчёт в CSV.
Права
— отдельные права модуля и проверка прав на инфоблок: пользователь работает только с теми инфоблоками, к которым у него есть доступ.

Требования и ограничения (прочитайте до установки)
— Нужны «1С-Битрикс: Управление сайтом» с модулями «Информационные блоки» (обязательно) и «Торговый каталог» (для товаров, цен и остатков).
— PHP 8.2 или новее с расширениями zip, xmlreader, xmlwriter и mbstring; для подключений к хранилищам и загрузки по ссылке нужно расширение curl, для шифрования паролей подключений — openssl.
— XLS читается только как значения; формулы читаются как последнее сохранённое в файле значение; стили и картинки внутри ячеек не загружаются (картинки загружаются по ссылке или из папки сайта). Файлы Excel с макросами (XLSM) и файлы, защищённые паролем, не поддерживаются.
— Максимальный размер файла по умолчанию — 50 МБ. Значение можно изменить в настройках модуля. При загрузке через форму фактический лимит также зависит от настроек PHP и веб-сервера.
— Операция выполняется частями по несколько секунд и не упирается в max_execution_time. Скорость зависит от хостинга и от самих инфоблоков Битрикс. На тестовом хостинге создание 100 000 элементов с 26 полями заняло около 70 минут, повторная загрузка того же файла без изменений — около 33 минут.
— Откат возвращает созданное и прежние значения обновлённых элементов, но не возвращает файлы и картинки, не удаляет созданные при импорте значения списков и справочников и не восстанавливает элементы, удалённые импортом. Сохранение данных для отката можно отключить.
— Выгрузка пока не охватывает highload-блоки, разделы как отдельную сущность и формат PDF.
— На тестовом хостинге выгрузка 100 000 строк по 25 колонок в XLSX заняла около одной минуты.
— Файлы, которые модуль кладёт в папку сайта, доступны по прямой ссылке без авторизации; выбирайте папку и состав выгрузки с учётом этого.
— Загрузка в Google Таблицы и Google Диск требует вашего приложения Google и подключения доступа в разделе «Подключения».
— При ручном запуске операция выполняется, пока открыта страница мастера. Большие файлы удобнее обрабатывать профилем по расписанию через cron: он работает на сервере без открытой страницы.
— Закодированных (обфусцированных) частей кода нет; сторонних библиотек нет. Дополнительные партнёрские модули не нужны. Встроенных покупок нет.
— Яндекс.Диск, Google Диск и Таблицы, S3-совместимые хранилища, FTP- и SFTP-серверы, Telegram — это ваши аккаунты и серверы; их тарифы и условия определяют владельцы сервисов. Модуль не передаёт данные никому, кроме сервисов, которые вы сами подключили.
— Нужно знать структуру своих инфоблоков; специальных навыков программирования не требуется.