Защита от парсинга (Парсеров и ботов), ver. 1.0.1

Комплексная защита сайта от парсинга, ботов и автоматического сбора данных: ограничение запросов, обнаружение и блокировка ботов, JS-проверка, гео- и IP-блокировка, защита контента и API, уведомления и наглядный мониторинг. Работает «из коробки», тонко настраивается по каждому сайту.

«Защита от парсинга» - это единый модуль для борьбы со скрейпингом, агрессивными ботами и автоматическим съёмом контента и цен с вашего сайта на 1С-Битрикс.

Парсеры воруют контент, нагружают сервер и сливают вашу базу товаров и цен конкурентам. Модуль выстраивает многоуровневую защиту на стороне PHP и объединяет в одном месте всё, что обычно приходится собирать из разрозненных решений: ограничение частоты запросов, поведенческий анализ, проверку браузера, гео- и IP-фильтрацию, защиту контента и API, интеграцию с Cloudflare и систему уведомлений.

Модуль рассчитан на боевое использование: безопасные значения по умолчанию, мягкие режимы для обкатки без риска заблокировать живых посетителей, корректная работа в кластере и за балансировщиком, минимальное влияние на кэширование и индексацию поисковиками.

Основные возможности

Ограничение запросов (Rate Limiting)

- Лимит запросов по IP за период, хранилище счётчиков - Redis / Memcache / файлы (атомарный подсчёт, корректно в кластере).
- При превышении порога - CAPTCHA: стандартная Bitrix, Google reCAPTCHA v3 или Yandex SmartCaptcha.

Обнаружение и блокировка ботов

- 40+ паттернов вредоносных User-Agent, обнаружение headless-браузеров.
- Threat-scoring 0-100: блокировка по совокупности признаков, а не по одному слабому индикатору (меньше ложных срабатываний).
- Проверка «хороших» ботов через forward-confirmed reverse DNS (Google, Bing, Yandex, Apple, Baidu, DuckDuckGo, Facebook) - подделку Googlebot не пропустит.
- Мягкий режим (только лог) для безопасной обкатки.
- Настраиваемые белые/чёрные списки User-Agent.

JS-проверка браузера и поведенческий анализ

- Фрикционная JS-проверка отсекает примитивных парсеров и автоматизированные браузеры, проверенные поисковики и API не затрагиваются.
- Поведенческий сигнал: реальное взаимодействие пользователя подтверждается подписанной cookie, снижая ложные срабатывания.
- Анализ «холодных» прямых заходов (режимы: выкл / мониторинг / блокировка).

IP-блокировка

- Белый и чёрный списки: отдельные IP, подсети CIDR, маски, IPv6.
- Автоматическая блокировка IP после N нарушений в час (кластер-консистентно).

Гео-блокировка

- Блокировка по странам (чёрный/белый список).
- Определение страны по цепочке источников: заголовок Cloudflare → заголовки веб-сервера (nginx/apache GeoIP и GeoIP2) → штатный GeoIP 1С-Битрикс (SypexGeo, MaxMind и др.) → «Bitrix\Sale\Location\GeoIp» → PHP-расширение geoip → база MaxMind. Достаточно любого одного источника.

Защита контента

- 3 уровня защиты, блокировка копирования и контекстного меню, отключаемая плашка «Копирование запрещено».
- Honeypot-ловушки для форм, обфускация e-mail и телефонов.

Защита API

- Ограничение частоты, проверка токена («X-API-Token»), политика CORS, защита по путям.

Интеграция с WAF

- Синхронизация правил блокировки IP с Cloudflare.

Уведомления

- E-mail, Telegram, Webhook - с порогами, защитой от спама (cooldown) и повторными попытками.

Мониторинг и логи

- Дашборд с графиками по часам/дням, топ стран, IP и событий, фильтрами.
- Экспорт в CSV и Fail2Ban, логирование в файлы и/или БД, статистика «люди и боты».

Многосайтовость

- Настройки поведения задаются отдельно для каждого сайта с откатом на глобальные значения. Инфраструктура (ключи капчи, IP-списки, Redis/WAF/уведомления) - общая.

Преимущества

- Всё в одном модуле - не нужно собирать защиту из нескольких решений.
- Безопасные значения по умолчанию и мягкие режимы - можно внедрять без риска заблокировать живых клиентов.
- Не мешает SEO - проверенные поисковики проходят все проверки, индексация не страдает.
- Готов к нагрузке и кластеру - общие счётчики в Redis/Memcache, защита от спуфинга «X-Forwarded-For», «ленивые» сессии не ломают композитный кэш.
- Работает с тем, что уже настроено - подхватывает штатный GeoIP Битрикса, Cloudflare, существующую инфраструктуру.

Интерфейсы в админке

Раздел «Сервисы → Защита от парсинга».

Раздел «Настройки → Настройки продукта → Настройки модулей → Защита от парсинга».

Неправильная настройка может привести к потере доступа к сайту

Модуль предназначен для блокировки нежелательного трафика. Слишком агрессивные или ошибочные настройки могут заблокировать реальных посетителей, а в отдельных случаях - затруднить доступ к самому сайту. Примеры рискованных конфигураций:

- Слишком низкий лимит запросов (rate limit) - блокирует обычных пользователей и легитимные интеграции;
- Гео-блокировка в режиме «белый список» с не теми странами или с включённой блокировкой при неопределённой стране - может закрыть сайт для всех посетителей;
- Добавление в чёрный список IP/подсетей, через которые ходят ваши клиенты, CDN, платёжные шлюзы или интеграции;
- Включение жёстких режимов (блокировка ботов, блокировка прямых заходов) без предварительной обкатки;
- Ошибки в списке «доверенных прокси» за балансировщиком, из-за чего весь трафик считается идущим с одного IP.

Важно: по умолчанию запросы из CLI/cron и от авторизованных администраторов не проверяются - это снижает риск полной блокировки доступа к административной панели. Тем не менее публичная часть сайта при ошибочных правилах может стать недоступной для посетителей, а неверная серверная конфигурация (прокси, кэш, права доступа) - усугубить последствия.

Обязательно делайте резервные копии

Перед установкой модуля, а также перед любыми изменениями его настроек обязательно создавайте резервную копию сайта и базы данных.

Резервная копия должна позволять полностью восстановить:

- Файлы сайта (включая каталог модуля и настройки);
- Базу данных (таблицы настроек «b_option», журналы модуля и т.д.).

Убедитесь, что у вас есть проверенный способ восстановления и доступ к серверу/хостингу в обход сайта (SSH, файловый менеджер хостинга, панель управления) - на случай, если потребуется быстро отключить модуль или откатить изменения.

Рекомендации по безопасному внедрению

1. Сделайте резервную копию.
2. Включайте механизмы постепенно, начиная с мягких режимов: блокировку ботов - в режиме «только лог», анализ прямых заходов - в режиме «мониторинг».
3. Несколько дней наблюдайте за Дашбордом: оцените, кого модуль заблокировал бы, и нет ли ложных срабатываний.
4. Только убедившись в корректности, переключайте механизмы в режим блокировки.
5. Заранее внесите в белые списки доверенные IP (офис, мониторинг, интеграции, платёжные шлюзы) и нужные подсети.
6. За балансировщиком корректно заполните «Доверенные прокси».
7. Знайте, как быстро отключить модуль: глобальный выключатель в настройках или удаление/переименование каталога модуля на сервере.

Экстренное отключение

Если сайт стал недоступен из-за настроек модуля:

- Отключите модуль глобальным переключателем в настройках (если доступ в админку есть);
- Либо на сервере переименуйте/удалите каталог модуля и при необходимости снимите регистрацию модуля / восстановите сайт из резервной копии.