LLMs.txt для сайта, ver. 1.0.0

Генерация и управление llms.txt: пресеты, импорт ссылок и фильтрация.

Модуль «LLMs.txt для сайта» помогает подготовить сайт на 1С-Битрикс к корректному представлению в AI-сервисах и LLM-системах через файлы «llms.txt» и «llms-full.txt».

Решение добавляет в административную панель раздел для настройки, предпросмотра, генерации и ручного редактирования файлов. Администратор может быстро собрать компактный «llms.txt» с ключевыми ссылками и инструкциями, а также расширенный «llms-full.txt» с выбранными статическими страницами и данными инфоблоков.

Основные возможности

- Генерация «llms.txt» и «llms-full.txt» для каждого сайта отдельно.
- Отдельные профили настроек для «llms.txt» и «llms-full.txt».
- Публикация файлов в корне сайта или в директории конкретного сайта.
- Предпросмотр итогового содержимого перед публикацией.
- Ручной список ссылок с описаниями в формате спецификации «llms.txt».
- Импорт стартовых ссылок с сайта.
- Стартовые пресеты для типовых сайтов: магазин, услуги, корпоративный сайт.
- Выбор статических страниц и файлов сайта как источников контента.
- Подключение инфоблоков как источников разделов и элементов.
- Выбор источника описания для элементов инфоблоков: автоматически, анонс, детальное описание или без описания.
- Фильтрация ссылок через include/exclude-правила и чёрный список.
- Исключение ссылок с нежелательными query-параметрами.
- Удаление tracking-параметров: «utm_*», «gclid», «yclid», «fbclid» и других.
- Дедупликация ссылок по canonical URL.
- Проверка качества ссылок: HTTP-статус, canonical, noindex.
- Mapping rules для распределения ссылок по смысловым секциям.
- Лимиты количества ссылок, разделов, элементов и размера итогового файла.
- Автоматическая регенерация по расписанию через агент 1С-Битрикс.
- Автообновление файлов при изменении подключённых элементов и разделов инфоблоков.
- Встроенный редактор уже опубликованных файлов «llms.txt» и «llms-full.txt».

Что такое llms.txt

«llms.txt» - это текстовый файл в формате Markdown, который помогает языковым моделям и AI-агентам быстрее понять структуру сайта, назначение ключевых страниц и правила использования контента.

Файл может содержать:

- Название и описание сайта;
- Инструкции для AI-сервисов;
- Контакты;
- Секции с ключевыми ссылками;
- Описания страниц;
- Дополнительные Markdown-разделы.

Чем отличается llms-full.txt

«llms-full.txt» - расширенная версия файла, в которую можно включать больше контента: выбранные статические страницы, разделы и элементы инфоблоков, описания и дополнительные материалы. Такой файл полезен, когда нужно предоставить языковым моделям не только карту ключевых ссылок, но и более подробное содержимое сайта.

Сценарии использования

- Быстро создать базовый «llms.txt» для сайта.
- Подготовить расширенный «llms-full.txt» с контентом страниц и инфоблоков.
- Управлять тем, какие ссылки попадут в файл, а какие нужно исключить.
- Разделить ссылки по понятным секциям: услуги, каталог, база знаний, контакты, юридические страницы.
- Автоматически обновлять файл при изменении контента сайта.
- Проверять ссылки перед публикацией.
- Редактировать опубликованный файл вручную, если нужна точечная правка.

Преимущества

- Не требует ручного создания и поддержки файлов «llms.txt».
- Работает с мультисайтовостью 1С-Битрикс.
- Использует штатные механизмы платформы: настройки модуля, агенты, события инфоблоков.
- Позволяет быстро стартовать с пресетов и затем доработать правила под конкретный сайт.
- Даёт контроль над источниками, фильтрацией и итоговой структурой файла.

Интерфейсы в админке

Раздел «Сервисы → LLMs.txt для сайта».

Раздел «Настройки → Настройки продукта → Настройки модулей → LLMs.txt для сайта».