В понедельник компания меняет порядок согласования заявок. Во вторник сотрудник спрашивает помощника, кому теперь отправлять заявку. Если ему нужен ответ по действующей инструкции со ссылкой на пункт, начните с RAG. Если задача в том, чтобы модель стабильно классифицировала заявки по вашим правилам, стоит проверить, поможет ли дообучение.
Что меняется при RAG и дообучении
RAG добавляет поиск по документам к генерации ответа. Система находит подходящие фрагменты для текущего вопроса и передаёт их модели вместе с запросом. Когда инструкция меняется, можно обновить документ и проверить, что в поиске доступна новая редакция. Саму модель для этого обновлять не требуется. Как устроен RAG в документации Microsoft.
Дообучение, или fine-tuning, адаптирует модель к задаче через дополнительное обучение на примерах. Для классификации заявок это могут быть тексты обращений с проверенными метками. Для ответов в заданном формате — пары запросов и ожидаемых ответов. Дообучение может менять и то, какие факты воспроизводит модель, но само по себе не даёт проверяемой связи ответа с действующей редакцией документа. Как устроено дообучение в документации Microsoft.
| Критерий | RAG | Дообучение |
|---|---|---|
| Что нужно подготовить | Документы, пригодные для поиска, и вопросы для проверки | Примеры нужного поведения и отдельный набор для оценки |
| Как обновлять правила | Заменить редакцию документа, обновить индекс и проверить поиск | Если правила усвоены в ходе обучения, их обновление может потребовать нового цикла обучения и проверки |
| Как проверять источник | Можно открыть найденный фрагмент, если система показывает его в ответе | Одно дообучение не добавляет поиск и ссылки на документы |
| Где управлять доступом | Ограничивать поиск документами, разрешёнными текущему пользователю | Права на исходный файл сами по себе не управляют тем, что модель усвоила при обучении |
| Из чего складываются затраты | Подготовка и обновление базы, поиск, передача фрагментов модели и проверка ответов | Разметка примеров, обучение, оценка и сопровождение версии модели |
Как выбрать подход для своей задачи
- Нужны ответы по действующим регламентам. Начните с RAG. Для вопроса о согласовании заявки проверьте сам ответ, редакцию регламента и ссылку на пункт.
- Нужно соблюдать формат ответа. Начните с явной инструкции и нескольких хороших примеров. Если модель систематически нарушает формат, сравните этот вариант с дообученной моделью на одних и тех же контрольных запросах.
- Нужно классифицировать обращения по внутренним правилам. Соберите согласованные примеры, включая пограничные случаи. Дообучение имеет смысл проверять, когда примеры отражают реальные различия между категориями.
- Нужны и актуальные сведения, и устойчивый формат. Сначала настройте поиск. Затем оцените, помогает ли дообучение использовать найденные фрагменты и соблюдать структуру ответа. Эти подходы можно сочетать. Исследование RAG и дообучения для систем знаний.
Например, помощник поддержки может искать действующие правила возврата через RAG и оформлять результат по схеме «условие, следующий шаг, источник». Если он не находит нужную редакцию, проверяйте документы и поиск. Если он получает верный фрагмент, но регулярно пропускает обязательные поля, проверьте инструкцию и примеры. Эти ошибки требуют разных проверок.
Как провести пилот на документах компании
- Возьмите один процесс и небольшую подборку действующих документов. Отметьте редакции и права доступа.
- Составьте вопросы с ожидаемыми ответами и источниками. Добавьте вопрос без ответа в базе и вопрос по документу, к которому у проверяющего нет доступа.
- Проверьте, какие фрагменты найдены, подтверждают ли они вывод и видит ли пользователь ссылку на нужную редакцию.
- Замените одну инструкцию и повторите связанные вопросы. Проверьте, что система находит новое правило и не возвращает старое как действующее.
- Сравните затраты на подготовку, проверку и сопровождение. Если остаются ошибки формата или классификации, проверьте дообучение на отдельном наборе примеров.
Для оценки ответов подойдёт таблица из 30 контрольных вопросов. Если верный фрагмент не находится или не подтверждает ответ, воспользуйтесь порядком диагностики.
С чего начать в Pragmaticus
Выберите регламент, по которому коллеги регулярно задают вопросы. Загрузите действующую редакцию и попросите помощника ответить со ссылкой на конкретный пункт. Для пилота пригодится руководство по поиску по регламентам.