ИИ-бот может отвечать неправильно даже тогда, когда нужная информация есть в компании. Документ не попал в выбранный проект, текст распознался с ошибкой, рядом лежат разные редакции или найденный фрагмент не подтверждает вывод. Отдельная группа проблем возникает, когда пользователь спрашивает о данных, которых в базе нет.
Исправление начинается с воспроизводимого примера. Сохраните вопрос, ответ, показанный источник, время, проект, канал и роль пользователя. Затем проверяйте цепочку по порядку. Это помогает отделить ошибку документов от ошибки поиска и формирования ответа.
- Сначала определите симптом
- Проверка 1. Есть ли нужный документ в рабочей базе
- Проверка 2. Правильно ли извлечён текст
- Проверка 3. Нет ли противоречащих редакций
- Проверка 4. Подтверждает ли найденный источник ответ
- Проверка 5. Есть ли ответ в документах вообще
- Как исправлять без случайных изменений
- Что передать специалисту для разбора
- Частые вопросы
- Проверка после исправления
Сначала определите симптом
Фраза «бот плохо отвечает» скрывает разные ситуации. Он может не находить правило, ссылаться на старую редакцию, неправильно читать число или добавлять неподтверждённое обещание. Каждому симптому соответствует своя первая проверка.
Если ответ раскрыл материал, который пользователю не предназначен, сначала ограничьте затронутый канал и разберите доступы. Не продолжайте публичную проверку с закрытыми данными ради более подробной диагностики.
Выберите симптом и начните с первой проверки
Это справочная подсказка. Она не подключается к вашему боту, не проверяет данные и не устанавливает причину ошибки автоматически. У одного симптома может быть несколько причин.
Нужное правило не находится
Сначала убедитесь, что документ действительно есть в выбранной базе и доступен этой роли. Отказ может быть правильным, если сведений нет или доступ ограничен.
Документ и завершение обработки → выбранный проект и канал → права → читаемость текста → воспроизводимый вопрос.
Контроль после исправления: После исправления задайте тот же вопрос от той же роли и проверьте источник ответа.
Ответ содержит неправильное число
Сравните число в ответе, извлечённом тексте и оригинале. Возможны ошибка распознавания, другая строка таблицы, перепутанная единица или неверный вывод.
Оригинал → извлечённое число и единица → показанный источник → формулировка вывода.
Контроль после исправления: Повторите вопрос с тем же показателем и условиями, затем проверьте соседние строки или периоды.
Бот использует отменённую редакцию
Проверьте источник ответа и все копии правила. Новая версия рядом со старой не гарантирует, что отменённый материал перестанет находиться.
Подтверждение владельца процесса → действующая редакция → исключение отменённых материалов → повтор контрольных вопросов.
Контроль после исправления: Спросите об основном правиле и исключении после обновления. Оба ответа должны опираться на действующие материалы.
Источник есть, но он не подтверждает вывод
Разделите ответ на утверждения. Если документ описывает подачу заявки, он не обязательно задаёт срок исполнения. Неподтверждённый срок нельзя выдавать за правило.
Каждое утверждение → подтверждающий пункт → соседние условия → дополнительные инструкции ассистенту.
Контроль после исправления: Повторите вопрос о сроке. Если его нет в базе, ожидайте явного сообщения о нехватке сведений.
Пользователь получил лишние сведения
Сначала ограничьте затронутый канал и передайте случай ответственному. Не продолжайте публичный эксперимент с закрытыми данными.
Доступность канала → роль пользователя → уровни проектов и документов → настройки поиска канала. Для повторной проверки используйте безопасный учебный материал.
Контроль после исправления: Повторите проверку от разрешённой и ограниченной роли. Правильный ответ администратора не доказывает изоляцию гостя.
Проверка 1. Есть ли нужный документ в рабочей базе
Убедитесь, что материал загружен, обработка завершена и выбран правильный проект. Наличие файла у сотрудника на диске не означает, что ассистент может его найти.
Для сайта откройте список импортированных страниц. Сканирование находит адреса, а импорт сохраняет выбранные материалы: это разные шаги. Если страницу изменили после импорта, нужно обновить её в базе. Подробный порядок есть в инструкции по боту на содержимом сайта.
Для внешнего канала проверьте его настройки коллекций и уровня доступа поиска. Если в кабинете документ доступен администратору, это ещё не означает, что его должен видеть посетитель виджета.
Проверка 2. Правильно ли извлечён текст
Откройте текст документа и сравните его с оригиналом в месте ошибки. Особенно внимательно смотрите на числа, единицы измерения, отрицания, сноски и строки таблиц.
У скана могут перепутаться символы, у страницы сайта — извлечься меню вместо основного содержания. Если основание уже содержит ошибку, смена формулировки вопроса не исправит сам материал.
По возможности используйте качественный исходник. После исправления проверьте завершение обработки и повторите вопрос с тем же значимым числом или условием. Для PDF есть отдельная инструкция по проверке сканов и таблиц.
Проверка 3. Нет ли противоречащих редакций
Найдите документы с тем же правилом. Старая инструкция, архивная акция и действующий регламент могут одновременно попадать в поиск. Добавление нового файла рядом со старым не гарантирует, что будет выбран новый.
Согласуйте с владельцем процесса, какая редакция действует для нужной аудитории и периода. Уберите отменённые материалы из рабочего набора, обозначьте условия и дату в действующем документе. Не заставляйте модель самостоятельно разрешать спор между двумя правилами.
Если разные порядки действительно нужны, явно опишите, к кому и когда относится каждый. Примеры таких вопросов разобраны в статье о поиске по регламентам.
Проверка 4. Подтверждает ли найденный источник ответ
Откройте ссылку в ответе. Фрагмент может относиться к нужной теме, но не содержать вывода модели. Например, инструкция говорит, куда направить заявку, а бот добавляет срок выполнения. Это разные утверждения.
Проверьте соседние условия и наличие других нужных документов. Полный ответ иногда требует нескольких оснований. Если подходящий материал не находится даже после проверки текста и доступа, передайте пример владельцу сервиса для разбора поиска.
Если фрагмент найден верно, но ответ добавляет неподтверждённые факты, нужно разбирать формирование ответа и дополнительные инструкции. Важно отдельно проверять поиск и соответствие ответа источникам — такое различие есть и в описании оценок RAG Microsoft.
Проверка 5. Есть ли ответ в документах вообще
Поиск по базе не является доступом ко всем данным бизнеса. Если в ней лежат общие условия, бот не узнает текущий статус персонального заказа без соответствующей интеграции. Он также не может подтвердить будущее решение руководителя по одной инструкции о согласовании.
Определите ожидаемое поведение для такого вопроса: обозначить отсутствие сведений, уточнить ситуацию или указать подтверждённый канал связи. Не добавляйте вымышленный контакт только ради того, чтобы ответ выглядел завершённым.
Как исправлять без случайных изменений
Меняйте по одной проверяемой причине. Если одновременно заменить документы, настройки и формулировку вопроса, будет трудно понять, что помогло и какие ошибки появились рядом.
| Обнаружено | Что изменить | Чем проверить |
|---|---|---|
| Страница не импортирована | Добавить нужный материал в проект | Тот же вопрос с известным источником |
| В тексте ошибочное число | Исправить извлечение или исходник | Вопрос с этим числом и единицей измерения |
| Противоречивые версии | Подтвердить актуальность и убрать отменённое | Прямой вопрос и вопрос об исключении |
| Неверная область поиска | Проверить проекты и доступ канала | Вопрос от нужной роли в нужном канале |
| Вывод не подтверждён | Разобрать найденный контекст и инструкции | Ответ без добавленного предположения |
| Сведений нет | Дополнить базу подтверждённым правилом или сохранить отказ | Вопрос без ответа и похожий вопрос с ответом |
После исправления повторите исходный вопрос и соседние сценарии. Затем пройдите контрольную таблицу из 30 вопросов. Не ограничивайтесь одним удачным повтором: проблема могла затрагивать целую группу запросов.
Что передать специалисту для разбора
Нужны точная формулировка, ответ, время запроса, проект, канал, роль, ожидаемое правило и источник. Если ошибка связана с извлечением, приложите допустимый к передаче фрагмент оригинала и извлечённого текста.
Не отправляйте токены, пароли и весь закрытый архив, если для воспроизведения достаточно безопасного примера. Описание «ничего не работает» без условий значительно усложняет поиск причины.
Частые вопросы
Достаточно ли написать «не выдумывай»?
Нет. Дополнительные инструкции не исправляют пропущенный документ, ошибку распознавания или конфликт правил. Их нужно проверять вместе с остальной цепочкой.
Если бот не ответил, это всегда ошибка?
Нет. Отсутствие ответа может быть правильным при нехватке сведений или ограниченном доступе. Но если разрешённый действующий материал содержит ответ, отказ нужно исследовать.
Можно ли полностью исключить неверные ответы?
Такой гарантии нет. Подготовка базы, проверка источников, контрольные вопросы и понятная передача сложного случая человеку помогают снижать риск, но не заменяют проверку значимых решений.
Проверка после исправления
В Pragmaticus начните с конкретного вопроса и показанного источника, сравните их с действующим документом и исправьте обнаруженную причину. Используйте правила подготовки базы знаний, а после изменений повторяйте контрольный набор — так улучшение можно проверить, а не только почувствовать.