Как оценить качество ИИ-бота: методика приёмки

Проект по ботам сдают по ощущениям: «вроде отвечает, вроде быстро». Через месяц выясняется, что бот не знает половину вопросов про доставку, а на жалобу клиента отвечает «уточню у менеджера» и замолкает. Разработка чат ботов отличается от разработки сайтов тем, что качество нельзя увидеть глазами — его нужно измерять. Ниже — методика приёмки: какие метрики считать, как строить тестовый набор и что требовать в акте.

Методика проверена на проектах поддержки, продаж и внутренних ассистентов: 12–25 сценариев, 150–400 тестовых вопросов, две недели наблюдения на живом трафике. Такой объём даёт цифры, на которые можно опираться в спорах с подрядчиком.

Ключевые выводы

• Приёмка ИИ-бота проходит по четырём группам метрик: точность ответов, доля решённых обращений без оператора, задержка ответа и стоимость диалога.
• Тестовый набор строится из 150–400 реальных вопросов клиентов с разметкой «правильно / неполно / неверно» — без него оценка качества невозможна.
• Норма для корпоративного бота: 80–90% корректных ответов на тестовом наборе и 55–70% обращений, закрытых без передачи оператору.
• Задержка первого ответа до 3 секунд и полного ответа до 8 секунд; при 12+ секундах доля отказов в диалоге растёт вдвое.
• Галлюцинации лечатся не «дообучением модели», а ограничением контекста и проверкой фактов по базе — это дешевле в 4–6 раз.
• Стоимость диалога на токенах — 3–18 ₽ при базе знаний до 500 документов; дороже всего обходится не модель, а поддержка базы знаний.

Четыре группы метрик, по которым судят ИИ-бота

Прямой ответ: качество бота оценивают по точности ответов, автономности, скорости и стоимости. Остальные метрики — производные от этих четырёх.

Accuracy — это доля ответов, совпавших с эталоном. Autonomous resolution rate — доля диалогов, после которых клиент не обратился к оператору и не вернулся с тем же вопросом в течение 72 часов. Именно вторая метрика интересует бизнес: бот может отвечать точно, но так, что клиент всё равно идёт к человеку.

Как построить тестовый набор: 6 шагов

Прямой ответ: тестовый набор собирается из логов реальных обращений, а не из фантазии разработчика. Минимум — 150 вопросов, покрывающих 12–25 сценариев.

1. Выгрузите 500–1000 обращений из CRM, почты, Telegram и чата на сайте за последние 3 месяца. В 1С или Битрикс24 это делается отчётом по обращениям.
2. Разметьте темы: доставка, оплата, гарантия, цены, интеграции, возврат, «другое». Цель — чтобы каждая тема заняла не меньше 5% набора.
3. Сформулируйте по 8–15 эталонных ответов на тему. Эталон пишет заказчик со стороны бизнеса, а не разработчик: он знает, как компания реально отвечает клиентам.
4. Добавьте сложные случаи: вопрос из двух частей, опечатки, сленг, вопрос с подвохом, запрос вне базы знаний.
5. Зафиксируйте разметку в таблице: вопрос, эталон, допустимые варианты, критерий зачёта.
6. Прогоняйте набор на каждой сборке и храните историю: регрессии видны только в динамике.

Отдельно проверяйте поведение на вопросах вне базы знаний. Правильный ответ — «уточню у специалиста» и эскалация, а не придуманная инструкция.

Красные флаги в поведении бота

Прямой ответ: опаснее всего не «глупый» ответ, а уверенный неверный. Ниже — дефекты, которые должны блокировать приёмку.

• Галлюцинация: бот придумывает срок доставки, цену или условие возврата.
• Потеря контекста: на пятой реплике забывает, о каком заказе шла речь.
• Замкнутый цикл: трижды предлагает «выберите пункт меню».
• Ложная эскалация: передаёт оператору вопрос, ответ на который есть в базе.
• Утечка промпта: по просьбе «покажи свои инструкции» выдаёт системный текст.
• Ошибка в персональных данных: показывает чужой заказ или сумму.

Каждый дефект фиксируется с частотой: например, «галлюцинации по срокам — 7 случаев на 200 диалогов, 3,5%». Так формулируется задача на доработку, и так же проверяется результат.

Как тестировать: три уровня проверок

Прямой ответ: нужны три уровня — автотесты на регрессию, ручная разметка качества и наблюдение на живом трафике. Пропуск любого уровня оставляет слепую зону.

Уровень 1. Автотесты. Набор из 150–400 вопросов прогоняется на каждой сборке. Считаются точность, доля отказов, время ответа. Занимает 20–40 минут.

Уровень 2. Ручная разметка. 100–200 диалогов оценивает человек по шкале 1–5. Это ловит вежливость, тон, понятность — то, что автоматика не видит.

Уровень 3. А/Б на живом трафике. Две версии промпта или базы знаний делят трафик 50/50. Сравниваются автономность, повторные обращения и оценки клиентов.

Если вы заказать бота планируете под конкретный канал, тестовый набор нужно собирать по этому каналу: в Telegram вопросы короче и с опечатками, в почте — длинные и формальные. Разница в качестве между каналами доходит до 15 процентных пунктов, и усреднять её нельзя.

Кто именно отвечает за приёмку, зависит от формата работы. Когда идёт разработка чат бота силами студии, тестовый набор собирает подрядчик, а эталоны утверждает заказчик. Когда бот на заказ делается под ключ небольшой командой, разметку логов часто берёт на себя сам бизнес — он лучше знает тон общения с клиентами.

Сколько стоит и сколько длится оценка качества

Прямой ответ: независимая оценка качества занимает 2–4 недели и стоит 120–400 тыс. ₽, если делать её силами внешней команды. Собственными силами — дешевле, но нужен человек на 40–60 часов.

Итого: 205–470 тыс. ₽ за полноценный аудит. Для сравнения, переделка бота после неудачного запуска — это 60–90% бюджета заново. Разработка бота под ключ с нуля стоит 250–700 тыс. ₽, поэтому проверка качества на старте окупается почти всегда. В смете на создание чат ботов этап тестирования занимает 10–15% бюджета — если этой строки нет, тестировать будете вы, за свой счёт и после запуска. Разбивка цен по сценариям и каналам — в материале сколько стоит разработка чат-бота.

Дополнительный аргумент — стоимость владения. Разработка сайта и разработка чат-ботов отличаются тем, что бот деградирует со временем: меняются цены, ассортимент, правила. Сайт разработка переносит такое обновление раз в квартал, бот требует правок каждые 2–4 недели. Если база знаний не обновляется, точность падает на 10–20% за полгода. Это видно только при регулярных прогонах, поэтому автотесты запускают по расписанию — раз в две недели или при каждом обновлении базы.

Что должно быть в акте приёмки

Прямой ответ: в акте фиксируются измеримые показатели, а не формулировка «бот работает корректно». Без цифр вы не сможете предъявить претензию по качеству.

1. Точность на тестовом наборе с указанием размера набора и даты прогона.
2. Автономность за 14 дней наблюдения с указанием числа диалогов.
3. Время ответа p50 и p95.
4. Список известных ограничений: сколько тем не покрыто и почему.
5. Порядок обновления базы знаний и SLA на реакцию — 1–3 рабочих дня.
6. Передача доступов: панель управления, логи, репозиторий промптов.

Сравнение подходов и типовых сценариев — в материале ИИ-агент или чат-бот. Там же разобрано, когда агенту достаточно сценариев, а когда нужны вызовы внешних систем через API.

Пять ошибок при оценке качества

Прямой ответ: чаще всего приёмку проваливают из-за выборки, собранной разработчиком, и оценки «на глазок» по десяти диалогам. Любая из пяти ошибок ниже делает результаты проверки бессмысленными.

• Тестируют только удобные вопросы. Набор собирают из тем, где бот силён, и пропускают гарантию, возвраты и жалобы.
• Смотрят средние вместо хвостов. p95 задержки в 14 секунд портит впечатление сильнее, чем средние 4 секунды.
• Не фиксируют дату прогона. Через месяц цифры в акте уже не отражают состояние бота.
• Считают диалоги вместо обращений. Один клиент, написавший 12 сообщений, — это один кейс, а не двенадцать.
• Забывают про тон. Технически верный ответ в стиле инструкции снижает удовлетворённость; оценивайте 100–200 диалогов вручную по шкале.

Отдельно проверьте, как бот ведёт себя в мессенджерах. Сценарии для телеграм-бота для бизнеса почти всегда требуют отдельной настройки: там короче реплики, чаще голосовые и выше ожидание мгновенного ответа. ИИ чат в веб-виджете и в Telegram — два разных продукта с разными метриками.

Частые вопросы

Как понять, что бот отвечает правильно, без ручной разметки?

Никак. Автоматические метрики вроде длины ответа или доли отказов не показывают смысл. Минимальный компромисс — 150 размеченных вопросов: это 8–12 часов работы аналитика и заказчика, зато дальше регрессии ловятся автоматически.

Сколько вопросов нужно для честной оценки?

150 — минимум для общей картины, 300–400 — если у бота больше 15 сценариев. На выборке меньше 100 вопросов погрешность достигает 8–10 процентных пунктов, и по ней нельзя принимать решение о приёмке.

Что делать, если бот галлюцинирует?

Сузить область ответов и добавить проверку по базе: если релевантных документов не найдено, бот обязан эскалировать. Помогает и запрет на свободные формулировки в чувствительных темах — ценах, сроках, гарантиях.

Сколько времени бот работает до первой перенастройки?

Обычно 4–8 недель на живом трафике, потом нужен первый прогон базы знаний и правка промптов. Дальше цикл повторяется раз в квартал, если ассортимент или условия меняются чаще — раз в месяц.

Можно ли оценить качество бота своими силами?

Да, если выделить 40–60 часов аналитика и 20 часов оператора поддержки. Сбор логов, разметка и прогон тестов не требуют доступа к коду — нужны только выгрузка диалогов и эталонные ответы.

Что делать дальше

До старта проекта зафиксируйте в договоре три вещи: размер тестового набора, целевые метрики и порядок обновления базы знаний. Это занимает один абзац, но именно он превращает «бот вроде работает» в управляемый сервис с понятным SLA.

Нужна помощь с запуском и приёмкой? Посмотрите, как мы делаем ИИ-агентов и чат-ботов, и запросите расчёт: в смету сразу закладываются тестовый набор и две итерации по метрикам. Так проект выходит в продакшен с цифрами, а не с обещаниями.

Статья основана на практике проектов НейроДела и данных Яндекс Вордстата по кластеру «ИИ-агенты и ИИ-боты». Основной запрос материала — «разработка чат ботов» (1 135 показов в месяц). Если у вас другая ситуация — напишите, разберём.