Галлюцинации нейросетей: причины и способы борьбы в продакшене

Модель уверенно называет статью закона, которой не существует, придумывает срок гарантии и подставляет чужой артикул в счёт. Клиент уходит с этим счётом в бухгалтерию, а через неделю возвращается с претензией. Что такое галлюцинация нейросети, проще всего объяснить так: модель выдаёт правдоподобный текст вместо правдивого, потому что её задача — предсказывать следующее слово, а не проверять факты.

Хорошая новость в том, что в продакшене галлюцинации лечатся инженерно, а не уговорами. По нашей практике, системный набор мер снижает долю выдумок с 15–25% до 1–3% на подготовленном контуре. Вопрос «что такое галлюцинация нейросети» звучит академично, но в продакшене он превращается в конкретную задачу: сделать так, чтобы бот не выдумывал условия сделки. Ниже — откуда берутся ошибки, какие пять причин дают 80% случаев, что делать в каждом и как принять работу по цифрам, а не по впечатлению.

Ключевые выводы

• На сыром промпте без ограничений доля выдуманных фактов достигает 15–25%; на контуре с поиском по документам она падает до 1–3%.
• 80% галлюцинаций дают пять причин: нет источника, устаревшие данные, вопрос вне области, противоречивый промпт и низкий порог релевантности.
• Обязательный отказ от ответа — самая дешёвая мера: она снимает 60–70% опасных случаев и стоит 20–40 тыс. ₽ на настройку.
• Приёмка ИИ-бота без теста из 30–50 вопросов-ловушек не имеет смысла: именно на них видно, сочиняет модель или признаёт незнание.
• Мониторинг качества обходится в 15–40 тыс. ₽ в месяц и ловит деградацию после обновления модели или изменения цен.
• Дообучение не устраняет галлюцинации: модель, обученная на старом прайсе, будет уверенно называть старые цены.

Что такое галлюцинация и почему она возникает

Галлюцинация нейросети — это ответ, который выглядит связным и уверенным, но не соответствует фактам или источникам. Что такое галлюцинация нейросети по своей природе — это не сбой программы, а побочный эффект генерации: модель не лжёт намеренно, она выдаёт наиболее вероятное продолжение текста, а вероятность и истинность — разные вещи.

Чтобы понять механику, полезно вспомнить, как работает искусственный интеллект в основе больших языковых моделей. Это миллиарды числовых параметров, настроенных на предсказание следующего токена по предыдущему тексту. В параметрах нет таблицы с ценами и законами — есть статистические связи между словами. Когда данных для ответа не хватает, модель не останавливается, а достраивает правдоподобную форму: имя, номер, дату, ссылку.

Что такое нейросеть в этом контексте — тоже стоит сказать прямо: это не база данных с поиском, а генератор текста. Поэтому вопрос «почему ИИ врёт» корректнее звучит как «почему мы не дали ему источник, по которому можно ответить».

Три типа ошибок, которые путают между собой:

1. Фактическая выдумка — модель называет несуществующий документ, цену или срок.
2. Ошибка извлечения — факт в базе есть, но поиск достал не тот фрагмент, и ответ построен по нему.
3. Ошибка интерпретации — фрагмент верный, но вывод из него сделан неверно, особенно в расчётах и юридических формулировках.

Лечатся они по-разному: первая — источником и отказом от ответа, вторая — качеством поиска, третья — проверкой и разбиением задачи на шаги.

Пять причин, которые дают 80% галлюцинаций

Прямой ответ: большинство выдумок рождается не в модели, а в контуре вокруг неё. Ниже — причины, симптомы и конкретные меры.

Разберём каждую. Первая — самая частая и самая дорогая: заказчик подключает модель напрямую к чату и ждёт знаний о своём бизнесе. Модель их не получит ни из воздуха, ни из названия компании в промпте.

Вторая причина коварнее: поиск настроен, но в индексе лежат три версии регламента. Модель честно цитирует ту, что нашлась первой.

Третья связана с устройством модели: она не умеет молчать, если её не научили. Отсутствие ответа для неё — тоже текст, который надо сгенерировать: нейросеть ответ строит всегда, даже когда отвечать нечем.

Чтобы не путаться в терминах, разведём понятия. Что такое ии — это общее название класса технологий, куда входят и языковые модели, и компьютерное зрение, и рекомендательные системы. Что такое ai в англоязычной литературе — то же самое, просто аббревиатура. А когда произносят «все нейросети», обычно имеют в виду доступные пользователю чат-сервисы, хотя за ними стоят разные модели с разными ограничениями. Все ии нейросети объединяет одно свойство: они генерируют вероятный ответ и не проверяют его на истинность.

Четвёртая — человеческая. В промпте на 40 строк почти всегда найдутся два требования, которые противоречат друг другу, и модель будет выбирать их случайно.

Пятая — техническая: при векторном поиске всегда находится «ближайший» фрагмент, даже если он не имеет отношения к вопросу. Без порога отсечения модель получит мусор и построит по нему ответ.

Как лечить: семь мер по убыванию эффекта

Прямой ответ: начинайте с ограничения источников и обязательного отказа, а не со смены модели. Смена модели без этих мер даёт прирост точности в пределах 2–5 процентных пунктов.

1. Заземление ответа. Модель отвечает только по переданным фрагментам и цитирует их. Если фрагментов нет — ответ «в документах нет данных».
2. Порог релевантности. Отсекайте фрагменты с низкой оценкой: обычно порог ставят так, чтобы в контекст попадало 3–7 кусков, а не 20.
3. Гибридный поиск и переранжирование. Векторный поиск плюс полнотекстовый, затем переранжировщик. Прирост точности — 8–15 процентных пунктов.
4. Структурированный вывод. Ответ в JSON с полями и обязательной ссылкой на источник. Такой формат легко валидировать кодом.
5. Проверка в коде. Суммы, артикулы, даты и номера договоров сверяются с базой до отправки клиенту.
6. Низкая температура генерации. Значение 0–0,3 уменьшает «творчество» там, где нужна точность.
7. Разбиение задачи. Вместо одного вопроса «посчитай скидку и оформи КП» — три шага с проверкой между ними.

Мера, которую недооценивают, — честный отказ. Диалог, где бот говорит «уточню у специалиста», раздражает меньше, чем уверенно неверный ответ. По нашей практике, после включения отказа доля жалоб на качество падает в 2–3 раза, а нагрузка на операторов растёт всего на 5–8% — потому что отказов немного.

Метрики: как измерить галлюцинации и принять работу

Прямой ответ: качество контура измеряется на фиксированном наборе вопросов с известными ответами. Без такого набора любые оценки — вкусовщина.

Считать долю ошибок нужно на живом потоке, а не только на тесте. Для этого в журнал диалогов добавляют разметку: оператор или клиент отмечает неверный ответ. Порог для тревоги — рост ошибок на 3 процентных пункта за неделю: это признак, что обновилась модель, изменились документы или кто-то поправил промпт. Набор тестов и порядок приёмки описаны отдельно в материале как оценить качество ИИ-бота.

Мониторинг с ручной разметкой 200–300 диалогов в месяц стоит 15–40 тыс. ₽ и окупается на первом же предотвращённом инциденте.

Где галлюцинации не побеждаются

Честные границы. Если данных в компании нет вообще, любой контур будет выдумывать — сначала редко, потом чаще. Сначала появляются документы, потом бот. Как выбрать между поиском по документам и дообучением, разобрано в материале LLM-разработка: там же таблица со сроками и стоимостью каждого пути.

Если задача требует точных расчётов по сложной формуле, LLM не стоит ставить в центр: вычисления выносите в код, модель использует только для формулировки. Это касается скидок, налогов, логистических тарифов и юнит-экономики.

Если цена ошибки юридическая — договоры, медицинские рекомендации, налоговые консультации, — нужен человек на проверке. Модель может готовить черновик, но подпись ставит специалист.

И отдельно: не пытайтесь закрыть галлюцинации запретами в промпте вида «не выдумывай». Модель не имеет доступа к своим знаниям как к таблице и не может проверить себя сама. Работает только внешняя проверка: источник, порог, валидация в коде.

Частые вопросы

Почему нейросети выдают неверную информацию?

Модель предсказывает вероятное продолжение текста, а не ищет факты в базе. Если в контексте нет нужных данных, она достраивает правдоподобную форму ответа — с числами, названиями и ссылками. Это не сбой, а свойство архитектуры.

Как отличить галлюцинацию от ошибки поиска?

Проверьте, есть ли правильный ответ в базе знаний. Если есть, но не попал в контекст — это ошибка извлечения, лечится настройкой поиска и порога. Если данных нет вовсе — это фактическая выдумка, лечится ограничением источников и отказом от ответа.

Снижает ли дообучение модели количество галлюцинаций?

Частично и не надёжно. Дообучение улучшает формат и терминологию, но не даёт модели механизма проверки фактов. Хуже того, модель на устаревших примерах воспроизводит устаревшие факты увереннее обычной. Факты держите в поиске, а не в весах.

Какой процент ошибок считается нормой для бизнес-бота?

Для клиентской поддержки — до 3% фактических ошибок при доле честных отказов близкой к 100%. Для внутренних ассистентов допустимо 5–7%, там ответ проверяет сотрудник. Всё, что выше 10%, означает, что контур не готов к работе с клиентами.

Можно ли полностью исключить галлюцинации?

Полностью — нет, как нельзя исключить опечатки в текстах людей. Задача решается снижением до 1–3% и обязательной проверкой там, где ошибка дорога. Оставшийся риск закрывают журналом диалогов и разметкой.

Что делать, если бот выдумал условие сделки клиенту?

Немедленно зафиксируйте инцидент, восстановите диалог по журналу и проверьте, откуда взялся факт. Дальше — правка базы знаний или порога релевантности и повторный прогон теста из ловушек. Клиенту предложите официальные условия письмом, чтобы у модели не осталось пространства для трактовок.

Что делать дальше

Соберите тест из 50 вопросов по вашей предметной области, включая 30 ловушек — вопросов, ответов на которые у вас нет. Прогоните через текущий бот или через модель напрямую и посчитайте, сколько раз она признала незнание. Эта цифра скажет о качестве больше, чем месяц наблюдений.

Если ошибок много, начинайте с заземления и порога релевантности; если контур уже работает, добавьте журнал с разметкой и ежемесячный прогон теста. Посмотреть, как это устроено в проектах, можно в разделах ИИ-агенты и чат-боты и RAG для бизнеса. И помните: бот, который умеет сказать «не знаю», стоит дешевле бота, который умеет всё.

Статья основана на практике проектов НейроДела и данных Яндекс Вордстата по кластеру «ИИ-агенты и ИИ-боты». Основной запрос материала — «что такое галлюцинация нейросети» (3 928 показов в месяц). Если у вас другая ситуация — напишите, разберём.