Галлюцинации нейросетей: почему ИИ врёт и как это проверять
Почему нейросети выдумывают факты и ссылки, какие темы самые рискованные и как проверять ответы за пару минут.
Нейросеть уверенно называет несуществующую статью, путает даты и придумывает статистику. Это называют галлюцинациями — и это не баг конкретной модели, а следствие её устройства.
Понимание причины помогает не злиться на сервис, а выстроить процесс проверки.
Почему модель выдумывает
Модель обучена предсказывать следующее слово. Она не хранит базу фактов и не проверяет утверждения — она строит наиболее вероятное продолжение текста.
Если в обучающих данных часто встречалось «исследование показало», модель напишет «исследование показало» и подставит правдоподобные детали: название журнала, год, автора. Выглядит убедительно, но может быть полностью выдумано.
Три фактора усиливают эффект:
- Редкая тема. Чем меньше качественных данных, тем больше модель достраивает.
- Просьба дать точные ссылки. Модель не имеет доступа к интернету (если он не включён), но всё равно «помнит» URL.
- Давление форматом. Если попросить «таблицу с цифрами», она заполнит её числами, даже если чисел нет.
Где риск выше всего
| Тема | Риск | Пример |
|---|---|---|
| Ссылки и источники | Очень высокий | Несуществующие DOI и статьи |
| Статистика | Высокий | Выдуманные проценты и выборки |
| Право и налоги | Высокий | Ссылки на несуществующие нормы |
| Медицина | Высокий | Дозировки и противопоказания |
| Свежие события | Высокий | Данные после даты обучения |
| Общие объяснения | Низкий | Определения и аналогии |
Важно
Никогда не используйте ответ модели как единственный источник для юридических, медицинских и финансовых решений. Это не осторожность ради осторожности — это реальные случаи ущерба.
Пять приёмов проверки
1. Попросите отделить факты от предположений
Запрос: «Раздели утверждения на три группы: общеизвестные факты, требующие проверки, и предположения. Для второй группы укажи, что именно проверить».
Модель сама подсветит сомнительные места — это ускоряет вычитку.
2. Проверяйте ссылки по первоисточнику
Открывайте каждую ссылку. Если статьи не существует — перед вами галлюцинация. Для поиска используйте сервисы со ссылками на источники, например Perplexity.
3. Спрашивайте «откуда»
Запрос: «На каком источнике основано это утверждение? Если источника нет — так и напиши». Часто модель признаёт, что обобщает.
4. Ищите числа отдельно
Любая цифра проверяется поиском. Если статистика встречается только в ответе модели и нигде больше — это красный флаг.
5. Используйте вторую модель
Задайте тот же вопрос другой модели. Совпадение не гарантирует правду, но расхождение указывает на проблему. Сравнить сервисы можно в каталоге.
Как формулировать запрос, чтобы снизить риск
Добавьте в промпт три строки:
- «Не выдумывай данные. Если информации нет — напиши об этом прямо».
- «Отмечай, где ты не уверен».
- «Не приводи ссылки, если не можешь указать точное название и автора».
Это не устраняет галлюцинации полностью, но заметно снижает их количество.
Что делать, если ошибка уже в тексте
- Найдите все утверждения, которые можно проверить.
- Проверьте цифры, даты, имена и ссылки.
- Уберите то, что не подтверждается.
- Если факт был ключевым — перепишите абзац или найдите источник.
Публичная ошибка стоит дороже, чем десять минут проверки.
Итог
Галлюцинация — не сбой, а свойство технологии. С ней нельзя «договориться», но можно выстроить процесс: просить отделять факты от предположений, проверять ссылки и числа, использовать поисковые сервисы со ссылками.
Чем выше цена ошибки, тем меньше должен быть вес ответа модели в решении.
Редакция НейроСеть. Мы проверяем инструкции на практике и обновляем материалы, когда меняются условия сервисов. Если заметили ошибку — напишите нам.