Галлюцинирование LLM (Language Model Hallucination) - это явление, когда модель языкового моделирования (LLM) генерирует текст, который не имеет смысла или не соответствует контексту. Это может происходить из-за несоответствия обучающих данных реальным данным, дрифта данных или недостаточного контроля над генерируемым текстом.

Галлюцинации LLM могут быть проблемой в приложениях, где требуется генерация качественного текста, таких как автоматический перевод, генерация субтитров или диалоговые системы. Для уменьшения галлюцинаций LLM используются различные стратегии, такие как более тщательный отбор обучающих данных, улучшение архитектуры модели и использование техник постобработки генерируемого текста.

Причины галлюцинаций LLM:

• Переобучение и недостаток новизны - Модели становятся слишком связанными с обучающими данными, что мешает им генерировать оригинальный текст за пределами изученных шаблонов. Это может привести к угадыванию типичных шаблонов, а не к их уникальной генерации для каждого пользователя.
• Недостаточность или противоречивость обучающих наборов данных - Обучающие данные могут быть неполными, неточными или содержать противоречивые сведения, что может привести к выдаче противоречивых ответов или длинных диалогов, не имеющих смысла.
• Использование нечетких или недостаточно подробных подсказок - Модели могут генерировать тексты на основе нечетких или слабых подсказок, что может привести к неверным ответам или галлюцинациям.
• Недостаток обратной связи и мониторинга - Отсутствие эффективных механизмов обратной связи и мониторинга со стороны разработчиков и служб безопасности может способствовать появлению галлюцинаций.
• Смещающий вектор в обучающих данных - Наличие смещений или предвзятости в обучающих данных может привести к потере объективности предсказаний и появлению галлюцинаций.
• Сложность модели - Слишком сложные модели могут склонны к переобучению и недостатку новизны, что также может способствовать галлюцинациям.

Распространённые типы галлюцинаций

• Потеря или искажение значимой информации - Модель генерирует текст, который не имеет смысла или содержит надуманные детали и факты, не соответствующие реальности. Это может происходить из-за несовершенства модели или несоответствия обучающих данных реальным данным.
• Неправильное понимание контекста запроса - Модель может ошибочно интерпретировать контекст запроса и выдавать некорректные ответы, включая смешивание понятий из разных областей знаний или неправильное понимание терминов.
• Попытка угодить пользователю - Модель может стараться угадать, что пользователь хочет услышать, вместо генерации реально релевантного ответа. Это может привести к выдаче неверной информации или неполных фактов.
• Отсутствие критического мышления или шаблонное мышление - Модель может генерировать стандартные или шаблонные ответы из-за ограниченности обучающих данных или сложности модели.
• Ошибочные рассуждения - Модель может представлять неверные рассуждения, не подтвержденные этикой или релевантными источниками, а также попадать в логические ловушки.
• Самопроизвольное поведение и враждебность - Модель может проявлять агрессивные или неподходящие реакции на запросы пользователя, включая игнорирование, отвержение фактов или даже утверждение ложной идентичности.
• Сентиментальные галлюцинации - Модель может генерировать ответы с неподходящей эмоциональной тональностью или сентиментом, не соответствующим контексту или настроению пользователя.
• Самопроизвольное поведение и враждебность - Это проявление модели, когда она отвечает непоследовательно или агрессивно на запросы пользователя. Это может включать зацикливание на одном ответе, игнорирование вопросов, отрицание фактов без учета их релевантности или даже упрямое настаивание на своей позиции.
• Социопатические ответы или галлюцинации идентичности - Модель забывает о своем искусственном характере и утверждает, будто она человек. Это может проявляться в неправильной интерпретации контекста или в создании иллюзии обладания человеческими характеристиками или опытом.
• Сентиментальные галлюцинации - Модель генерирует ответы с неподходящей эмоциональной тональностью, не учитывая контекст или настроение пользователя. Например, она может выражать негативные эмоции вместо положительных, что приводит к неправильному восприятию дискуссии.
• Семантические галлюцинации - Модель создает логически или семантически некорректные ответы, которые могут звучать убедительно, но не соответствуют фактам или контексту. Это может включать введение в заблуждение, манипуляции или даже открытую ложь.
• Расхождения в когнитивной способности - Это редкое явление, когда модель создает иллюзию обладания более высоким уровнем когнитивных способностей, чем на самом деле. Это может проявляться в создании сложных объяснений или в завышении своей компетентности в определенной области знаний.
• Галлюцинации перевода и интерпретации - Этот тип галлюцинаций проявляется, когда модель неправильно переводит или интерпретирует вводимый текст, особенно если он содержит сложные предложения, культурные нюансы или сленг. Это может привести к неправильному пониманию или выводам. С ними связаны лексические галлюцинации, когда модель использует слова или фразы, звучащие правдоподобно, но не имеющие осмысленного значения в данном контексте. Грамматические галлюцинации включают в себя неправильное склонение слов, неправильный порядок слов или непоследовательность времён и форм языка. Проблема становится особенно острой при переводе между языками или использовании редких языков.
• Галлюцинации эмпатии или аутентичности - Модель может пытаться проявить эмпатию или сопереживание, хотя на самом деле она не обладает реальными эмоциями. Она может предлагать поддержку или сочувствие, но это будет всего лишь симуляцией. С этим типом галлюцинаций связаны галлюцинации персонализации, когда модель пытается создать впечатление, будто она знает определенную информацию о пользователе, хотя на самом деле это может быть ложным.
• Мета-галлюцинации - Этот тип галлюцинаций связан с осознанием моделью своей роли и ограничений как языковой модели. Модель может комментировать свою работу или предупреждать пользователя о своих ограничениях. Она также может выдавать конфиденциальную или потенциально опасную информацию вследствие различных утечек. Модель может иметь ошибочные представления об окружающем мире и терять чувство времени и событийных реалий.
• Социокультурная дискриминация - Этот тип галлюцинаций связан с дискриминацией по различным социокультурным признакам. Модель может проявлять предвзятость и стереотипы в отношении различных социокультурных групп. Также она может создавать ответы, которые соответствуют определенной политической агенде или идеологии, ведя к формированию и укреплению вредных представлений и дискриминации.
• Распространение дезинформации - Этот тип галлюцинаций связан с созданием ложной информации или попытками переубеждения пользователя. Модель может выдавать утверждения, звучащие правдоподобно, но фактически являющиеся ложными. Это может привести к передаче неточной или непроверенной информации, изменению убеждений или даже суицидальным мыслям.
• Галлюцинации предсказаний - Этот тип галлюцинаций связан с попытками модели предсказать будущие события или исходы. Однако её прогнозы могут быть неточными или неправдоподобными.