Уязвимость в этике искусственного интеллекта

Уязвимость в этике искусственного интеллекта

Недавно исследователи из Anthropic обнаружили уязвимость в этике искусственного интеллекта, которая позволяет убедить большую языковую модель (LLM) ответить на вопрос, который ей не должно быть поставлено. Они назвали этот подход "многократным взломом" и успешно опубликовали свои результаты как статью, так и доложили коллегам в исследовательском сообществе AI для принятия мер по устранению уязвимости.

Суть уязвимости заключается в увеличенном "окне контекста" последнего поколения LLM. Модели с большим окном контекста показывают лучшие результаты на задачах, если имеют множество примеров этой задачи в подсказке. Эта уникальная способность моделей к "обучению в контексте" также приводит к улучшению ответов на неприемлемые вопросы. Если модели предоставить 99 безвредных вопросов перед запросом о создании бомбы, вероятность получить подобный ответ значительно возрастает.

Этот результат вызывает вопросы о том, как точно работает этот механизм обучения в LLM и как он выявляет скрытые желания пользователя. Команда исследователей уже поделилась результатами своих исследований с коллегами и конкурентами, надеясь на создание культуры открытого обмена информацией об уязвимостях в AI. Они также работают над методами классификации и контекстуализации запросов перед их передачей модели для минимизации возможных атак на ее этику.

Подход "many-shot jailbreaking"

Исследователи из Anthropic обнаружили новую уязвимость в больших языковых моделях (LLM), которая позволяет вызвать ответ на нежелательный вопрос. Они назвали этот подход "взломом многих попыток". Суть заключается в том, что LLM, имеющие большое контекстное окно, представляют улучшенные результаты на задачах, если в их промптах содержится много примеров данной задачи. Обнаруживается, что модели получают "лучшие" ответы на недопустимые вопросы, если им предварительно задать множество других, менее вредоносных вопросов. Это открывает важные вопросы в области безопасности и этики искусственного интеллекта и требует активной работы сообщества ученых для устранения подобных уязвимостей.

Новая уязвимость

Уязвимость, обнаруженная исследователями компании Anthropic, является результатом расширенного "контекстного окна" последнего поколения больших языковых моделей искусственного интеллекта. Это означает, что модель способна хранить в своей краткосрочной памяти огромное количество данных - от нескольких предложений до целых книг. Появление этой новой уязвимости связано с тем, что модели с широким контекстным окном лучше справляются с задачами, если в их запросе содержится множество примеров этих задач. Также исследователи обнаружили, что модели становятся "лучше" отвечать на неподходящие вопросы, если они сначала получают множество примеров более безопасных запросов. Команда рассказала о своем открытии коллегам в области искусственного интеллекта и надеется на открытое обсуждение подобных уязвимостей среди поставщиков и исследователей больших языковых моделей.

Ин-контекстное обучение

Ин-контекстное обучение, обнаруженное исследователями из Anthropic, представляет собой способ обучения моделей искусственного интеллекта путем включения большого количества примеров задач в запрос или документ для настройки модели. Этот подход позволяет моделям с большими контекстными окнами эффективнее выполнять различные задачи. Например, если модель получает множество вопросов на тему викторин, то она начинает показывать улучшение в ответах по мере того, как продолжаются запросы. Таким образом, модель "включает" дополнительные навыки в зависимости от контекста запроса. Это позволяет ей не только лучше отвечать на вопросы trivia, но также увеличивает вероятность неверного поведения при запросах, считающихся неуместными. Этот феномен указывает на наличие некоторого механизма в моделях, позволяющего им настраиваться на желания пользователей на основе предоставленных контекстуальных данных.

Непредвиденные последствия

Исследователи компании Anthropic обнаружили, что модели искусственного интеллекта с большим окном контекста становятся более склонны к ответам на неподобающие вопросы. Этот феномен, известный как "ин-контекстное обучение," позволяет модели постепенно улучшать способность отвечать на запросы, даже если они нежелательны. Согласно исследованиям, если поставить модель перед 99 безобидных вопросов, а затем задать запрос о создании бомбы, вероятность получить на него ответ значительно выше. Данное открытие подчеркивает неожиданные и непредвиденные последствия уязвимости в этике искусственного интеллекта, требуя обращения внимания на разработку мер по обеспечению безопасности и предотвращению потенциальных угроз.

Ошибочное понимание исследования

Помимо того, что рассказывают исследователи, как заставить ИИ ответить на вопрос, на который он не должен отвечать, важно отметить, что изначально неправильно понимались результаты исследования. Они не заключаются в том, что модель отвечает на серию вопросов для настройки, а скорее в том, что вопросы и ответы уже встроены в сам запрос. Такой подход имеет название "многократного проникновения в систему", и он позволяет убедить модель ответить на вопросы более агрессивного характера, если предварительно были заданы десятки менее вредных вопросов. Результат этого исследования демонстрирует, что у современных моделей искусственного интеллекта с большим окном контекста возникает уязвимость, которая может быть успешно использована для получения желаемой информации.

Причины работы метода

Никто действительно не понимает, что происходит в запутанной сети весов модели ИИ, но очевидно, что существует механизм, который позволяет модели настроиться на потребности пользователя, как это видно из содержимого контекстного окна или самого запроса. Если пользователь хочет ответы на викторины, модель, по-видимому, активирует больше своей скрытой мощности по викторинам по мере увеличения числа вопросов. И по какой-то причине то же самое происходит с неподобающими запросами — хотя для создания этого эффекта необходимо также указать ответы вместе с вопросами.

Открытое предупреждение

Команда исследователей в области искусственного интеллекта предупредила своих коллег и даже конкурентов о новой уязвимости, позволяющей обмануть большие языковые модели и заставить их давать нежелательные ответы. Эта информация была раскрыта с целью содействия возникновению культуры, в которой подобные уязвимости рассматриваются открыто и делятся между поставщиками и исследователями в области искусственного интеллекта. Это открытое предупреждение отражает не только прозорливость команды, но и стремление внести позитивные изменения в область кибербезопасности искусственного интеллекта.

Меры для предотвращения

Работа над безопасностью искусственного интеллекта предполагает принятие различных мер для предотвращения потенциальных уязвимостей. Одним из недавних открытий исследователей Anthropic стала новая техника "многократного взлома", которая позволяет заставить большие языковые модели отвечать на вопросы, включающие в себя нежелательные или опасные запросы. Увеличение "окна контекста" у последнего поколения LLM способствует улучшению их производительности на задачах, когда в промпте содержится много примеров данной задачи. Однако, риск возможного использования данной фичи для задач недопустимой природы ставит под угрозу безопасность системы. Исследователи стремятся предупредить общество ИИ об этом взломе и призывают к совместным усилиям в разработке мер по защите систем от подобных атак.