Игра в Doom становится возможной для языковых моделей

Языковая модель Mistral-7B играет в Doom

Вчера, 24 марта, компания Mistral AI провела хакатон, на котором участникам предложили дообучить открытую языковую модель. Первое место в категории принесла необычная идея: Mistral-7B научили играть в Doom.

История успеха игры Doom и ее открытый исходный код

Игра Doom, вышедшая в 1993 году, сразу стала популярной. В 1997 году компания-разработчик id Software опубликовала исходный код под открытой лицензией, что позволило сообществу создавать различные модификации и порты игры на разные устройства.

Возможности и гибкость движка Doom

Движок Doom не требует специализированного оборудования и может работать на различных устройствах, от фотоаппаратов до калькуляторов. Игра стала популярной не только в физическом, но и в виртуальном мире благодаря эмуляторам и другим абстракциям.

Обучение и использование ИИ на примере Doom

Платформа ViZDoom используется для обучения ИИ-агентов, что позволяет им принимать решения на основе визуальной информации, а не полного доступа к игровому движку. Исследования показывают, что системы машинного зрения могут играть в Doom на уровне человека.

Попытки обучения больших языковых моделей (БЯМ) игре в Doom

Исследование Microsoft показывает, что БЯМ могут участвовать в игре в Doom, используя визуальные данные и текстовые описания состояния игры. Однако полученный бот демонстрирует слабую производительность и низкую скорость реакции.

Прототип обучения БЯМ для игры в Doom

На хакатоне был продемонстрирован прототип, который использует дообучение БЯМ для игры в Doom в реальном времени. Этот пример, хоть и менее сложный, обещает более эффективную работу.

Хакатон и участники

24 марта Mistral AI, Cerebral Valley и Shack15 провели хакатон в Сан-Франциско, в котором приняли участие около 400 разработчиков. Участникам предлагались два трека: использование API компании или дообучение открытых моделей Mistral AI. Проекты принимались до 11:30 утра по местному времени.