Представлены новые модели edge-вычислений Ministral 3B и 8B

Представлены новые модели edge-вычислений: Ministral 3B и 8B

На годовщину выхода модели Mistral 7B, которая изменила подход к независимым инновациям в сфере искусственного интеллекта, представлены две новые модели для edge-вычислений — Ministral 3B и Ministral 8B. Эти модели открывают новые горизонты в области знаний, здравого смысла и способности к рассуждению, предлагая решения для вычислений на устройствах с ограниченными ресурсами. Обе модели могут адаптироваться под широкий спектр задач, начиная от организации сложных рабочих процессов и заканчивая созданием специализированных рабочих агентов. Они поддерживают уникальную длину контекста до 128k, что значительно превышает текущие значения для vLLM. Особенностью Ministral 8B является наличие смешанного скользящего окна внимания, обеспечивающего быстрое и эффективное использование памяти, что особенно важно для сценариев с высокой нагрузкой на вычислительные ресурсы.

Сценарии использования

Наши самые инновационные клиенты и партнеры все чаще обращаются к локальным, обеспечивающим конфиденциальность вычислениям для критически важных приложений. Примеры таких приложений включают перевод на устройствах, автономные умные ассистенты, локальную аналитику и автономную робототехнику. Модели les Ministraux были специально разработаны, чтобы предоставить решение с высокой эффективностью вычислений и низкой задержкой, подходя как для независимых разработчиков, так и для глобальных производственных команд.

Кроме того, в сочетании с более крупными языковыми моделями, такими как Mistral Large, les Ministraux могут выступать в роли эффективных промежуточных звеньев для вызова функций в сложных многошаговых рабочих процессах. Они легко адаптируются для обработки входных данных, маршрутизации задач и вызова API в зависимости от намерений пользователей — все это происходит с минимальной задержкой и по низким затратам.

Результаты тестирования

Мы провели обширные тесты моделей les Ministraux, чтобы продемонстрировать их выдающуюся производительность в различных задачах. Результаты показали, что оба новых модели consistently outperform своих конкурентов, что является значительным достижением для подкатегории моделей с объемом менее 10 миллиардов параметров. Все тестируемые модели были переоценены на нашей внутренней платформе, обеспечивающей справедливое сравнение, что позволило нам получить объективные данные о производительности. Показатели les Ministraux в задачах, связанных с знанием, логикой, и функциональным вызовом, находились на более высоком уровне по сравнению с другими моделями, включая Mistral 7B и Gemma 2. Эти результаты подчеркивают высокую эффективность и адаптивность новых моделей, что делает их идеальными для широкого спектра прикладных задач, начиная от локальной аналитики до автономных решений.

Предобученные модели

В таблице 1 представлено сравнение предобученных моделей Ministral 3B и 8B с конкурентами, такими как Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B и Mistral 7B. Оценки ведутся по нескольким критериям, включая производительность, эффективность работы и способность к обработке данных различного характера. Это сравнение демонстрирует не только конкурентоспособность новых моделей, но и их явные преимущества в ряде задач, где они превосходят модели более крупного размера.

Рисунок 1 визуально иллюстрирует результаты этого сравнения, позволяя детально изучить, как Ministral 3B и 8B справляются с различными испытаниями. Эти графические данные подтверждают, что обе модели, несмотря на меньший размер по сравнению с другими моделями, предлагают выдающиеся результаты, что подчеркивает важность разработки компактных решений для edge-вычислений, способных эффективнее работать в ограниченных условиях.

Инструкционные модели

В рамках оценки инструкционных моделей была проведена всесторонняя сравнительная анализ Ministral 3B и 8B с другими популярными моделями, такими как Gemma 2 2B, Llama 3.2 3B, Llama 3.1 8B и Mistral 7B. Таблица 2 иллюстрирует результаты в различных категориях, подчеркивая значительные преимущества наших моделей.

График сравнения для модели 3B (Рисунок 2) показывает, как Ministral 3B превосходит даже более крупную Mistral 7B в большинстве критериев, что свидетельствует о высокой эффективности и способности модели обрабатывать сложные запросы с минимальными затратами.

Аналогично, Рисунок 3 демонстрирует сравнение среди моделей 8B. Здесь также видно, что Ministral 8B стабильно показывает лучшие результаты по сравнению с Gemma 2 9B и Llama 3.1 8B, подтверждая свои преимущества в контексте производительности и разнообразия применения. Эти данные подчеркивают значимость и мощность новых моделей от Mistral AI в области инструкционного машинного обучения.

Доступность и цены

Обе модели Ministral 3B и 8B уже доступны для пользователей. Вы можете получить доступ к Ministral 8B через API «ministral-8b-latest» по цене $0.1 за миллион токенов, в то время как Ministral 3B стоит $0.04 за миллион токенов. Оба продукта находятся под лицензией Mistral Commercial License.

Для тех, кто ищет возможность самостоятельного развертывания моделей, предоставляется возможность получения коммерческих лицензий — для этого требуется связаться с командой Mistral. Специалисты компании также предлагают помощь в безубытковой квантизации моделей, что позволит максимально оптимизировать производительность в зависимости от ваших конкретных случаев использования.

Кроме того, веса моделей Ministral 8B Instruct будут доступны для исследовательского использования, а обе модели вскоре станут доступны через облачные партнёрства Mistral.

Больше и лучше

В Mistral AI мы не останавливаемся на достигнутом и продолжаем двигаться вперед, стремясь к совершенству в разработке передовых моделей. Всего через год после выхода революционной модели Mistral 7B мы с гордостью представили новые модели Ministral 3B и 8B, которые уже сегодня демонстрируют выдающуюся производительность. Министр 3B, будучи самой компактной из наших моделей, успешно обходит своего предшественника по большинству ключевых показателей, что подчеркивает нашу приверженность инновациям и высокому качеству. Мы уверены, что les Ministraux откроют новые горизонты для различных приложений в сфере edge-вычислений, и мы готовы услышать ваши отзывы о том, как новые модели вписываются в ваши проекты и задачи. Ваше мнение поможет нам сделать наши технологии еще более адаптированными и мощными.