MindSpore - открытый фреймворк для глубокого обучения с широким функционалом

MindSpore - современный открытый фреймворк для глубокого обучения, позволяющий работать с различными типами процессоров. Его экосистема включает компилятор, модуль для данных, инструменты визуализации и защиты информации. Собрав более 5500 компаний и 600 моделей, MindSpore активно применяется в индустрии и набирает популярность благодаря своей функциональности и масштабируемости

Новости 2024 07 03

MindSpore - это открытый фреймворк для глубокого обучения, который обладает широким функционалом и был разработан под руководством Сяомань Ху, старшего директора MindSpore. Кроме работы в MindSpore, Сяомань Ху также занимает должность председателя комитета по связям с общественностью в фонде LF AI & Data, является экспертом Китайского института электроники, руководит open source-проектом и является основателем MSG Women in Tech. В рамках данного текста мы рассмотрим тенденции в области искусственного интеллекта и подробнее узнаем о платформе MindSpore.

Недавно использование искусственного интеллекта было сконцентрировано в основном на классификации изображений. Однако с появлением моделей такого уровня, как GPT-4, возможность создания целых виртуальных миров стала реальностью. Теперь все более востребованы LLM (Large Language Models) и фреймворки для их обучения. Некоторые разработчики считают, что в использовании кода необходимость отпадает благодаря фреймворкам искусственного интеллекта. С их помощью мы можем значительно повысить эффективность и обучать модели, используя меньше ресурсов.

MindSpore - это open source-проект, стартовавший в марте 2020 года. Данный фреймворк способен работать с центральными, видео- и нейронными процессорами. В его архитектуре выделяется ряд ключевых компонентов:

Компилятор (MindCompiler), который повышает эффективность обучения моделей
Модуль MindData, предназначенный для обогащения данных
MindInsight, который обеспечивает визуализацию информации
MindArmour для обеспечения информационной защиты при обучении моделей
ModelZoo, репозиторий моделей для компьютерного зрения, обработки аудио, естественного языка и других задач

MindSpore поддерживает несколько методов параллелизма при обучении моделей, и выбор оптимального режима зависит от доступного оборудования, характера данных и архитектуры модели. В случае затруднений можно довериться автоматизации, позволяющей фреймворку самостоятельно выбрать оптимальный метод.

Фреймворк нативно поддерживает вывод базовых моделей для масштабного коммерческого развертывания. На сегодняшний день в MindSpore доступно более 20 базовых предобученных open source-моделей с GitHub, которыми пользуется более 40% китайских компаний в сфере искусственного интеллекта, включая PCL, CodeGeeks, Zigong Taichu.

Для упрощения работы с фреймворком в различных задачах было разработано более 10 комплектов инструментов. Также для удобства разработчиков, привыкших к использованию PyTorch, был создан модуль MindTorch, позволяющий портировать код из этой библиотеки во фреймворк.

На сегодняшний день более 5500 компаний по всему миру используют промышленную экосистему MindSpore, которая включает в себя более 600 моделей и свыше 1000 научных публикаций с наиболее авторитетных конференций. Экосистема активно поддерживается сообществом из более чем 25 000 участников, и общее количество загрузок превысило 7,3 миллиона.

Подробнее о фреймворке и всей платформе MindSpore можно узнать тут и тут.