MindSpore - открытый фреймворк для глубокого обучения с широким функционалом
![](/articles/news/2024/07/03/mindspore_-_otkritiy_freymvork_dlja_glubokogo_obuchenija_s_shirokim_funktsionalom.jpg)
MindSpore - это открытый фреймворк для глубокого обучения, который обладает широким функционалом и был разработан под руководством Сяомань Ху, старшего директора MindSpore. Кроме работы в MindSpore, Сяомань Ху также занимает должность председателя комитета по связям с общественностью в фонде LF AI & Data, является экспертом Китайского института электроники, руководит open source-проектом и является основателем MSG Women in Tech. В рамках данного текста мы рассмотрим тенденции в области искусственного интеллекта и подробнее узнаем о платформе MindSpore.
Недавно использование искусственного интеллекта было сконцентрировано в основном на классификации изображений. Однако с появлением моделей такого уровня, как GPT-4, возможность создания целых виртуальных миров стала реальностью. Теперь все более востребованы LLM (Large Language Models) и фреймворки для их обучения. Некоторые разработчики считают, что в использовании кода необходимость отпадает благодаря фреймворкам искусственного интеллекта. С их помощью мы можем значительно повысить эффективность и обучать модели, используя меньше ресурсов.
MindSpore - это open source-проект, стартовавший в марте 2020 года. Данный фреймворк способен работать с центральными, видео- и нейронными процессорами. В его архитектуре выделяется ряд ключевых компонентов:
- Компилятор (MindCompiler), который повышает эффективность обучения моделей
- Модуль MindData, предназначенный для обогащения данных
- MindInsight, который обеспечивает визуализацию информации
- MindArmour для обеспечения информационной защиты при обучении моделей
- ModelZoo, репозиторий моделей для компьютерного зрения, обработки аудио, естественного языка и других задач
MindSpore поддерживает несколько методов параллелизма при обучении моделей, и выбор оптимального режима зависит от доступного оборудования, характера данных и архитектуры модели. В случае затруднений можно довериться автоматизации, позволяющей фреймворку самостоятельно выбрать оптимальный метод.
Фреймворк нативно поддерживает вывод базовых моделей для масштабного коммерческого развертывания. На сегодняшний день в MindSpore доступно более 20 базовых предобученных open source-моделей с GitHub, которыми пользуется более 40% китайских компаний в сфере искусственного интеллекта, включая PCL, CodeGeeks, Zigong Taichu.
Для упрощения работы с фреймворком в различных задачах было разработано более 10 комплектов инструментов. Также для удобства разработчиков, привыкших к использованию PyTorch, был создан модуль MindTorch, позволяющий портировать код из этой библиотеки во фреймворк.
На сегодняшний день более 5500 компаний по всему миру используют промышленную экосистему MindSpore, которая включает в себя более 600 моделей и свыше 1000 научных публикаций с наиболее авторитетных конференций. Экосистема активно поддерживается сообществом из более чем 25 000 участников, и общее количество загрузок превысило 7,3 миллиона.
Подробнее о фреймворке и всей платформе MindSpore можно узнать тут и тут.