Wu Dao model

Характеристики

Область применения
  • Чат-бот
  • Вопросно-ответная система
  • Генерация текста
  • Классификация текста
  • Анализ тональности
  • Классификация токенов
  • Моделирования причинного языка
  • Моделирования замаскированного языка
  • Задача с множественным выбором

Модели
  • Wu Dao - Wen Yuan: 2,6 миллиарда параметров предварительно обученной языковой модели, предназначенной для выполнения задач, таких как ответы в открытой доменной области, анализ настроений и коррекция грамматики. Заявляется что модель соответствует или превосходит производительность GPT-3 в задачах китайского и английского языка.
  • Wu Dao - Wen Lan: представляет собой мультимодальную искусственную интеллектуальную систему, способную ассоциировать изображения и видео с текстом. Одной из особенностей этой модели является то, что она обучена на большом объеме данных, включающем 50 миллионов пар изображений и текста.
  • Wu Dao - Wen Hui: представляет собой генеративную текстовую модель с 11.3 миллиардами параметров, предварительно обученную для общих языковых навыков. Wen Hui обладает значительной мощностью и способностью к генерации текстов на различные темы.
  • Wu Dao - Wen Su: На основе языковой модели BERT от Google и обученной на базе данных UNIPARC объемом 100 гигабайт (а также тысячи последовательностей генов). Модель ориентирована на задачи в области биоинформатики и молекулярной биологии и представляет собой мощный инструмент для анализа биологических данных. лавной задачей модели Wu Dao Wen Su является предсказание трехмерных структур биомолекул, таких как белки и ДНК, из различных источников данных, включая клетки крови человека и бактерии, устойчивые к антибиотикам.

Датасеты

Описание

Wu Dao (Китайское название: 悟道; пиньин: wùdào; перевод: "дорога к осознанию") - это мультимодельный искусственный интеллект, разработанный Пекинской академией искусственного интеллекта (BAAI)

Модель Wu Dao (в частности, Wu Dao 2.0) представляет собой мощную и мультимодальную искусственную интеллектуальную систему, разработанную Beijing Academy of Artificial Intelligence (BAAI). Вот основные характеристики и описание модели Wu Dao:

Wu Dao был обучен на 4,9 терабайтах изображений и текстов (включая 1,2 терабайта китайского текста и 1,2 терабайта английского текста)

Председатель BAAI заявил, что Wu Dao - это попытка "создать самую большую и мощную модель искусственного интеллекта". Тем не менее, непосредственное сравнение моделей на основе количества параметров не всегда коррелирует с качеством. Wu Dao 2.0 был назван "самой большой системой искусства в области языка".

Неотъемлемой особенностью архитектуры Wu Dao 2.0 является модель "смешанных экспертов" (MoE), в отличие от GPT-3, которая является "плотной" моделью. Модели MoE требуют гораздо меньше вычислительной мощности для обучения при таком же количестве параметров, и триллион-параметровые модели MoE показали сопоставимую производительность с моделями, которые в сотни раз меньше.

Wu Dao также продемонстрировал способность к созданию виртуальных идолов и предсказанию 3D-структур белков, таких как AlphaFold.

История разработки

Начало разработки и Wu Dao 1.0: Развитие модели Wu Dao началось в октябре 2020 года, несколько месяцев после выпуска GPT-3 в мае 2020 года. Первая версия модели Wu Dao, известная как Wu Dao 1.0, была анонсирована 11 января 2021 года.

В мае 2021 года было анонсировано обновление модели, Wu Dao 2.0. Это обновление представило значительные улучшения по сравнению с первой версией. Оно стало магнитудой сильнее и мощнее, чем GPT-3, с более чем 1.75 триллионами параметров и обучением на 4.9 терабайтах текста и изображений. Внимание мировой общественности: Анонс Wu Dao 2.0 привлек большое внимание как в мире искусственного интеллекта, так и в широкой общественности, поскольку это одна из самых мощных и перспективных моделей на сегодняшний день.

Обучение Wu Dao

Wu Dao был обучен на 4,9 терабайтах высококачественных изображений и текстов как на английском, так и на китайском языках. Обучающий набор данных включал в себя следующие элементы:
  • 1,2 терабайта китайского текстового материала из Wu Dao Corpora.
  • 2,5 терабайта китайских графических данных.
  • 1,2 терабайта английского текстового материала из набора данных Pile.

Обучение проводилось с использованием FastMoE, открытой системы смешанных экспертов (MoE). MoE - это метод машинного обучения, который работает следующим образом:
  • Разделяет задачи предсказательного моделирования на подзадачи.
  • Обучает экспертную (учебную) модель для каждой подзадачи.
  • Разрабатывает модель управления, которая учится определять, какого эксперта проконсультировать на основе входных данных для предсказания и объединяет их прогнозы.

FastMoE позволяет Wu Dao консультироваться с разными экспертными моделями параллельно и переключаться на ту, которая дает наилучший прогнозный результат. Например, если входные данные на английском языке, Wu Dao будет использовать модель, способную генерировать ответ на английском языке. Это обеспечивает более эффективное и точное предсказание и генерацию текста в соответствии с языковыми особенностями входных данных.

Архитектура

Wu Dao - Wen Hui базируется на генеративной языковой модели с огромным количеством параметров (11.3 миллиарда). Она является одной из многих моделей, которые применяют архитектуру Transformer.

Transformer - это архитектура нейронной сети, которая была впервые представлена в 2017 году. Она стала основой для многих успешных моделей в области обработки естественного языка и машинного обучения.

Преимущества

Модель Wu Dao, разработанная Beijing Academy of Artificial Intelligence (BAAI), имеет ряд преимуществ:
  • Огромное количество параметров: Wu Dao 1.0 и Wu Dao 2.0 обладают колоссальным количеством параметров, что делает их одними из самых мощных и крупных искусственных интеллектуальных моделей. Это позволяет им обучаться на огромных объемах данных и обрабатывать информацию на более глубоком уровне.
  • Мультимодальность: Wu Dao способна работать с разными типами данных, включая текст, изображения и видео. Это делает её универсальным инструментом для задач, связанных с мультимедийными данными.
  • Многозадачность: Wu Dao способна выполнять множество различных задач на одной платформе, что упрощает её использование в различных областях искусственного интеллекта.
  • Многолингвальность: Модель поддерживает как китайский, так и английский языки, что делает её доступной для глобальных приложений и коммуникации.
  • Обработка текста и изображений: Модель может выполнять широкий спектр задач, включая генерацию текста, обработку естественного языка, распознавание изображений, создание изображений и видео, что делает её полезной для различных приложений и задач.
  • Творческие способности: Wu Dao способна генерировать тексты, поэзию, изображения и даже видеоролики на основе текстовых данных, что делает её полезной для творческих искусственных приложений.
  • Биологические приложения: Некоторые версии Wu Dao, такие как Wu Dao Wen Su, способны предсказывать формы биомолекул, что имеет важное значение для биологических исследований.
  • Многозадачные способности: Wu Dao может выполнять несколько задач одновременно, что увеличивает её эффективность в решении сложных задач.

Применение

Модель Wu Dao имеет широкий спектр потенциальных применений в различных областях. Вот некоторые из возможных областей применения:
  • Генерация текста: Модель Wu Dao может использоваться для автоматической генерации текста, включая статьи, новости, рецензии, эссе и даже литературные произведения.
  • Мультимедийные данные: Wu Dao способна работать с изображениями и видео, что делает её полезной для обработки мультимедийных данных. Это включает в себя задачи, такие как аннотирование изображений, генерация описаний к видео и создание изображений и видео на основе текстовых описаний.
  • Машинный перевод: Модель может использоваться для автоматического перевода текстов с одного языка на другой, обеспечивая качественные машинные переводы для глобальной коммуникации.
  • Обработка естественного языка: Wu Dao может выполнять задачи, связанные с обработкой и пониманием естественного языка, такие как анализ тональности текста, извлечение информации и ответы на вопросы.
  • Творческие задачи: Модель может генерировать поэзию, музыку, изображения и видео, что делает её полезной для творческих проектов и искусства.
  • Биологические исследования: Версии модели, такие как Wu Dao Wen Su, могут использоваться для предсказания структур биомолекул, что имеет важное значение для биологических исследований и разработки лекарств.
  • Образование: Wu Dao может быть полезной в образовательных целях, помогая в создании учебных материалов, автоматической проверке работ и создании образовательных приложений.
  • Компьютерные игры: Модель может использоваться для создания сценариев и диалогов в компьютерных играх, что способствует улучшению их игрового опыта.
  • Медицина: Wu Dao может применяться для анализа медицинских данных и предсказания заболеваний на основе симптомов и клинических данных.
  • Бизнес и маркетинг: Модель может использоваться для создания контента для маркетинговых целей, анализа отзывов клиентов и других бизнес-задач.
  • [x h1]Продукты на базе модели
  • [x ]ERNIE bot

Ссылки

A brief overview of the WuDao family

Wiki page

Wu Dao 2.0 in 2023: China’s Improved Version of GPT-3 [xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx] OTHER: [creator] Baidu [network models] Ernie 3.0-Titan [x services] caption,url/uid [features] [properties] стоимость [x links] network=uid [xxx other] ----