Nvidia представила инструменты ИИ для автономных роботов и автомобилей

Nvidia представляет инструменты ИИ для автономных роботов и автомобилей

Сегодня Nvidia Corp. представила новые инструменты для разработки физического искусственного интеллекта, нацеленные на такие области, как автономные автомобили, складские роботы и гуманоиды. В центре этих инструментов находятся мировые фундаментальные модели (WFM), которые помогают инженерам создавать и симулировать виртуальные миры и физические взаимодействия в них. Это позволяет значительно ускорить процесс обучения и тестирования роботов в разнообразных сценариях.

В частности, новые модели Cosmos позволяют разработчикам генерировать виртуальные среды на основе текстовых или видеоподсказок. Использование таких синтетических данных для обучения критически важно, поскольку физическое тестирование может быть небезопасным и дорогостоящим. Ожидается, что эти инструменты не только ускорят разработку, но и улучшат качество AI-моделей, что в конечном итоге повлияет на эффективность работы в производстве и логистике.

Запуск семейства моделей Cosmos

На выставке CES 2025 Nvidia представила новейшую разработку — семейство моделей Cosmos WFMs, предназначенных для физического моделирования и генерации синтетических данных. Эти модели, основанные на обработке огромных объемов информации, помогут инженерам и разработчикам создавать виртуальные миры для тестирования автономных роботов и транспортных средств. В дополнение к Cosmos, Nvidia анонсировала токенизаторы, защитные механизмы и инструменты настройки, позволяющие адаптировать модели под специфические нужды проектов. По словам Дженсена Хуанга, соучредителя и генерального директора компании, такая технология способна кардинально изменить индустрию производства и логистики, оценочную в 50 триллионов долларов, делая всё, что движется, — от автомобилей до роботов — более интеллектуальным и автоматизированным.

Виртуальный мир с помощью Cosmos

Модели Cosmos представляют собой уникальное решение для разработки и тестирования ИИ в области робототехники и автономных автомобилей. Обученные на более чем 9 квадриллионах токенов из 20 миллионов часов реальных взаимодействий, они способны генерировать разнообразные данные симуляции, что позволяет разработчикам получать высококачественные результаты с низкой задержкой в режиме реального времени.

Эти модели предлагают возможность создания целых виртуальных миров, используя текстовые или видео подсказки. Это, в свою очередь, позволяет инженерам и разработчикам обогащать свои синтетические данные, эффективно тестируя и отлаживая ИИ-модели перед настоящим внедрением в реальную среду. Благодаря такой гибкости и мощности, Cosmos существенно упрощает процесс тестирования, что особенно важно для обеспечения безопасности и надежности автономных систем в условиях реальной эксплуатации.

Проблемы и решения для разработчиков автономных транспортных средств

Разработчики автономных транспортных средств сталкиваются с серьезными вызовами в ходе процесса тестирования и улучшения своих моделей. Для эффективной разработки им требуется проехать миллионы миль, что является крайне затратным и времязатратным процессом. Однако еще более сложной задачей оказывается обработка и фильтрация огромного объема собранных данных, достигающего тысяч петабайтов. Рев Лебаредиан, вице-президент Nvidia, подчеркивает, что физические испытания также могут представлять собой значительную опасность, особенно когда стоимость прототипов роботов может достигать сотен тысяч долларов. Таким образом, традиционные методы тестирования становятся слишком рискованными и экономически неоправданными, что подчеркивает необходимость в использовании инновационных решений, таких как симуляции и синтетические данные, для снижения затрат и повышения безопасности разработки.

Синтез данных и Omniverse

Синтетические данные играют ключевую роль в обучении и совершенствовании ИИ-моделей. Сбор и анализ реальных данных, хотя и необходимы, часто не достаточны для создания надежных алгоритмов. Для достижения высокой точности и безопасности работы ИИ-роботов данные необходимо дополнить синтетическими, которые позволят восполнить пробелы и учесть нестандартные ситуации.

Модели Cosmos от Nvidia, которые обучены на огромных объемах реальных данных, оптимизированы для интеграции с платформой Nvidia Omniverse. Эта платформа предоставляет возможность создания реалистичных 3D-моделей и сцен, что облегчает процесс формирования цифровых двойников. Цифровые двойники становятся важным инструментом для обучения роботов в разнообразных средах, где они могут тестироваться и отлаживаться без риска повреждения и больших затрат. В результате взаимодействия этих технологий разработчики могут быстрее и эффективнее подготавливать свои ИИ-модели к применению в реальном мире.

Расширение Omniverse с генерирующим физическим ИИ

Omniverse значительно расширился благодаря добавлению четырех новых шаблонов, которые направлены на ускорение процессов в промышленности и робототехнике. Одним из ключевых решений является Mega, использующая API Omniverse Sensor RTX. Этот инструмент обеспечивает инженерам-робототехникам возможность тестирования и управления роботизированными флотами в виртуальных условиях, прежде чем они будут внедрены в реальные помещения. С помощью Mega компании могут симулировать поведение роботов в сложных сценариях, что позволяет минимизировать риски и затраты, связанные с физическим тестированием. В результате предприятия получают возможность более эффективно развивать свои автономные системы, адаптируя их к различным задачам и средам, что особенно важно в условиях современных коммерческих операций.

Первопроходцы использования Mega

Компании KION Group и Accenture стали первыми передовыми пользователями платформы Mega от Nvidia, интегрируя её в свои процессы для улучшения операций в розничной торговле и упаковке товаров. Mega предоставляет возможность разрабатывать и тестировать автономные транспортные средства в виртуальной среде, что значительно упрощает процесс обучения и ожидаемой адаптации роботов к различным сценариям. Эта система позволяет получать новые высококачественные данные, необходимые для создания более точных и эффективных моделей искусственного интеллекта. Использование Mega также способствует оптимизации логистических процессов, позволяя предприятиям быстрее реагировать на изменения в спросе и улучшать взаимодействие между автономными роботами и человеческими работниками в рабочих пространствах.

Модель ИИ для гуманоидных роботов Isaac GR00T

Модель ИИ Isaac GR00T для гуманоидных роботов получила новый шаблон, который позволяет использовать гарнитуру Apple Vision Pro для демонстрации различных задач. Этот подход основан на методике, при которой гуманоиды учатся выполнять действия, подражая поведению человека. Однако для успешного обучения необходимы большие объемы высококачественных данных, что зачастую становится трудоемким процессом. Шаблон GR00T призван упростить этот процесс, создавая обширные синтетические датасеты на основе небольшого количества видеозаписей человеческих демонстраций. Таким образом, инженеры могут эффективно увеличивать объем необходимых данных, сокращая время и ресурсы, затрачиваемые на обучение гуманоидных роботов. Это новшество существенно ускоряет подготовку ИИ к выполнению сложных задач в реальном мире, обеспечивая более безопасное и эффективное взаимодействие гуманоидов с людьми.