Nvidia выпустила набор ИИ-инструментов для роботов, чтобы они познавали мир

Nvidia анонсировала комплект моделей искусственного интеллекта, библиотек и инструментов для обработки информации из внешнего мира. Эти решения ориентированы на разработчиков робототехники.

Главная новинка — модель машинного зрения Cosmos Reason с 7 млрд параметров. Она позволяет роботам опираться на память и знания о физике, планировать действия и принимать решения.

Cosmos Transfer-2 создаёт синтетические сцены для 3D-симуляций. Улучшенная версия первой модели Cosmos Transfer работает быстрее и помогает генерировать массивы обучающих данных — текст, изображения и видео, которые используют для обучения ИИ-машин.

Nvidia также выпустила новые библиотеки для нейронной реконструкции с прорисовкой трёхмерного мира на основе сенсорных данных. Функция интегрирована в открытый симулятор CARLA, которым пользуются разработчики. Обновлены инструменты SDK Omniverse, представлены локальные и облачные серверные решения для задач робототехники.