Google выпустила автономный «мозг» для роботов: новая модель работает без сети

В отличие от предыдущих решений, требующих постоянного интернет-соединения, Gemini Robotics On-Device выполняет все вычисления локально прямо на устройстве. Это важно для работы в условиях нестабильной связи, а также для защиты данных.

Разработчики отметили, что модель демонстрирует высокую адаптивность, осваивая новые действия всего за 50–100 демонстраций. В ходе тестов роботы выполняли сложные манипуляции, включая расстегивание сумок и складывание одежды, демонстрируя точность движений.

Изначально система обучалась на роботе ALOHA, но затем ее перенесли на гуманоидного робота Apollo от Apptronik и двурукий манипулятор Franka FR3. Это подтверждает универсальность архитектуры и способность модели адаптироваться к разным аппаратным платформам.

Оценка производительности Gemini Robotics On-Device по сравнению с флагманской облачной моделью Gemini Robotics и предыдущей лучшей автономной моделью. Изображение: Google

Модель также справляется с незнакомыми объектами и задачами. Например, Franka FR3 выполнял сборку на промышленном конвейере с деталями, которые не встречались в обучающих сценариях. Это демонстрирует способность системы к обобщению и работе в реальных условиях.

Google также представила комплект для разработки ПО, позволяющий исследователям и компаниям тестировать систему как в симуляторе MuJoCo, так и в реальной среде — с возможностью демонстрации новых задач через дистанционное управление.

Робот под управлением автономной модели Gemini Robotics On-Device

Однако компания предупреждает, что локальная версия Gemini Robotics On-Device не включает встроенные механизмы безопасности, которые присутствуют в облачной версии. Разработчикам рекомендуется самостоятельно интегрировать системы защиты и контроллеры безопасности.

Источник: hightech.fm