Инженеры Массачусетского технологического института совместно с исследователями Нью-Йоркского университета разработали систему FLEX для обучения роботов.
Она помогает машинам понимать не только буквальный смысл команды, но и скрытые намерения человека, сообщается на сайте Массачусетского технологического института.
FLEX предназначена для планирования движений робота и позволяет управлять им с помощью обычных разговорных фраз. Система анализирует указание пользователя и делает более общий вывод о том, чего следует избегать, поэтому человеку не нужно заранее перечислять каждое потенциально опасное препятствие.
В качестве примера разработчики привели робота, который переносит чашку кофе через загроможденный стол. Если оператор пишет «Не пролей на ноутбук», машина учитывает не только ноутбук, но и другие электронные устройства, например расположенный рядом телефон.
Для таких выводов FLEX использует большую языковую модель GPT-4o, способную выявлять связи между предметами и ситуациями.
Работа платформы состоит из 3 этапов: робот добавляет указанный объект в список важных признаков, языковая модель обобщает команду и определяет категорию угроз, а система компьютерного зрения удаляет из списка предметы, которых уже нет в окружении. Весь процесс занимает около 5 секунд.
FLEX проверили в симуляциях с 3 задачами: переносом чашки кофе, свечи и шара для боулинга. Команды вроде «Не пролей на ноутбук», «Держись подальше от стопки бумаги» и «Не урони на кружку» позволили роботу избегать электроники, легковоспламеняющихся предметов и хрупких объектов.
