Исследователи представили RoboTool: систему ИИ, которая принимает естественно-языковые инструкции и генерирует исполняемый код для управления роботами в симулированных и реальных средах.
Исследователи из университета Карнеги-Меллон и Google DeepMind совместно разработали систему RoboTool, использующую большие языковые модели, чтобы наделить роботов способностью к творческому использованию инструментов в задачах с неявными физическими ограничениями и долгосрочным планированием. Система состоит из четырех ключевых компонентов:
1. Анализатор для интерпретации естественного языка
2. Планировщик для разработки стратегий
3. Калькулятор для вычисления параметров
4. Кодировщик для перевода планов в исполняемый код Python
Используя GPT-4, RoboTool стремится предоставить более гибкое, эффективное и удобное решение для сложных задач робототехники по сравнению с традиционными методами планирования задач и движения.
Исследование демонстрирует достижения RoboTool в различных задачах, таких как преодоление пробелов между диванами, достижение объектов, находящихся за пределами рабочей зоны робота, и творческое использование инструментов вне их обычных функций. В экспериментах с роботизированным манипулятором и четырехногим роботом RoboTool демонстрирует креативное использование инструментов, включая импровизацию, последовательное использование инструментов и изготовление инструментов.
Предложенный RoboTool оценивается как в симулированных, так и в реальных средах, демонстрируя умение решать задачи, которые были бы сложны без креативного использования инструментов. Успешность системы превосходит показатели базовых методов, подчеркивая ее эффективность в решении сложных задач с долгосрочным планированием и неявными ограничениями.
В заключение, RoboTool, работающий на базе больших языковых моделей, представляет собой креативного пользователя инструментов, способного решать проблемы долгосрочного планирования с неявными физическими ограничениями. Способность системы идентифицировать ключевые концепции, разрабатывать креативные планы, вычислять параметры и создавать исполняемый код способствует ее успеху в решении сложных задач робототехники, требующих креативного использования инструментов.
Узнайте, как ИИ может изменить ваш способ работы. Определите возможности автоматизации, определите ключевые показатели эффективности, выберите подходящее решение на базе ИИ и внедряйте его постепенно. Для консультаций по управлению ключевыми показателями эффективности на базе ИИ свяжитесь с нами по адресу hello@itinai.com. Особенности практического решения на базе ИИ: рассмотрите AI Sales Bot от itinai.com/aisalesbot, разработанный для автоматизации взаимодействия с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.
