Искусственный интеллект продолжает развиваться в области обработки естественного языка, но все еще сталкивается с проблемами в задачах пространственного мышления. Пространственное мышление является основополагающим для робототехники, автономной навигации и интерактивных приложений для решения проблем. Системы ИИ должны эффективно интерпретировать структурированные окружения и выполнять последовательные решения для функционирования в этих областях.
Основной проблемой в пространственном мышлении ИИ является возможность интерпретации языковыми моделями действий на основе визуальной информации. Большие языковые модели (LLMs) хорошо обрабатывают текстовые данные, но им не хватает внутреннего пространственного понимания. Обучение таких моделей для понимания и навигации в структурированных пространствах, таких как лабиринты, требует новых методик, которые включают токенизированные визуальные данные.
Исследователи из Menlo Research представили AlphaMaze, двухступенчатую обучающую структуру для улучшения пространственного мышления LLM. Эта структура объединяет контролируемую донастройку (SFT) с оптимизацией групповой относительной политики (GRPO) для улучшения принятия решений в навигации по лабиринтам. Обучение начинается с представления модели кураторского набора данных токенизированных представлений лабиринтов, что позволяет ей изучать последовательности движений шаг за шагом.
Экспериментальные результаты показали явное улучшение точности решения лабиринтов. Модель, которая не имела структурированного обучения, не смогла успешно пройти ни один лабиринт. После обучения с использованием SFT модель достигла точности 86%, а дальнейшая доработка с помощью GRPO увеличила точность до 93%. Это подчеркивает эффективность обучения с подкреплением в улучшении пространственного мышления.
Результаты этого исследования демонстрируют жизнеспособность комбинирования контролируемого обучения с оптимизацией подкрепления для улучшения пространственного мышления ИИ. Использование токенизированных визуальных представлений и последовательной доработки позволяет LLM динамически адаптировать свои стратегии принятия решений. Это исследование открывает перспективный путь к оснащению LLM продвинутыми способностями пространственного мышления для реальных приложений.
Если вам нужна помощь в управлении ИИ в бизнесе, свяжитесь с нами по адресу hello@itinai.ru. Чтобы быть в курсе последних новостей ИИ, подпишитесь на наш Telegram.
Посмотрите практический пример решения на основе ИИ: бот для продаж, разработанный для автоматизации взаимодействия с клиентами и управления взаимодействиями на всех этапах клиентского пути.
