“`html
Использование SolverLearner: новая платформа для оценки возможностей индуктивного рассуждения LLMs
С развитием больших языковых моделей (LLM), таких как GPT-3 и GPT-4, обработка естественного языка (NLP) невероятно продвинулась за последние годы. Эти модели способны понимать и генерировать текст, используя свои уникальные способности рассуждения. Однако важно понять, как LLM обрабатывают два вида рассуждения: дедуктивное и индуктивное.
Решение центральных проблем NLP
Одной из центральных проблем NLP является определение, какой тип рассуждения – дедуктивное или индуктивное – является более сложным для LLM. Предыдущие исследования использовали различные задачи для изучения способностей рассуждения LLM, но часто смешивали дедуктивное и индуктивное рассуждение, что затрудняло их отдельную оценку.
Новый подход к оценке способностей рассуждения LLM
Команда исследователей из Университета Калифорнии в Лос-Анджелесе и Amazon представила новую парадигму под названием SolverLearner. Этот новый фреймворк разработан для тестирования чистых индуктивных способностей LLM путем обучения функций, отображающих входные данные на выходные значения только с использованием примеров из контекста. SolverLearner позволяет лучше оценить способность LLM обобщать из конкретных примеров, независимо от внутренних предварительно запрограммированных правил или шаблонов.
Результаты исследования
Исследование показало, что большие языковые модели, включая GPT-4, достигают высоких показателей индуктивного рассуждения при тестировании с помощью фреймворка SolverLearner. Однако они также сталкиваются с существенными вызовами в дедуктивном рассуждении, особенно в задачах, требующих контрфактуальных способностей. Это указывает на важные проблемы, с которыми сталкиваются LLM при применении логических правил в новых ситуациях.
Это исследование подчеркивает важность изоляции и оценки способностей индуктивного рассуждения LLM, а также необходимость дальнейших исследований для улучшения их дедуктивных способностей.
Подробнее ознакомьтесь с исследованием здесь.
Все права на исследование принадлежат его авторам. Следите за нашими новостями в Twitter и присоединяйтесь к нашей группе в LinkedIn.
Не забудьте присоединиться к нашему Telegram-каналу и подписаться на нашу рассылку.
Также рекомендуем посетить вебинар от нашего спонсора: “Построение производительных приложений ИИ с использованием NVIDIA NIMs и Haystack”.
Источник: MarkTechPost.
“`
