Обучение трансформеров причинно-следственному мышлению: новый подход в искусственном интеллекте.

 Can We Teach Transformers Causal Reasoning? This AI Paper Introduces Axiomatic Training: A Principle-Based Approach for Enhanced Causal Reasoning in AI Models

“`html

Искусственный интеллект (ИИ) и его роль в каузальном рассуждении

Искусственный интеллект (ИИ) преобразовал традиционные исследования, подняв их на недостижимые прежде высоты. Однако в других областях его применения есть куда развиваться. Одной из критических задач в области ИИ является обучение моделей каузальному рассуждению. Традиционные методы сильно зависят от больших наборов данных с явно отмеченными каузальными связями, которые часто дороги и сложны в получении. Исследователи стремятся найти инновационные подходы к обучению моделей ИИ пониманию и применению каузального рассуждения, используя более доступные источники данных. Эта проблема критически влияет на эффективность и точность систем ИИ в понимании и рассуждении о причинно-следственных отношениях в различных приложениях.

Существующие модели ИИ обычно используют обширные наборы данных, в которых каузальные отношения явно указаны или выводятся через статистические закономерности. Например, большие языковые модели (LLM), такие как GPT-4, продемонстрировали некоторые способности в каузальном рассуждении. Однако эти модели часто нуждаются в помощи с невидимыми или сложными каузальными структурами. Нынешние методы включают прямые вмешательства данных или предварительное обучение моделей на наборах данных, богатых каузальной информацией. Несмотря на эти усилия, ограничения остаются значительными, особенно в отношении способности моделей к обобщению через различные каузальные сценарии.

Исследователи из Microsoft Research, IIT Hyderabad и MIT предложили новый метод, называемый аксиоматическим обучением, чтобы преодолеть эти проблемы. Этот подход включает обучение моделей на множестве демонстраций каузальных аксиом или правил, а не только на индуктивных предубеждениях или выводимых значениях данных. Предоставляя моделям ИИ различные примеры этих гипотез, исследователи стремятся улучшить способность моделей к обобщению каузального рассуждения на новые и более сложные сценарии. Этот метод особенно инновационен, так как он смещает фокус с обучения, основанного на данных, на более принципиальный подход.

Подход аксиоматического обучения, разработанный исследовательской командой, включает в себя создание разнообразных учебных данных, включающих множественные демонстрации каузальной аксиомы. Например, используется аксиома транзитивности, где, если A вызывает B и B вызывает C, то A должно вызывать C. Для улучшения их способностей к обобщению модели обучались на линейных каузальных цепочках с вариациями, включая шум и обратные порядки. Это всестороннее обучение направлено на то, чтобы позволить моделям применять изученные аксиомы к более крупным и сложным каузальным графам, даже тем, которые не встречались во время обучения. Исследователи разработали различные наборы оценок, чтобы проверить способности моделей, охватывая каузальные последовательности длиннее тренировочных данных и последовательности с перетасованными порядками для оценки структурного понимания и применения аксиомы транзитивности к более сложным сетям.

Результаты этого исследования впечатляют. 67-миллионная трансформерная модель, обученная с использованием аксиоматических демонстраций, продемонстрировала исключительные способности к обобщению. Она смогла расширить свое понимание на более длинные каузальные цепочки, обратные последовательности и сложные структуры разветвлений, даже превзойдя в некоторых тестах более крупные модели, такие как GPT-4 и Gemini Pro. Например, модель достигла уровня точности 0.85 для стандартных цепочек и 0.78 для случайно перевернутых цепочек длиной 14-15. Эти результаты подчеркивают способность модели эффективно обрабатывать невидимые сценарии. Кроме того, модель продемонстрировала конкурентоспособную производительность по сравнению с GPT-4, с значительной точностью в каузальных цепочках размерами 7-13, превосходя другие LLM, такие как Gemini Pro и Phi-3, в различных задачах.

В заключение, исследование подчеркивает потенциал аксиоматического обучения в улучшении каузальных рассуждений моделей ИИ. Обучая модели на фундаментальных каузальных аксиомах, исследователи продемонстрировали, что ИИ может эффективно ориентироваться в сложных каузальных структурах. Этот метод предлагает более эффективный и масштабируемый подход к обучению каузальному рассуждению, который потенциально изменит способы обучения систем ИИ для задач каузального заключения. Успех этого метода указывает на многообещающее направление для будущих исследований и применений в области ИИ, подчеркивая важность принципиального обучения перед традиционными методами, основанными на данных.

Проверить статью можно по ссылке. Вся заслуга за это исследование принадлежит его авторам. Также не забудьте подписаться на наш Twitter.

Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.

Если вам нравится наша работа, вам понравится и наша рассылка.

Не забудьте присоединиться к нашему сообществу ML на Reddit.

Источник: MarkTechPost

Применение ИИ в вашем бизнесе

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Can We Teach Transformers Causal Reasoning? This AI Paper Introduces Axiomatic Training: A Principle-Based Approach for Enhanced Causal Reasoning in AI Models.

Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.

Определитесь, какие ключевые показатели эффективности (KPI) вы хотите улучшить с помощью ИИ.

Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.

На полученных данных и опыте расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на Telegram.

Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.

Попробуйте AI Sales Bot itinai.ru/aisales. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!

“`

Полезные ссылки: