“`html
Аналогичное рассуждение в машинном обучении
Аналогичное рассуждение, фундаментальное для абстрактного мышления и творческого мышления человека, позволяет понимать отношения между объектами. Эта способность отличается от семантического и процедурного усвоения знаний, которые обычно обрабатываются современными подходами, такими как глубокие нейронные сети (DNN). Однако эти техники часто нуждаются в помощи для извлечения абстрактных правил из ограниченных выборок. Недавние достижения в области машинного обучения направлены на улучшение возможностей абстрактного рассуждения путем выделения абстрактных относительных правил из представлений объектов, таких как символы или пары ключ-значение. Этот подход, известный как относительное узкое место, использует механизмы внимания для захвата соответствующих корреляций между объектами, что позволяет создавать относительные представления.
Преимущества подхода относительного узкого места
Подход относительного узкого места помогает смягчить катастрофическое вмешательство между объектными и абстрактными признаками; проблема, также называемая проклятием композициональности. Эта проблема возникает из-за чрезмерного использования общих структур и низкоразмерных признаковых представлений, что приводит к неэффективной обобщаемости и увеличенным требованиям к обработке. Нейросимволические подходы частично решают эту проблему, используя квази-ортогональные высокоразмерные векторы для хранения относительных представлений, которые менее подвержены вмешательству. Однако эти подходы часто полагаются на явные механизмы связывания и развязывания, требующие заранее известных абстрактных правил.
Новый подход LARS-VSA
Данная статья из Georgia Institute of Technology представляет LARS-VSA (Learning with Abstract RuleS) для решения этих ограничений. Этот новый подход объединяет преимущества подходов, основанных на связях, в захвате неявных абстрактных правил с возможностью управления соответствующими признаками с минимальным вмешательством. LARS-VSA использует векторную символьную архитектуру для решения проблемы относительного узкого места путем выполнения явных связываний в высокоразмерном пространстве. Это позволяет захватывать отношения между символьными представлениями объектов отдельно от признаков на уровне объектов, обеспечивая надежное решение проблемы композиционного вмешательства.
Инновации LARS-VSA
Ключевым новшеством LARS-VSA является реализация механизма самовнимания на основе контекста, который работает непосредственно в биполярном высокоразмерном пространстве. Этот механизм развивает векторы, представляющие отношения между символами, устраняя необходимость заранее известных абстрактных правил. Кроме того, система значительно снижает вычислительные затраты, упрощая умножение матрицы оценок внимания до бинарных операций. Это предлагает легкую альтернативу традиционным механизмам внимания, улучшая эффективность и масштабируемость.
Эффективность LARS-VSA
Для оценки эффективности LARS-VSA его производительность была сравнена с Abstractor, стандартной архитектурой трансформатора, и другими передовыми методами на дискриминирующих относительных задачах. Результаты показали, что LARS-VSA сохраняет высокую точность и предлагает экономическую эффективность. Система была протестирована на различных синтетических наборах данных последовательности-в-последовательность и сложных математических задачах, демонстрируя свой потенциал для практических применений.
Заключение
LARS-VSA представляет собой значительный прогресс в абстрактном рассуждении и относительном представлении. Сочетание подходов, основанных на связях, и нейросимволических подходов решает проблему относительного узкого места и снижает вычислительные затраты. Его надежная производительность на ряде задач подчеркивает его потенциал для практических применений, а его устойчивость к весовой квантизации подчеркивает его универсальность. Этот инновационный подход прокладывает путь к более эффективным и эффективным моделям машинного обучения, способным к сложному абстрактному рассуждению.
Проверьте статью. Вся заслуга за это исследование принадлежит ученым этого проекта. Также не забудьте подписаться на нас в Twitter. Присоединяйтесь к нашему каналу в Telegram, Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 44k+ ML SubReddit.
Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!