“`html
Dense Retrieval (DR) Models and Mamba Retriever
Применение технологии Mamba Retriever для эффективного и эффективного плотного поиска
Модели плотного поиска (DR) представляют собой передовой метод информационного поиска (IR), использующий техники глубокого обучения для отображения отрывков и запросов в пространство вложений. Модель может определять семантические отношения между ними, сравнивая вложения запроса и отрывков с использованием этого пространства вложений. Модели DR стремятся найти компромисс между двумя важными аспектами: эффективностью, т.е. точностью и применимостью извлеченной информации, и эффективностью, т.е. скоростью, с которой модель может обрабатывать и предоставлять соответствующие данные.
PLM (предварительно обученные языковые модели), особенно те, которые построены на архитектуре Transformer, стали эффективными инструментами для кодирования запросов и отрывков в моделях глубокого обучения с подкреплением. PLM на основе Transformer отлично справляются с захватом сложных семантических связей и зависимостей в длинных текстовых последовательностях благодаря их механизму самовнимания.
Однако вычислительная сложность PLM на основе Transformer является значительным недостатком. Хотя они мощные, вычислительные затраты механизма самовнимания растут квадратично с длиной текстовой последовательности. Это означает, что модель требует гораздо больше времени для вывода соответствующей информации по мере увеличения длины анализируемого текста. При работе с задачами поиска длинных текстов, где отрывки длинные и требуют значительной обработки, эта неэффективность становится очень проблематичной.
Недавние исследования создали непреобразовательные PLM, которые стремятся улучшить скорость обработки, предлагая при этом сравнимую или даже более высокую эффективность для решения проблем эффективности. Архитектура Mamba является одной из таких. PLM на основе MLB доказали, что они могут быть так же эффективны, как модели на основе Transformer, в задачах генерации языка, которые требуют создания текста на основе входных данных.
PLM Mamba показывают линейное масштабирование времени относительно длины последовательности, в отличие от квадратичного масштабирования времени, наблюдаемого в моделях на основе Transformer. Это означает, что они значительно быстрее для задач поиска длинных текстов, поскольку время обработки растет значительно медленнее с увеличением длины текста. Возможность использования архитектуры Mamba в качестве кодера для моделей DR в задачах IR была изучена в исследовании.
В частности, был представлен Mamba Retriever, модель, предназначенная для изучения того, может ли Mamba функционировать как кодер, который одновременно эффективен и эффективен. Для настройки Mamba Retriever использовались два важных набора данных: набор данных LoCoV0, предназначенный для поиска длинных текстов, и набор данных MS MARCO passage ranking, который часто используется для оценки поиска коротких текстов.
Команда суммировала свой основной вклад следующим образом.
Mamba Retriever был создан с целью максимизации эффективности и эффективности в операциях информационного поиска (IR). Быстрые времена обработки и отличная точность поиска сбалансированы в архитектуре этой модели.
Было изучено, как эффективность Mamba Retriever меняется при различных размерах модели. Тесты на наборах данных BEIR и MS MARCO passage rating показали, что Mamba Retriever работает лучше или лучше, чем модели на основе Transformer с точки зрения эффективности. Эффективность модели растет с увеличением размера модели, что указывает на то, что более крупные модели Mamba способны захватывать более сложную семантическую информацию.
Была изучена эффективность Mamba Retriever, особенно в задачах поиска длинных текстов. Используя набор данных LoCoV0, команда продемонстрировала, что с настройкой Mamba Retriever может обрабатывать текстовые последовательности длиннее своей предварительно обученной длины, достигая эффективности на уровне или лучше, чем у предыдущих моделей, созданных для поиска длинных текстов.
Команда изучила эффективность вывода Mamba Retriever при различной продолжительности отрывков. Согласно результатам, Mamba Retriever превосходит по скорости вывода и имеет преимущество линейного масштабирования времени, что делает его особенно подходящим для приложений поиска информации в длинных текстах.
В заключение, модель Mamba Retriever для информационного поиска является эффективной и успешной, особенно в случае поиска длинных текстов. Благодаря быстрой скорости вывода и высокой эффективности, она является жизнеспособным вариантом для различных задач вывода, что отличает ее от более традиционных моделей на основе Transformer.
Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter и присоединиться к нашей группе в LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу в Reddit.
Найдите предстоящие вебинары по ИИ здесь.
Опубликовано на MarkTechPost.
Применение Mamba Retriever для вашего бизнеса
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Mamba Retriever: An Information Retriever Model for Utilizing Mamba for Effective and Efficient Dense Retrieval.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на Telegram. Следите за новостями о ИИ в нашем Телеграм-канале или в Twitter.
Попробуйте AI Sales Bot. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab. Будущее уже здесь!
Подписывайтесь на нашу рассылку.
Не забудьте присоединиться к нашему сообществу в Reddit.
Найдите предстоящие вебинары по ИИ здесь.
Опубликовано на MarkTechPost.