“`html
Qdrant представляет BM42: передовой алгоритм гибридного поиска на основе векторов, оптимизирующий RAG и приложения ИИ
Qdrant, ведущий разработчик технологии векторного поиска, представил BM42, новый алгоритм, призванный революционизировать гибридный поиск. За последние четыре десятилетия стандартным алгоритмом, используемым поисковыми системами, от Google до Yahoo, был BM25. Однако появление векторного поиска и внедрение Retrieval-Augmented Generation (RAG) подчеркнули необходимость более продвинутого решения. BM42 нацелен на преодоление этой разницы, объединяя преимущества BM25 с современными моделями трансформеров и предлагая значительное улучшение для приложений поиска.
Наследие BM25
BM25 оставался актуальным долгое время благодаря своей простой, но эффективной формуле, которая рассчитывает релевантность документов на основе частоты терминов и обратной частоты документов (IDF). Этот метод превосходит в традиционных средах веб-поиска, где длина документов и структуры запросов согласованы. Однако ландшафт поиска текста резко изменился с появлением систем RAG, требующих обработки более коротких и разнообразных документов и запросов. Надежность BM25 на статистике документов, такой как частота терминов и длина документа, становится менее эффективной в этих сценариях.
Введение BM42
BM42 решает эти проблемы, интегрируя основные принципы BM25 с возможностями моделей трансформеров. Ключевым новшеством в BM42 является использование матриц внимания от трансформеров для определения важности термина внутри документов. Трансформеры генерируют ряд выходных данных, включая вложения и матрицы внимания, выделяющие значимость каждого токена во входной последовательности. Используя строку внимания, соответствующую специальному токену [CLS], BM42 может точно оценить важность каждого токена в документе, даже для более коротких текстов, типичных для приложений RAG.
Преимущества BM42
BM42 предлагает несколько преимуществ перед BM25 и SPLADE, другой современной альтернативой, использующей трансформеры для создания разреженных вложений. В то время как SPLADE продемонстрировал превосходную производительность в академических тестах, ему нужно улучшить свою производительность, включая необходимость обширных вычислительных ресурсов и проблемы с токенизацией и зависимостью от области. BM42, напротив, сохраняет интерпретируемость и простоту BM25, преодолевая ограничения SPLADE.
Одно из основных преимуществ BM42 – его эффективность. Алгоритм может быстро выполнять выводы документов и запросов, что делает его подходящим для приложений в реальном времени. У него также низкий объем памяти, обеспечивая возможность обработки больших наборов данных без значительных требований к ресурсам. BM42 поддерживает несколько языков и областей, при наличии подходящей модели трансформера, что делает его очень универсальным.
Практическая реализация
BM42 может легко интегрироваться в векторный поисковый движок Qdrant. Реализация включает настройку коллекции для гибридного поиска с BM42 и использование плотных вложений из моделей, таких как jina.ai. Это сочетание позволяет достичь сбалансированного подхода, где разреженные и плотные вложения дополняют друг друга для улучшения точности поиска. Проведенные Qdrant бенчмарки демонстрируют, что BM42 превосходит BM25 в сценариях с короткими текстами, общим случаем в современных приложениях поиска.
Поддержка участия сообщества
Выпуск BM42 от Qdrant представляет собой важный этап в эволюции алгоритмов поиска. Объединяя надежность BM25 с интеллектом трансформеров, BM42 устанавливает новый стандарт для гибридного поиска. Он решает ограничения более ранних методов и современных альтернатив, предлагая универсальное, эффективное и высокоточное решение для современных приложений поиска.
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Qdrant Unveils BM42: A Cutting-Edge Pure Vector-Based Hybrid Search Algorithm Optimizing RAG and AI Applications.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!
“`
