В последние годы наблюдается увеличение использования предварительно обученных языковых моделей и нейронных моделей для поиска информации. Одним из эффективных методов является плотный поиск (Dense Retrieval – DR), который обеспечивает отличную производительность в ранжировании. Техники многовекторного плотного поиска (Multi-Vector Dense Retrieval – MVDR) используют несколько векторов для описания документов или запросов.
Генеративный поиск (Generative Retrieval – GR) представляет собой парадигмальный сдвиг в информационном поиске, нацеленный на мгновенное создание подходящих идентификаторов документов для заданного запроса. Недавнее исследование установило связь между современным многовекторным плотным поиском и генеративным поиском.
Основные результаты исследования показали сходство между подходами обеих методик к семантическому сопоставлению и целям обучения. Оно разъяснило, как функцию потерь в GR можно перестроить, чтобы она напоминала унифицированную структуру MVDR, рассмотрев слой внимания и голову предсказания алгоритма. Также было изучено, в чем отличие GR от MVDR в терминах кодирования и выравнивания документов.
Исследование показало, что как многовекторный плотный поиск, так и генеративный поиск используют одну и ту же структуру для определения релевантности документа путем добавления произведений векторов запроса и документа и матрицы выравнивания. Генеративный поиск использует эту общую основу, используя специальные техники для расчета матрицы выравнивания и векторов токенов документа.
Команда предоставила новые идеи в отношении генеративного поиска (GR) с точки зрения многовекторного плотного поиска (MVDR) и представила общую парадигму для оценки релевантности запрос-документ. Они также изучили, как GR использует эту структуру, рассмотрев специальные методы для кодирования документа и вычисления матрицы выравнивания.
В ряде глубоких аналитических экспериментов было выявлено явление совпадения терминов и разъяснены свойства различных направлений выравнивания в парадигмах как GR, так и MVDR, что значительно способствует эмпирическому пониманию этих методов поиска.
Для компаний, желающих развиваться с помощью искусственного интеллекта, важно выявить возможности автоматизации, определить ключевые показатели эффективности, выбрать подходящие решения на основе искусственного интеллекта и постепенно их внедрить. AI может переопределить процессы продаж и взаимодействия с клиентами, предоставляя практические решения, такие как AI Sales Bot от itinai.com/aisalesbot, разработанный для автоматизации взаимодействия с клиентами круглосуточно и управления взаимодействиями на всех этапах клиентского пути.
Для консультаций по управлению KPI в области искусственного интеллекта и постоянных практических рекомендаций по использованию искусственного интеллекта свяжитесь с нами по адресу hello@itinai.com или следите за нашими обновлениями в Telegram t.me/itinainews или Twitter @itinaicom.
Список полезных ссылок:
– AI Lab в Telegram @aiscrumbot – бесплатная консультация
– MarkTechPost
– Twitter – @itinaicom
