“`html
Успех LLM в поисковых системах
С развитием LLM в различных задачах, поисковые системы начали использовать генеративные методы для предоставления точных ответов на запросы пользователей с встроенными ссылками на источники. Однако генерация надежных и приписываемых ответов, особенно в ситуациях поиска информации без конкретных ограничений, представляет собой сложную задачу из-за сложности вопросов и широкого спектра возможных ответов. Существующие методы обычно сосредотачиваются на приписываемых вопросах и ответах, что включает поиск конкретных ответов на точные запросы, не обращая внимания на более сложную проблему поиска информации с указанием источников. Основная проблема заключается в возможности LLM генерировать неправильную или “воображаемую” информацию.
Предложенный фреймворк
Команда исследователей из Франции предложила воспроизводимый фреймворк искусственного интеллекта, который поддерживает различные архитектуры LLM для поиска информации с указанием источников и адаптируется к любому набору данных. Предложенный фреймворк разработан для оценки задач поиска информации с указанием источников с использованием различных архитектур LLM. Подход Generate использует LLM для генерации ответов исключительно на основе их существующих знаний. В подходе Retrieve Then Generate сначала извлекаются документы, относящиеся к запросу, а затем LLM генерирует ответы с указанием источников на основе этих документов. Фреймворк включает варианты RTG, такие как ванильное извлечение и генерация запросов, где последнее включает генерацию подзапросов для улучшения точности извлечения. В подходе Generate Then Retrieve ответы сначала генерируются без указания источников, а затем находятся соответствующие документы для поддержки сформулированных утверждений.
Оценка производительности
Оценка производительности с использованием набора данных HAGRID показывает, что подходы RTG превосходят другие методы, демонстрируя лучшую общую производительность в правильности ответов и качестве цитирования. В частности, сценарий RTG-query-gen генерирует запросы для направления извлечения документов и достигает наивысших оценок качества цитирования. Анализ показывает, что качество цитирования и влияние методов извлечения являются ключевыми факторами эффективности систем поиска информации с указанием источников. Фреймворк также включает различные метрики для оценки как правильности ответов, так и качества цитирования, и результаты показывают, что методы RTG обычно дают более высокие результаты по сравнению с подходами GTR.
Выводы и рекомендации
Из экспериментов выявлены несколько других результатов. Увеличение количества поддерживающих документов оказало разное влияние на цитирование. Хотя это улучшило обнаружение цитат, это также привело к проблемам с избыточным цитированием. Кроме того, исследование показало, что хотя автоматические метрики цитирования, такие как AutoAIS и метрики на основе естественного языка, хорошо коррелируют с человеческими суждениями в сценариях вопросов и ответов, они менее эффективны в задачах поиска информации без конкретных ограничений.
В заключение, предложенный фреймворк эффективно решает проблему оценки сценариев поиска информации с указанием источников, предлагая всесторонний фреймворк с открытым исходным кодом, который поддерживает различные архитектуры LLM. Фокусируясь как на правильности ответов, так и на качестве цитирования, фреймворк предлагает ценные исследования и оценки для будущих исследований. Подход RTG-query-gen демонстрирует значительные улучшения в точности цитирования, подчеркивая важность эффективного извлечения документов и генерации запросов в задачах поиска информации с указанием источников.
Проверьте нашу статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам нравится наша работа, вам понравится наш новостной бюллетень.
Не забудьте присоединиться к нашему сообществу в ML SubReddit.
БЕСПЛАТНЫЙ ВЕБИНАР ПО ИИ: “SAM 2 для видео: как настроить под ваши данные” (Ср, 25 сентября, 4:00 – 4:45 по восточному времени)
The post An Extensible Open-Source AI Framework to Benchmark Attributable Information-Seeking Using Representative LLM-based Approaches appeared first on MarkTechPost.
“`
