“`html
Оптимизированная модель NV-Retriever-v1: преимущества и практическое применение
Значимость извлечения текста
Извлечение текста важно для поисков, ответов на вопросы, семантической схожести и рекомендаций. Модели векторного представления или плотного извлечения играют ключевую роль в этом процессе.
Существующие методы
Модели вложения текста преобразуют текст переменной длины в векторы фиксированного размера. Например, Sentence-BERT и Contrastive learning (CL) стали популярными разработками.
NV-Retriever-v1
Модель NV-Retriever-v1 от NVIDIA обеспечивает выдающуюся производительность в задачах извлечения текста, благодаря семейству методов hard-negative mining. Она показала средний результат 60,9 на 15 наборах данных BEIR и заняла первое место в рейтинге MTEB Retrieval на момент публикации в 2024 году.
Практическое применение
Метод NV-Retriever-v1 fine-tuned с использованием модели вложения E5-Mistral-7B для hard-negative mining с максимальной длиной последовательности 4096. Он использует метод TopK-PercPos для избежания ложных отрицательных результатов.
Результаты и перспективы
Модель NV-Retriever-v1, использующая методы positive-aware mining, превзошла лучшие модели на 0,65 пункта, что является значительным улучшением. Это стимулирует дальнейшие исследования и обеспечивает более точную настройку моделей вложения текста.
Дополнительная информация и контакты
Для более подробной информации ознакомьтесь с Paper and Model Card. Следите за новостями в нашем Twitter и присоединяйтесь к нашему Telegram Channel и LinkedIn Group. Присоединяйтесь к нашему newsletter.
Присоединяйтесь к нашему сообществу в Reddit: 47k+ ML SubReddit.
Узнайте о предстоящих вебинарах по искусственному интеллекту здесь.
Источник: MarkTechPost