“`html
BRAG: высокопроизводительные модели SLM (малых языковых моделей), специально обученные для задач RAG за менее чем $25 каждая
BRAG – это серия высокопроизводительных моделей Retrieval Augmented Generation (RAG), разработанных исследователями Maximalists AI. Модели BRAG – это семейство малых языковых моделей, разработанных для предложения экономичных и высокопроизводительных альтернатив в области обработки языка с использованием искусственного интеллекта.
Практические решения и ценность
BRAG были созданы как эффективные и высокопроизводительные языковые модели, которые не требуют обширных вычислительных ресурсов, типичных для масштабных моделей, таких как модели от Nvidia и OpenAI. Основной мотивацией для создания BRAG было разработать серию моделей, способных соответствовать или превзойти производительность ведущих моделей, таких как Cohere’s Command R+, Qwen2, Llama3.1 и Llama3 Instruct, при минимальных затратах на обучение.
Серия BRAG включает четыре модели:
- BRAG-Qwen2-7b-v0.1
- BRAG-Llama-3.1-8b-v0.1
- BRAG-Llama-3-8b-v0.1
- BRAG-Qwen2-1.5b-v0.1
Эти модели были выбраны на основе их производительности в открытых бенчмарках и способности сбалансировать эффективность и возможности.
Модели BRAG характеризуются отличной производительностью относительно их размера. Модели 1.5 миллиарда параметров предлагают отличный баланс производительности и эффективности. Модели 7 и 8 миллиардов параметров способны решать более сложные задачи, такие как понимание длинного контекста, интерпретация табличных данных и математическое рассуждение.
Обучение моделей BRAG включало в себя техники Low-Rank Adaptation (LoRA) и квантование LoRA (QLoRA). Техника LoRA позволяет более быстрое обучение с сниженными вычислительными затратами за счет упрощения матриц адаптации. В свою очередь, QLoRA сжимает параметры весов до 4-битной точности, что значительно сокращает объем памяти и облегчает обучение на видеокартах для потребителей.
Модели были оценены с использованием ChatRAG-Bench, бенчмарка, разработанного для оценки возможностей конверсационного вопросно-ответного (QA) и RAG на различных типах документов и форматах вопросов. Метриками оценки были использованы F1-мера и точность Exact Match, которые предоставили представление о способности моделей генерировать точные и контекстуально актуальные ответы.
В процессе обучения возникли несколько вызовов, таких как обработка длинных документов, интерпретация табличных данных и обработка доменно-специфических запросов. Эти проблемы были решены путем тщательного выбора наборов данных и экспериментов с различными их комбинациями. Например, включение наборов данных, таких как DROP, Quoref и SQuAD, помогло улучшить способности моделей в обработке сложных и разнообразных типов данных. Метрика F1-меры, хотя и широко принята, обнаружено имеет ограничения в улавливании семантических нюансов и контекста. Это подчеркивает необходимость более всесторонних и контекстно-ориентированных метрик оценки для более точной оценки производительности модели.
В заключение, Maximalists планируют улучшить модели BRAG, улучшив производительность RAG и обработку табличных данных, а также ввести генерацию ссылок для лучшей интерпретируемости. Они также стремятся совершенствовать техники переписывания запросов для улучшения точности и актуальности поиска. Разработка BRAG поддерживалась за счет кредитов от Modal Labs, что способствовало экономичным экспериментам. С использованием инновационных методов обучения и стратегического выбора моделей BRAG продемонстрировали, что высокая производительность может быть достигнута с минимальными затратами на ресурсы, что открывает путь для более доступных и эффективных решений в области искусственного интеллекта.
Подробности и модели можно посмотреть здесь.
Вся заслуга за этот исследовательский проект принадлежит исследователям. Также не забудьте подписаться на наш Twitter и присоединиться к нашей группе в LinkedIn. Если вам нравится наша работа, вам понравится и наша рассылка.
Не забудьте присоединиться к нашему сообществу в 47k+ ML SubReddit.
Посмотрите предстоящие вебинары по ИИ здесь.
Этот пост был опубликован первоначально на MarkTechPost.
“`
