“`html
Выпуск DocChat от Cerebras: построенный на основе Llama 3, DocChat обладает возможностями GPT-4 для беседы и ответов
Выпуск DocChat от Cerebras является значительным достижением в системах беседы на основе документов. Cerebras, известная своими глубокими знаниями в области машинного обучения (ML) и больших языковых моделей (LLM), представила две новые модели в рамках серии DocChat: Cerebras Llama3-DocChat и Cerebras Dragon-DocChat. Эти модели разработаны для обеспечения высокопроизводительного беседующего ИИ, специально нацеленного на задачи ответов на вопросы на основе документов, и были созданы с помощью передовой технологии Cerebras.
Обзор моделей DocChat
Cerebras Llama3-DocChat построен на основе фундамента Llama 3 и включает в себя продвинутые идеи из недавних исследований в этой области, в частности, серии моделей Nvidia ChatQA. Разработка этой модели включала использование обширного опыта в обучении LLM и курировании набора данных наряду с инновационными техниками, такими как генерация синтетических данных. Такой подход позволил Cerebras устранить ограничения, которые нельзя было полностью решить с использованием доступных данных из реального мира.
Cerebras Dragon-DocChat представляет собой многовариантную модель-восстановитель, которая настроена для улучшения показателей извлечения информации. Модель была обучена на наборе данных конверсационных вопросов и ответов ChatQA и улучшена с помощью контрастной потери с трудными отрицательными примерами, что привело к значительному улучшению показателей по сравнению с предшественниками и конкурентами.
Эффективность обучения и производительность
Одной из выдающихся особенностей моделей DocChat является скорость их обучения. Модель Cerebras Llama3-DocChat была обучена всего за несколько часов с использованием одной системы Cerebras, в то время как модель Dragon-DocChat была настроена всего за несколько минут. Эта удивительная эффективность свидетельствует о передовых возможностях аппаратного и программного обеспечения Cerebras, устанавливая новую планку в индустрии искусственного интеллекта.
Производительность этих моделей была тщательно оценена на различных бенчмарках. Обе модели достигли результатов высшего уровня для своих соответствующих размеров, превзойдя многие существующие решения. Например, на бенчмарках, таких как ConvFinQA и SQA, Cerebras Llama3-DocChat продемонстрировала значительные улучшения, демонстрируя свои выдающиеся возможности в решении сложных задач конверсационных вопросов и ответов.
Обязательства по открытому исходному коду
Компания Cerebras также подтвердила свои обязательства перед сообществом открытого исходного кода, выпустив DocChat. Компания предоставила веса модели, полные рецепты обучения и связанные наборы данных в открытый доступ. Такой уровень прозрачности позволяет другим исследователям и разработчикам ИИ воспроизводить, развивать и инновационно использовать работы Cerebras, что может привести к дальнейшему развитию в этой области.
Сравнения бенчмарков
Модели DocChat от Cerebras показали впечатляющие результаты в прямых сравнениях с другими моделями. Например, в бенчмарке ChatRAG, Cerebras Llama3-DocChat набрала более высокие баллы, чем Llama3-ChatQA от Nvidia и GPT-4 Turbo в нескольких ключевых метриках. Аналогично, Cerebras Dragon-DocChat превзошла Dragon+ от Facebook и Dragon Multiturn от Nvidia в показателях извлечения информации, особенно в многовариантных конверсационных ситуациях.
Разработка DocChat имела свои сложности. Одной из ключевых проблем, с которыми столкнулись в процессе обучения, была способность модели обрабатывать невозможные вопросы. Первоначальные тесты показали, что модель с трудом справлялась с этими вопросами, часто неправильно отвечая. Через эксперименты Cerebras выяснила, что увеличение выборки, соответствующей невозможным вопросам, улучшило производительность модели. Однако компания признает, что здесь еще есть место для улучшения, особенно при сравнении с передовыми моделями, такими как QuAC и DoQA.
Еще одной сложностью было повышение арифметической производительности модели, которая изначально имела склонность к ошибкам. Внедрением техник, вдохновленных методом Chain of Thought (CoT), Cerebras значительно улучшила точность модели в арифметических задачах. Извлечение сущностей вызывало затруднения из-за необходимости большего количества высококачественных данных для обучения. Эту проблему удалось уменьшить путем интеграции подмножества SKGInstruct, набора данных для настройки инструкций, что улучшило производительность модели в задачах извлечения сущностей.
У Cerebras амбициозные планы по дальнейшему развитию серии DocChat. Компания изучает несколько захватывающих направлений, включая поддержку более длинных контекстов, улучшенное математическое рассуждение и увеличение размеров модели. Ожидается, что эти улучшения укрепят позиции Cerebras в качестве лидера в области беседующего ИИ.
В заключение, выпуск DocChat от Cerebras, скорость и эффективность обучения этих моделей и их высокопроизводительность подчеркивают технологические достижения Cerebras. Кроме того, обязательство компании к открытому исходному коду и постоянному инновационному развитию обеспечивает, что DocChat принесет пользу пользователям и внесет вклад в более широкое сообщество ИИ. Поскольку Cerebras продолжает совершенствовать и расширять свои предложения, влияние DocChat на будущее коммуникации, основанной на ИИ, вероятно, будет значительным.
Проверьте модель на HF и подробности. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам нравится наша работа, вам понравится наш бюллетень..
Не забудьте присоединиться к нашему 49 тыс. подписчиков в ML SubReddit
Найдите предстоящие AI вебинары здесь
“`
