“`html
Databricks объявила о публичном предпросмотре Mosaic AI Agent Framework и Agent Evaluation
Недавно Databricks объявила о публичном предпросмотре Mosaic AI Agent Framework и Agent Evaluation в рамках мероприятия Data + AI Summit 2024. Эти инновационные инструменты направлены на помощь разработчикам в создании и развертывании высококачественных приложений Agentic и Retrieval Augmented Generation (RAG) на платформе Data Intelligence от Databricks.
Проблемы при создании высококачественных генеративных приложений ИИ
Создание концепции генеративных приложений ИИ относительно просто. Однако разработка высококачественного приложения, соответствующего строгим стандартам для решений, предназначенных для клиентов, требует времени и усилий. Разработчики часто сталкиваются с проблемами:
- Выбор правильных метрик для оценки качества приложения.
- Эффективное сбор человеческой обратной связи для измерения качества.
- Выявление корневых причин проблем с качеством.
- Быстрая итерация для улучшения качества приложения до развертывания в продакшн.
Введение Mosaic AI Agent Framework и Agent Evaluation
Mosaic AI Agent Framework и Agent Evaluation решают эти проблемы через несколько ключевых возможностей:
- Интеграция человеческой обратной связи: Agent Evaluation позволяет разработчикам определять высококачественные ответы для своих генеративных приложений ИИ, приглашая экспертов по предмету из своей организации для обзора и предоставления обратной связи, даже если они не являются пользователями Databricks. Этот процесс помогает собирать разнообразные точки зрения и идеи для улучшения приложения.
- Комплексные метрики оценки: Agent Evaluation предлагает набор метрик для измерения качества приложения, разработанный в сотрудничестве с Mosaic Research. Эти метрики включают точность, галлюцинации, вредоносность и полезность. Система автоматически регистрирует ответы и обратную связь в таблице оценки, облегчая быстрый анализ и выявление потенциальных проблем с качеством. AI-судьи, калиброванные с использованием обратной связи экспертов, оценивают ответы, чтобы выявить корневые причины проблем.
- Рабочий процесс разработки end-to-end: Интегрированный с MLflow, Agent Framework позволяет разработчикам регистрировать и оценивать генеративные приложения ИИ с использованием стандартных API MLflow. Эта интеграция поддерживает плавные переходы от разработки к продакшну, обеспечивая непрерывные циклы обратной связи для улучшения качества приложения.
- Управление жизненным циклом приложения: Agent Framework предоставляет упрощенный SDK для управления жизненным циклом агентных приложений, от управления разрешениями до развертывания с использованием Mosaic AI Model Serving. Эта комплексная система управления обеспечивает масштабируемость и поддержание высокого качества приложений на протяжении их жизненного цикла.
Построение высококачественного RAG-агента
Для иллюстрации возможностей Mosaic AI Agent Framework Databricks предоставила пример создания высококачественного RAG-приложения. Этот пример включает создание простого RAG-приложения, которое извлекает соответствующие фрагменты из заранее созданного векторного индекса и подводит их в ответ на запросы. Процесс включает подключение к векторному поисковому индексу, установку индекса в ретриевер LangChain и использование MLflow для включения трассировок и развертывания приложения. Этот рабочий процесс демонстрирует простоту создания, оценки и улучшения генеративных приложений ИИ с использованием инструментов Mosaic AI.
Прикладные решения и отзывы
Несколько компаний успешно реализовали Mosaic AI Agent Framework для улучшения своих генеративных приложений ИИ. Например, Corning использовала фреймворк для создания исследовательского ассистента ИИ, индексирующего сотни тысяч документов, что значительно улучшило скорость извлечения, качество ответов и точность. Lippert использовала фреймворк для оценки результатов своих генеративных приложений ИИ, обеспечивая точность и контроль данных. FordDirect интегрировала фреймворк для создания единого чат-бота для своих дилерских центров, облегчая оценку производительности и взаимодействие с клиентами.
Ценообразование и следующие шаги
Ценообразование для Agent Evaluation основано на запросах судей, в то время как Mosaic AI Model Serving ценообразование происходит в соответствии с тарифами Mosaic AI Model Serving. Databricks призывает клиентов опробовать Mosaic AI Agent Framework и Agent Evaluation, получив доступ к различным ресурсам, таким как документация по Agent Framework, демонстрационные блокноты и Generative AI Cookbook. Эти ресурсы предоставляют подробное руководство по созданию генеративных приложений ИИ высокого качества от концепции до развертывания.
В заключение, объявление Databricks о Mosaic AI Agent Framework и Agent Evaluation представляет собой значительный прогресс в области генеративного ИИ. Эти инструменты предоставляют разработчикам необходимые возможности для эффективного создания, оценки и развертывания высококачественных генеративных приложений ИИ. Решая общие проблемы и предлагая комплексную поддержку, Databricks дает разработчикам возможность создавать инновационные решения, соответствующие высочайшим стандартам качества и производительности.
“`
