“`html
Meta объявила о выпуске Llama 3.1: новая модель в серии Llama, доступная в вариантах 8B, 70B и 405B
Meta представила Llama 3.1, новейшую модель в серии Llama, особенно модель 405B, которая представляет собой значительное развитие возможностей открытого искусственного интеллекта, выдвигая Meta на передовые позиции в инновациях в области ИИ.
Основные возможности Llama 3.1:
Модель Llama 3.1 405B отличается исключительной гибкостью, управляемостью и производительностью, конкурируя с самыми продвинутыми моделями закрытого исходного кода. Она разработана для поддержки различных приложений, включая генерацию синтетических данных и модельный дистиляция, стимулируя общество к изучению новых рабочих процессов и инноваций. С поддержкой восьми языков и увеличенной длиной контекста в 128 тыс. символов, Llama 3.1 является универсальной и надежной моделью, соответствующей разнообразным случаям использования, таким как суммаризация текста большого объема и многоязычные разговорные агенты.
Построение экосистемы:
Релиз Llama 3.1 от Meta подкреплен комплексной экосистемой партнеров, включая такие компании, как AWS, NVIDIA, Databricks, Dell и Google Cloud, предлагающие услуги для поддержки модели с первого дня. Такой совместный подход обеспечивает пользователям и разработчикам инструменты и платформы для раскрытия полного потенциала Llama 3.1, способствуя процветанию инноваций в области ИИ.
Новые инструменты для безопасности:
Модель Llama 3.1 внедряет новые инструменты безопасности, такие как Llama Guard 3 и Prompt Guard, предназначенные для помощи разработчикам построить ответственные приложения ИИ, обеспечивая их безопасность. Посвященность Meta ответственному развитию ИИ отражается также в запросе отзывов по Llama Stack API, направленного на стандартизацию и облегчение интеграции сторонних приложений с моделями Llama.
Обучение модели Llama 3.1 405B было монументальным, включая использование более 16 тыс. H100 GPU и обработку более 15 трлн. токенов. Для обеспечения эффективности и масштабируемости мы оптимизировали стек обучения с применением стандартной архитектуры модели с декодером-трансформером и итеративными процедурами послетренировочной обработки. Эти процессы повысили качество генерации синтетических данных и производительность модели, устанавливая новые стандарты для открытого искусственного интеллекта.
Для улучшения возможностей модели по помощи и следованию инструкциям Meta использовала многораундовый процесс выравнивания, включающий надзорное дообучение (SFT), отборочное сэмплирование (RS) и оптимизацию непосредственных предпочтений (DPO). В сочетании с высококачественной генерацией синтетических данных и фильтрацией, эти техники позволили Meta создать модель, котоая блестяще справляется как с короткими контекстами, так и с длинными контекстами в 128 тыс. символов.
Meta видит в Llama 3.1 часть более широкой системы ИИ, включающей различные компоненты и инструменты для разработчиков. Такой подход к экосистеме позволяет создавать пользовательские агенты и новые агентические поведения, поддерживаемые полной референтной системой с образцами приложений и новыми моделями безопасности. Постоянная разработка Llama Stack направлена на стандартизацию интерфейсов для построения компонентов цепочки инструментов ИИ, способствуя их взаимодействию и удобству использования.
В заключение, посвященность Meta открытому искусственному интеллекту обусловлена убеждением в его потенциале стимулировать инновации и равномерно распределять власть в обществе. Открытая доступность весов модели Llama позволяет разработчикам настраивать, обучать и улучшать модели под свои конкретные нужды, способствуя разнообразию приложений ИИ. Примерами инноваций, разработанными сообществом, являются помощники по изучению ИИ, помощники по принятию медицинских решений и инструменты коммуникации в здравоохранении, все созданные с использованием предыдущих моделей Llama.
Источник: Детали и модель
Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забывайте следить за нами в Twitter и присоединяться к нашему Telegram-каналу и группе в LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу в Reddit
Находите предстоящие вебинары по ИИ здесь
Оригинальная статья: Llama 3.1 Released: Meta’s New Open-Source AI Model that You can Fine-Tune, Distill, and Deploy Anywhere and available in 8B, 70B, and 405B
Опубликовано на сайте MarkTechPost.
“`
