AI21 Labs представляет новую модель Jamba: гибридную SSM-Transformer Large Language Model, которая революционизирует технологии искусственного интеллекта. Jamba объединяет модель Mamba Structured State Space с эффективностью традиционной архитектуры Transformer, устанавливая новые стандарты производительности и эффективности в области больших языковых моделей.
Инновации в Jamba
Jamba интегрирует архитектуры Mamba и Transformer для преодоления ограничений и максимизации преимуществ. Его гибридный подход предлагает окно контекста из 256K токенов и может вместить до 140K токенов на одном 80GB GPU, превосходя текущие стандарты и улучшая память, пропускную способность и производительность.
Беспрецедентная пропускная способность и эффективность
Jamba обеспечивает в три раза большую пропускную способность на длинных контекстах по сравнению с моделями на основе Transformer аналогичного размера благодаря своему уникальному архитектурному составу. Его слои внимания, Mamba и MoE обеспечивают высокую пропускную способность, оптимизацию памяти и улучшенную производительность.
Открытый доступ и перспективы будущего
Jamba была выпущена с открытыми весами по лицензии Apache 2.0, способствуя вовлечению сообщества и дальнейшему развитию. AI21 Labs планирует представить коммерчески готовую версию в ближайшем будущем, устанавливая новые стандарты производительности и применения моделей искусственного интеллекта.
Основные выводы
Jamba объединяет модель Mamba Structured State Space с архитектурой Transformer, преодолевая ограничения и используя преимущества.
Он превосходит существующие модели по памяти и обработке контекста.
Jamba обеспечивает в три раза большую пропускную способность на длинных контекстах, устанавливая новый стандарт эффективности.
Он был выпущен с открытыми весами по лицензии Apache 2.0, способствуя вовлечению сообщества и дальнейшему развитию.
Если вы хотите развивать свою компанию с помощью искусственного интеллекта, оставаться конкурентоспособным и использовать прорыв AI21 Labs, свяжитесь с нами по адресу hello@itinai.com. Для постоянных идей по использованию искусственного интеллекта следите за нашими обновлениями в Telegram или Twitter.
Практическое решение в области искусственного интеллекта
Рассмотрите AI Sales Bot от itinai.com/aisalesbot, разработанный для автоматизации взаимодействия с клиентами 24/7 и управления взаимодействием на всех этапах путешествия клиента.
Узнайте, как искусственный интеллект может изменить ваши процессы продаж и взаимодействие с клиентами. Исследуйте решения на itinai.com.
Список полезных ссылок:
AI Lab в Telegram @aiscrumbot – бесплатная консультация
AI21 Labs Breaks New Ground with ‘Jamba’: The Pioneering Hybrid SSM-Transformer Large Language Model
MarkTechPost
Twitter – @itinaicom
