Mixture of Experts

Zyphra представила модель ZAYA1-8B типа Mixture of Experts на AMD аппаратном обеспечении Компания Zyphra AI выпустила языковую модель ZAYA1-8B с архитектурой Mixture of Experts, имеющую 760 миллионов активных параметров и 8,4 миллиарда общего числа параметров. Модель обучена исключительно на аппаратном обеспечении AMD Instinct MI300 и демонстрирует конкурентоспособные результаты на бенчмарках по математике и коду по сравнению с значительно более крупными моделями. ZAYA1-8B распространяется под лицензией Apache 2.0 на платформе Hugging Face и доступна в качестве serverless эндпоинта в облаке Zyphra Cloud. Источник: Страница модели на Hugging Face ➡️➡️➡️