Большие языковые модели с архитектурой Mixture-of-Experts (MoE) значительно увеличили емкость модели без соответствующего роста вычислительных затрат. Однако данный подход также ставит перед нами новые задачи, особенно в области связи между GPU. В моделях MoE активен только подмножество экспертов для каждого токена, поэтому эффективный обмен данными между устройствами имеет критическое значение. Традиционные методы связи могут создавать узкие места, увеличивая задержки и недоиспользуя ресурсы GPU.
Компания DeepSeek AI недавно представила библиотеку DeepEP, специально разработанную для моделей MoE и экспертного параллелизма. DeepEP решает проблемы, связанные с неэффективностью передачи и агрегации токенов между GPU. Библиотека предоставляет высокопроизводительные и малозадерживающие ядра для всех к всем GPU, что упрощает обмен данными во время обучения и вывода.
DeepEP предлагает два основных типа ядер, чтобы соответствовать различным операционным потребностям:
- Нормальные ядра: Оптимизированы для сцен, требующих высокой пропускной способности, таких как предварительная подготовка вывода или обучения. Эти ядра эффективно передают данные между GPU, используя технологии NVLink и RDMA.
- Ядра с низкой задержкой: Подходят для задач вывода, где важна реакция. Эти ядра обрабатывают небольшие пакеты с низкими задержками, что делает их идеальными для реальных приложений.
Оптимизация производительности DeepEP приводит к более быстрым временам отклика и улучшенной пропускной способности в сценариях обучения. Включение поддержки FP8 снижает объем занимаемой памяти и способствует более быстрому обмену данными.
В заключение, DeepEP является важным вкладом в область развертывания больших языковых моделей. Его подход, сочетающий высокую пропускную способность и низкую задержку, предлагает гибкость для различных приложений. Это решение помогает создать более масштабируемые и отзывчивые AI-модели, поддерживая как академические исследования, так и реальные приложения в экономически эффективной форме.
Для получения дополнительных сведений ознакомьтесь с GitHub страницей. Также не забудьте следить за нами в Twitter и присоединиться к нашему сообществу в SubReddit.
Если вам нужна помощь в управлении AI в бизнесе, свяжитесь с нами по адресу hello@itinai.ru. Чтобы быть в курсе последних новостей AI, подписывайтесь на наш Telegram.
Изучите практический пример решения на основе AI: бот для продаж с сайта itinai.ru/aisales, предназначенный для автоматизации взаимодействия с клиентами круглосуточно.
