sakana
-
2026-05-05 Обзор ИИ новостей: Топ-5 прорывов недели — от TSP до KAME и системного промптинга
Zyphra представляет Tensor и Sequence Parallelism (TSP): аппаратно-осознанная стратегия обучения и вывода Zyphra представила новую технику параллелизма TSP, которая объединяет тензорное и последовательное параллелизм на одной оси устройственного mesh, уменьшая как память весов, так и память активаций на одинаковый коэффициент 1/D. Тестирование на до 1024 GPU AMD MI300X показало 2.6x увеличение пропускной способности по сравнению с традиционными TP+SP подходами при длине контекста 128K токенов. Основное преимущество проявляется в длинно-контекстных сценариях, где память становится bottleneck-ом. Официальная публикация Zyphra о TSP ZenML: руководство по созданию production-grade ML пайплайна с кастомными материалайзерами и отслеживанием метаданных Статья демонстрирует создание комплексного ML пайплайна с использованием… ➡️➡️➡️
