North Mini Code – новый кодинг‑модель от Cohere AI
На этой неделе команда Cohere AI выпустила свою первую модель, предназначенную напрямую для разработчиков – North Mini Code. Это открытая модель с 30 млрд параметров, из которых активируется лишь 3 млрд на каждый токен. Архитектура построена по принципу mixture‑of‑experts (MoE), что позволяет удерживать вычислительные затраты на низком уровне.
Почему это важно для разработчиков
Модель позиционируется как решение для «sovereign» AI: вы можете запускать её на собственных серверах без необходимости держать огромные GPU‑кластеры. Это особенно актуально для небольших команд, которым нужны мощные инструменты кодогенерации, но при этом ограничены в бюджете.
Ключевые характеристики
- Размер: 30 B параметров (всего), 3 B активных на токен.
- Контекст: 256 K токенов, максимум генерации – 64 K токенов.
- Аппаратные требования: минимум один GPU H100 с поддержкой FP8.
- Лицензия: Apache 2.0 (с некоммерческой оговоркой в карточке Hugging Face).
- Доступность: Hugging Face, Cohere API, Cohere Model Vault, OpenRouter.
Архитектура
North Mini Code – это decoder‑only Transformer с разреженными MoE‑слоями. В каждом слое 128 экспертов, из которых активируются 8. Внимание комбинирует sliding‑window (RoPE) и глобальное без позиционных эмбеддингов в соотношении 3:1. Feed‑forward блоки используют активацию SwiGLU, а роутер применяет сигмоид перед top‑k отбором.
Тренировка и дообучение
После базовой предтренировки модель прошла два этапа дообучения:
- двухэтапное супервайзед‑файнтюнинг (SFT);
- усиленное обучение с проверяемыми вознаграждениями (RLVR), ориентированное на агентные сценарии кодинга.
Производительность
Согласно внутренним тестам Cohere, North Mini Code обеспечивает:
- до 2.8 × более высокий throughput по сравнению с Devstral Small 2 при том же оборудовании;
- на 30 % лучшее межтокенное время задержки;
- чуть менее быстрый time‑to‑first‑token, но разница несущественная.
Сценарии применения
Модель специально оптимизирована под агентные рабочие процессы. Три основных паттерна:
- Оркестрация суб‑агентов: один агент пишет юнит‑тесты, другой исправляет ошибки.
- Карты системной архитектуры: анализ репозитория и построение схемы взаимодействий сервисов.
- Код‑ревью: автоматический скан диффа на наличие потенциальных багов.
Кроме того, модель отлично справляется с терминальными задачами – от вывода списка файлов до парсинга вывода билд‑скриптов.
Быстрый старт с Hugging Face Transformers
Самый простой путь – установить трансформеры из репозитория и загрузить модель:
pip install "git+https://github.com/huggingface/transformers.git"- Затем выполнить следующий скрипт:
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "CohereLabs/North-Mini-Code-1.0"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
prompt = "Write a Python program to check if a string is a palindrome."
messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
gen = model.generate(
**inputs,
max_new_tokens=1024,
do_sample=True,
temperature=1.0,
top_p=0.95,
)
output = tokenizer.decode(gen[0][inputs["input_ids"].shape[-1]:])
print(output)
Для продакшн‑разворота рекомендуется использовать vLLM в связке с cohere_melody:
pip install "git+https://github.com/vllm-project/vllm.git"
pip install "cohere_melody>=0.9.0"
vllm serve CohereLabs/North-Mini-Code-1.0 \
-tp 2 \
--max-model-len 320000 \
--tool-call-parser cohere_command4 \
--reasoning-parser cohere_command4 \
--enable-auto-tool-choice
Квантованные варианты
Для локального использования без мощного GPU доступны квантованные билды для Ollama, LM Studio и llama.cpp.
