
Новости о лучших ИИ решениях, новинках машинного обучения, компьютерного зрения, ИИ агентов и больших лингвистических моделей от редакции itinai.ru
Что такое Datalab lift? lift — это 9‑молчный визуальный моделъ для структурированного извлечения. На вход вы передаёте обычную JSON‑схему, а модель возвращает JSON, полностью совпадающий с этой схемой. При этом она умеет читать PDF‑файлы и изображения «как есть», без предварительного разбиения на страницы. Модель работает в двух режимах: локальное инференс‑приложение через HuggingFace и удалённый сервис vLLM, который Datalab советует использовать в продакшене. Код открыт под Apache 2.0, а веса — под модифицированной лицензией OpenRAIL‑M. Схема‑ограниченное декодирование: как это работает Перед выработкой ответа lift компилирует вашу JSON‑схему в Pydantic‑модель, а затем в строгую JSON‑схему, которую передаёт серверу vLLM как response_format. На каждом шаге генерации… ➡️➡️➡️
Что делает представленный скрипт? Это небольшая утилита на Python, которая упрощает работу с несколькими LLM‑провайдерами (ZAI, OpenRouter, Together, Requesty, HuggingFace). Скрипт: Автоматически подбирает API‑ключ из переменных окружения, Google Colab user‑data или интерактивного ввода. Создаёт клиент OpenAI с поддержкой произвольного base_url и выбранной модели. Ведёт учёт токенов (_USAGE) и количества запросов. Позволяет включать «thinking»‑модус GLM‑5.2, задавать уровень усилий (effort) и использовать инструменты (tools). Поддерживает как обычный, так и потоковый (stream=True) вывод. Как быстро подготовить окружение Скопируйте код в файл glm_helper.py и выполните один‑единственный набор команд: Установите зависимости:python -m pip install -q -U openai Экспортируйте нужный API‑ключ, например:export ZAI_API_KEY=<ваш_ключ> Запустите скрипт, убедившись, что… ➡️➡️➡️
TL;DR prime-rl 0.6.0 trains trillion‑parameter MoE models on agentic RL workloads. GLM‑5 trained on SWE at 131 k sequence length, sub‑5‑minute steps, 28 H200 nodes. Asynchronous RL separates trainer and inference for independent optimisation. Inference uses FP8, Wide EP, P/D disaggregation, KV offloading and router replay. Training uses 3‑D parallelism (FSDP, EP, CP) plus block‑scaled FP8. Что такое prime‑rl 0.6.0? prime‑rl — открытый фреймворк для асинхронного reinforcement learning. Он позволяет пост‑тренировать крупные открытые модели на агентных задачах. Версия 0.6.0 выводит поддержку триллион‑параметров MoE‑масштаба. Пример модели из анонса — zai-org/GLM-5.1. Оптимизации работают и с другими крупными MoE‑моделями, например moonshotai/Kimi-K2.7-Code и nvidia/NVIDIA‑Nemotron‑3‑Ultra‑550B‑A55B‑BF16. Запуск полного эксперимента GLM‑5.1 на… ➡️➡️➡️
Что такое Sakana Fugu? Sakana Fugu — это система оркестрации нескольких языковых моделей, представляемая единой точкой доступа совместимой с OpenAI API. Вы посылаете запрос одному эндпоинту, а внутри система решает, стоит ли решить задачу напрямую или собрать команду экспертов‑моделей. Два варианта модели Fugu — баланс между качеством и задержкой. Подходит для повседневного кодинга, ревью кода и чат‑ботов. Позволяет отключать отдельные провайдеры из пула агентов для соблюдения требований по данным и конфиденциальности. Fugu Ultra — ориентирован на максимальную точность в сложных, многошаговых задачах. Использует фиксированный, более глубокий пул экспертов, отключение агентов недоступно. Идентификатор модели: fugu-ultra-20260615. Как работает оркестратор Fugu сам является языковой моделью, обученной вызывать другие… ➡️➡️➡️
TL;DR MoonMath.ai опубликовал открытый bf16‑ядро forward‑attention для AMD MI300X, написанное на HIP (MIT‑лицензия). По результатам тестов оно превышает производительность официального ядра AITER v3 на всех проверенных формах и режимах округления (среднее ускорение ≈ 1.15×‑1.18×, максимум ≈ 1.26×). Что представляет собой ядро Ядро — это небольшая программа, исполняемая непосредственно на всех вычислительных блоках GPU. Оно реализует операцию attention: softmax(QKᵀ/√d)·V в полубайтовом формате bf16. Поддерживаются входы в раскладках BSHD и BHSD, фиксированное количество голов = 128, произвольные длины последовательностей (включая cross‑attention). Ограничения: отсутствие causal‑mask, GQA и varlen‑batching; только вывод bf16; работает исключительно на архитектуре gfx942 (CDNA3). Как достигнут прирост Основная идея — обёртки asm‑инструкций, содержащие ровно одну инструкцию. Такая функция объявлена как __device__ __forceinline__, а… ➡️➡️➡️
Почему память важна для агентов Большие языковые модели по умолчанию stateless — каждый вызов API начинается с чистого листа, и модель забывает ваш последний запрос, как только ответ вернётся. Это удобно для одноразовых вопросов, но ломается, когда вы пытаетесь построить полноценного агента. Агенты планируют, вызывают инструменты и работают в несколько шагов. Чтобы это было возможно, им нужна память. Память превращает безграничный LLM в систему, способную сохранять контекст, учиться на опыте и действовать со временем. Что такое память агента Память — любой механизм, который переносит информацию через этапы рассуждения модели. Часть её хранится внутри окна контекста, часть — во внешних базах… ➡️➡️➡️
Что такое Prefab Advanced Operations Dashboard? Это готовое приложение‑демонстрация, полностью написанное на Python с использованием DSL Prefab. Оно генерирует статический HTML, который работает в браузере без серверной части. Главное – всё, что обычно требует JavaScript (фильтры, слайдеры, переключатели), реализовано через реактивный стейт Prefab. Почему это важно для вас? Если вы: разрабатываете аналитические дашборды для внутренних команд, пытаетесь сократить зависимость от фронтендеров, нуждаетесь в быстрых прототипах, которые можно экспортировать в виде чистого HTML, работаете с показателями SLO, KPI и мониторингом процессов, то этот шаблон спасёт часы разработки и избавит от постоянных «надо добавить JavaScript‑клик». Как быстро стартовать? 1. Склонируйте репозиторий github.com/prefab-cloud/prefab‑advanced‑colab.… ➡️➡️➡️
Что стоит знать перед покупкой модулей Crawlee Если вы уже знакомы с Crawlee и планируете построить надёжный пайплайн веб‑скрейпинга, первым делом стоит понять, какие готовые решения действительно ускорят работу, а какие могут оказаться лишь «красивой» упаковкой. Ниже – короткий разбор пяти модулей, представленных в нашем каталоге, и конкретные рекомендации, когда каждый из них стоит включать в проект. Crawler Reliability Kit (CRW‑101) Этот набор ориентирован на устойчивость сканеров к ошибкам сети и ограничениям целевых сайтов. Retry policy – автоматический повтор запросов с экспоненциальной задержкой. Queue replay – возможность «переплюнуть» очередь после падения процесса. Structured logs – удобный JSON‑лог для последующего анализа.… ➡️➡️➡️
TL;DR Blank Slate запускает агента только с провайдером & моделью, файловыми операциями и терминалом. Web, браузер, выполнение кода, vision, память, делегирование, cron, skills, плагины и MCP остаются отключёнными. В конфиг пишется явный список platform_toolsets.cli и agent.disabled_toolsets — поверхность зафиксирована. После hermes update ничего, что вы пропустили, не подгрузится. Включить нужное можно командами hermes tools, hermes skills opt-in —sync или hermes setup agent. Что такое Blank Slate После установки hermes setup теперь предлагает три режима: Quick Setup — быстрый старт через Nous Portal, без API‑ключей. Full Setup — полное ручное указание провайдеров, инструментов и параметров. Blank Slate — минимальный старт: только провайдер & модель, набор файловых операций и терминала.… ➡️➡️➡️
Интерактивный демонстратор будет загружен здесь. ➡️➡️➡️
Что происходит в коде? Приведённый фрагмент — это простая, но довольно типичная подготовка данных для анализа временных рядов. Мы импортируем нужные библиотеки, настраиваем вывод, читаем CSV‑файл с данными о пассажирах, добавляем искусственный ряд и «сорём» в нём несколько аномалий. numpy, pandas, matplotlib – стандартный набор для числовой обработки и визуализации. scipy подключён, но в примере не используется – оставлено на случай дальнейшего анализа. torch проверяется лишь для определения наличия GPU; он нам сейчас не нужен. Данные загружаются из публичного CSV‑файла. Создаётся синтетический ряд, в который вручную встраиваются аномалии (значения в 2.2‑раз больше нормы). Все серии объединяются в один «панельный» дата‑фрейм panel,… ➡️➡️➡️
TLDR YaFF — это открытый zero‑copy wire‑format от Яндекса для Protobuf (Apache 2.0, C++, v0.1.0). .proto‑файл остаётся единственным источником истины; меняется только физическое расположение данных в памяти. По результатам бенчмарков Яндекса Flat Layout читает «горячие» данные почти в 4 раз быстрее, чем FlatBuffers, и почти не отстаёт от чистой структуры C++ (≈1.2×). Четыре типа раскладки — Fixed, Flat, Sparse, Dynamic — позволяют балансировать между скоростью чтения и гибкостью схемы; по умолчанию используется Dynamic. YaFF уже работает в системе рекомендаций рекламы, где даёт 10–20 % экономии CPU на продакшене. Внедрение поэтапное: подключаете YaFF к одному горячему пути, а на границе конвертируете в/из Protobuf. Что такое YaFF YaFF — не… ➡️➡️➡️
Что такое VibeThinker-3B и почему он важен VibeThinker-3B — компактная модель‑суждение с 3 млрд параметров, построенная на базе Qwen2.5‑Coder‑3B. Она не обучалась с нуля, а прошла пост‑тренинг: Supervised Fine‑Tuning (SFT), Reinforcement Learning (RL) и Self‑Distillation. И всё это при открытой лицензии MIT. Главная идея модели — решать задачи, ответы на которые можно проверить автоматически (математика, программирование, STEM). Для «общих» вопросов авторы советуют использовать крупные модели, а VibeThinker‑3B специализируется именно на проверяемом рассуждении. Почему стоит обратить внимание на небольшие модели Экономия ресурсов. Вес в BF16 ≈ 6 ГБ — достаточно для одного GPU. Скорость вывода. Рекомендуются ускорители vLLM==0.10.1 или SGLang≥0.4.9.post6. Эффективность. На проверяемых бенчмарках VibeThinker‑3B… ➡️➡️➡️
Что такое SpatialClaw SpatialClaw – это «обёртка‑агент» вокруг постоянного Python‑ядра, в которое загружены входные кадры и набор базовых примитивов. Инструменты восприятия (перцепции) представлены обычными Python‑функциями, а их результаты – маски, карты глубины, параметры камер и плотные облака точек – обычные переменные. Ядро предоставляет шесть публичных точек входа: InputImages – массив изображений. Metadata – частота кадров, длительность и индексы. tools – набор примитивов восприятия и геометрии. show() – визуализирует изображение в следующем контексте агента. vlm – отправка запросов в отдельный сеанс VLM. ReturnAnswer() – отправка окончательного ответа. Ключевые инструменты: tools.Reconstruct – обёртка над Depth Anything 3, выводит глубину, внутренние и внешние параметры камер, плотные облака точек. tools.SAM3 – обёртка… ➡️➡️➡️
Что представляют собой новые модели LFM2.5 от Liquid AI? На прошлой неделе компания Liquid AI анонсировала две новых модели для поиска: LFM2.5-ColBERT-350M и LFM2.5-Embedding-350M. Обе модели относятся к семейству LFM2.5, имеют 350 млн параметров и впервые используют двунаправленную архитектуру. Их главный козырь — быстрый мульти‑язычный и кросс‑лингвальный поиск по 11 языкам, а небольшой «footprint» позволяет запускать их даже на обычных ноутбуках. Какой тип модели выбрать? Модели построены на едином бэкбоне, но различаются способом представления текста. LFM2.5-Embedding-350M — плотный би‑энкодер. Каждый документ превращается в один 1024‑мерный вектор. Это самый быстрый и экономичный вариант: индекс занимает минимум места, а запросы обрабатываются за миллисекунды. LFM2.5-ColBERT-350M —… ➡️➡️➡️
Зачем нам «выкапывать» функции из кучи кода? Вы когда‑нибудь пытались автоматизировать проверку решений студентов или быстро собрать кусок кода из большого репозитория? Если да, то знаете, как часто встречаются «запутанные» файлы‑мусорщики, где нужная функция спрятана между импортами и тестовыми блоками. Ниже – практичный набор инструментов, которые помогут вытянуть нужную функцию, проверить её синтаксис, обеспечить безопасность и прогнать юнит‑тесты без риска «выстрелить» в продакшн. 1. Как вытащить источник функции? Функция extract_function_source принимает весь текст файла и имя функции, а возвращает только её исходный код. Основные шаги: Нормализуем переносы строк. Если в тексте присутствует fenced‑code‑block (`python … `), берём только его –… ➡️➡️➡️
Что такое Brain от Perplexity и почему это важно для вас Большинство AI‑ассистентов запоминают вас: ваши вкусы, предпочтения, роль в компании. Перplexity решил пойти иначе. Их новый продукт — Brain — это система памяти, которая хранит не вас, а то, что делает агент Computer. Иными словами, память теперь работает на повышение эффективности, а не на создание «тёплой» привязанности. Два типа AI‑памяти Перplexity делит память на две оси: Традиционная (пользовательская) память – хранит предпочтения, стили работы, контакты и цель – сделать взаимодействие более приятным. Brain (рабочая) память – фиксирует, какие действия агента были успешными, какие ― нет, какие исправления вы внесли. Цель – улучшить производительность.… ➡️➡️➡️
Что делает скрипт и зачем он нужен? Представленный ниже кусок кода – это «батч‑сканер» статического анализа кода для набора skill (т.е. модулей, функций или микросервисов). Он без вызова LLM проходит по всему корпусу файлов, собирает уязвимости и формирует готовые визуальные отчёты. Основные шаги процесса Инициализация: вывод приветствия и подготовка контейнеров для итогов. Сканирование: для каждой skill вызывается scan() без LLM, результат сохраняется в JSON. Сбор метрик: из результата извлекаются risk_score, risk_severity, рекомендации, наличие исполняемых скриптов и количество найденных проблем. Агрегация находок: каждое нарушение сохраняется в таблицу all_findings с деталями (правило, уровень, категория, файл, строка, уверенность). Формирование DataFrame‑ов: два Pandas‑фрейма –… ➡️➡️➡️
Почему KV‑кеш — «узкое место» больших контекстов Трансформеры сохраняют key и value (KV) вектор‑пары для каждого токена на каждом слое, чтобы не пересчитывать attention. При длинных последовательностях объём кеша растёт линейно от длины контекста и размера батча. Для Llama‑3.1‑70B в формате BF16 это ≈ 0,31 МБ на токен. При 128 К токенов кеш уже занимает ~40 ГБ, а при 1 М токенов — более 300 ГБ, что превышает сам вес модели (≈ 140 ГБ). Каждый новый токен вынужден «перетаскивать» весь кеш из HBM, делая декодирование ограниченным пропускной способностью памяти, а не вычислительной мощностью. Поэтому сокращение KV‑кеша — главный рычаг снижения стоимости и задержки. Краткий обзор современных подходов Token… ➡️➡️➡️
Что такое LifeSciBench и зачем он вам нужен Большинство биологических бенчмарков задают узконаправленные вопросы с очевидными ответами. В реальной науке приходится собирать несовершенные доказательства, взвешивать их и принимать решения. LifeSciBench — это попытка закрыть этот разрыв. Бенчмарк создан OpenAI именно для того, чтобы проверить, насколько модели способны решать задачи, похожие на те, что решают учёные каждый день. Структура бенчмарка В LifeSciBench собрано 750 задач, написанных экспертами‑учёными. Они охватывают семь рабочих процессов и семь биологических областей, от геномики до клинической трансляционной науки. Каждая задача состоит из: текста‑запроса, формулируемого как инструкцию коллеге; поддерживающих артефактов (последовательности, графики, таблицы, PDF‑документы, химические структуры); детализированного рубрика‑критерия оценки.… ➡️➡️➡️