
Новости о лучших ИИ решениях, новинках машинного обучения, компьютерного зрения, ИИ агентов и больших лингвистических моделей от редакции itinai.ru
OpenAI открывает BrowseComp: новый стандарт для оценки способности ИИ-агентов к интернет-серфингу Несмотря на успехи больших языковых моделей (LLMs), ИИ-агенты всё ещё сталкиваются с серьёзными ограничениями в поиске сложной информации в открытом интернете. Хотя многие модели показывают отличные результаты на статичных тестах знаний, они часто недобирают при выполнении задач по нахождению тонких, контекстуально зависимых фактов из различных источников. Что такое BrowseComp? OpenAI выпустила BrowseComp — стандарт, созданный для оценки способности ИИ-агентов постоянно искать информацию в интернете. Этот стандарт включает 1,266 задач на поиск фактов, каждая из которых имеет короткий и однозначный ответ. Для решения этих задач необходим навык работы с несколькими… ➡️➡️➡️
Google AI представляет Ironwood: TPU, созданный для эпохи вывода данных На мероприятии Google Cloud Next 2025 Google представила Ironwood, своё новое поколение процессоров Tensor Processing Units (TPUs), специально разработанных для задач AI вывода на крупномасштабном уровне. Этот релиз отмечает стратегический сдвиг к оптимизации инфраструктуры для вывода, отражая растущий акцент на развертывании AI моделей, а не на их обучении. Основные характеристики Ironwood Ironwood — это седьмое поколение архитектуры TPU от Google, которое предлагает значительные улучшения в вычислительной производительности, объеме памяти и энергоэффективности. Каждый чип обеспечивает пик производительности в 4,614 терафлопс (TFLOPs) и включает 192 ГБ высокоскоростной памяти (HBM), поддерживая пропускную способность… ➡️➡️➡️
ByteDance представляет VAPO: Новая структура обучения с подкреплением для сложных задач рассуждения В обучении больших языковых моделей (LLM) с использованием методов обучения с подкреплением (RL) без учета ценности, таких как GRPO и DAPO, было достигнуто значительное успехи. Однако истинный потенциал заключается в методах на основе ценности, которые позволяют более точно назначать вознаграждения, отслеживая каждое действие и его влияние на последующие результаты. Эта точность критически важна для сложного рассуждения, где малейшие ошибки могут привести к катастрофическим сбоям. Проблемы с обучением на основе ценности Методы обучения с подкреплением на основе ценности сталкиваются с тремя основными проблемами при применении к долгим задачам рассуждения:… ➡️➡️➡️
T* и LV-Haystack: Рамка пространственно-ориентированного временного поиска для эффективного понимания длинных видео Понимание длинных видео, продолжительностью от минут до часов, представляет собой значительную проблему в области компьютерного зрения, особенно по мере того, как задачи понимания видео выходят за рамки коротких клипов. Одной из ключевых трудностей является эффективное выявление немногих релевантных кадров из тысяч в длинном видео, необходимых для ответа на заданный запрос. Проблемы и решения Большинство моделей визуального языка (VLM), таких как LLaVA и Tarsier, обрабатывают сотни токенов на изображение, что делает анализ кадров видео трудоемким. Для решения этой задачи популярность приобретает новый принцип, известный как временной поиск, который нацелен… ➡️➡️➡️
Введение в исследование Данная работа по искусственному интеллекту представляет собой фреймворк машинного обучения для оценки вычислительных затрат на вывод для методов самосогласованности и Генеративных Моделей Наград (GenRM). Проблема и вызовы Большие языковые модели (LLM) продемонстрировали значительные достижения в области рассуждений в различных областях, таких как математика и наука. Однако улучшение этих способностей в процессе тестирования остается сложной задачей. Основное внимание уделяется разработке методов, позволяющих эффективно масштабировать вычисления во время тестирования, максимизируя при этом производительность рассуждений. Существующие методы, такие как генерация нескольких цепочек рассуждений и использование голосования для выбора лучших решений, требуют значительных вычислительных ресурсов и могут не всегда приводить к… ➡️➡️➡️
Google представляет Agent2Agent (A2A) Недавно Google AI анонсировала Agent2Agent (A2A) — открытый протокол, разработанный для обеспечения безопасной и совместимой коммуникации между AI-агентами, созданными на различных платформах и фреймворках. A2A предлагает стандартизированный подход к взаимодействию агентов, что позволяет оптимизировать сложные рабочие процессы с участием специализированных AI-агентов, которые работают над задачами различной сложности и продолжительности. Проблема взаимодействия AI-агентов A2A решает ключевую проблему в области AI: отсутствие общего механизма для поиска, общения и координации действий между агентами различных поставщиков. В многих отраслях компании часто разворачивают несколько AI-систем для конкретных функций, но эти системы не всегда интегрируются друг с другом. A2A нацелен на устранение… ➡️➡️➡️
Публикация о наборе инструментов для разработки агентов от Google Введение Google выпустил набор инструментов для разработки агентов (ADK) — открытый фреймворк, который упрощает создание, управление и развертывание многопользовательских систем на основе искусственного интеллекта. Этот набор инструментов написан на Python и предлагает модульную и гибкую структуру, подходящую как для простых, так и для более сложных случаев использования. Основные возможности Создание базовой многопользовательской системы с помощью менее чем 100 строк кода на Python. Настройка агентов и инструментов с помощью гибкого API. Поддержка Python с планами на будущее для других языков программирования. Что такое ADK? ADK — это фреймворк, ориентированный на разработчиков для… ➡️➡️➡️
Раскрытие внимания: функциональная роль фокуса на первом токене в стабилизации больших языковых моделей Большие языковые модели (LLM) часто демонстрируют странное поведение, когда первый токен в последовательности привлекает необычно высокое внимание, что называется «внимательным колодцем». Несмотря на то, что этот токен может показаться незначительным, он часто доминирует в внимании на многих уровнях в трансформерах. Исследования показывают, что эти паттерны внимания связаны с проблемами и оптимизацией в LLM, такими как квантизация, кэширование ключей и значений, потоковое внимание и даже уязвимости безопасности. Это подчеркивает их важность и необходимость более глубокого понимания. Функциональная роль внимательных колодцев Исследователи из Оксфордского университета, NUS и Google DeepMind… ➡️➡️➡️
TorchSim: Инновационный Симулятор для Материаловедения TorchSim: Инновационный Симулятор для Материаловедения Компания Radical AI представила TorchSim — современный симулятор атомистических процессов, разработанный на базе PyTorch. Этот инструмент значительно ускоряет симуляции материалов, что меняет традиционные научные подходы. Проблемы Современного Исследования Материалов Текущие исследования в области материалов требуют больших команд, сосредоточенных на отдельных задачах, что приводит к медленному прогрессу и высоким затратам. Radical AI стремится изменить эту парадигму, позволяя отдельным ученым одновременно решать несколько задач с помощью ИИ и автономных систем. Преимущества TorchSim TorchSim обеспечивает ускорение симуляций в 100 раз по сравнению с ASE и в 100 миллионов раз по сравнению с DFT.… ➡️➡️➡️
Введение в Evals API от OpenAI OpenAI представляет Evals API: Упрощенная оценка моделей для разработчиков Значение Evals API OpenAI представила Evals API, новый инструмент, который упрощает процесс оценки производительности больших языковых моделей (LLMs). Ранее оценки были доступны только через панель управления OpenAI, но теперь разработчики могут определять тесты, автоматизировать запуски оценок и работать с подсказками прямо в своих рабочих процессах. Преимущества Evals API Оценка производительности LLM часто была ручным и времязатратным процессом. С Evals API OpenAI предлагает системный подход к: Оценке производительности модели на пользовательских тестах Измерению улучшений в ходе итераций подсказок Автоматизации контроля качества в процессах разработки Теперь каждый… ➡️➡️➡️
Введение в APIGen-MT и xLAM-2-fc-r Salesforce AI представила новые модели APIGen-MT и xLAM-2-fc-r, которые значительно продвигают обучение многоходовых агентов с использованием проверенных данных и масштабируемых архитектур больших языковых моделей (LLM). Проблемы традиционных чат-ботов Современные AI-агенты становятся ключевыми компонентами для обработки сложных взаимодействий с пользователями, особенно в бизнесе, где диалоги могут быть многоходовыми. В отличие от традиционных чат-ботов, которые отвечают на одноразовые вопросы, эти агенты должны удерживать контекст на протяжении нескольких обменов, интегрируя внешние данные и инструменты. Проблемы с данными для обучения Основной проблемой масштабирования возможностей агентов является нехватка качественных многоходовых наборов данных, отражающих реалистичные взаимодействия пользователей. Сбор таких данных вручную… ➡️➡️➡️
Введение в Dream 7B Лаборатория Noah’s Ark компании Huawei представила Dream 7B — мощную модель диффузионного рассуждения с продвинутыми возможностями планирования и гибкого вывода. Проблемы и решения в области ИИ Современные языковые модели (LLMs) произвели революцию в области искусственного интеллекта, однако у авторегрессионных (AR) моделей есть свои ограничения. Dream 7B предлагает альтернативу, используя дискретные диффузионные модели (DMs), которые обеспечивают преимущества в плане контекстного моделирования и гибкости генерации. Преимущества Dream 7B Dream 7B превосходит аналогичные AR модели по ряду задач, включая математику и программирование. Модель демонстрирует выдающиеся способности к планированию и гибкости вывода, что делает ее идеальной для сложных задач, требующих… ➡️➡️➡️
Введение в MegaScale-Infer от ByteDance Большие языковые модели, основанные на архитектуре трансформеров, используются в таких приложениях, как чат, генерация кода и поиск. Однако их масштабирование с миллиардами параметров создает сложности в эффективной обработке данных. Для успешного обслуживания таких моделей необходимо тщательно организовать ресурсы памяти, связи и вычислений. Проблема неэффективного использования ресурсов Сложность заключается в том, как разреженность, возникающая в моделях Mixture-of-Experts (MoE), влияет на производительность вывода. Эти модели активируют лишь часть сетей для обработки входных данных, что снижает вычислительную нагрузку, но приводит к недостаточному использованию аппаратного обеспечения. Во время вывода модули внимания становятся узким местом из-за частого доступа к памяти,… ➡️➡️➡️
Представление тактильной информации, не зависящее от сенсоров, для передачи без переноса между сенсорами на основе визуальных данных Тактильные датчики играют ключевую роль в восприятии и взаимодействии интеллектуальных систем с физическим миром. Датчики GelSight и их аналогичные технологии обеспечивают детальную информацию о контактных поверхностях, преобразуя тактильные данные в визуальные изображения. Однако отсутствие переносимости между различными сенсорами приводит к значительным различиям в тактильных сигналах, что затрудняет использование моделей, обученных на одном сенсоре, на других. Проблема переносимости моделей Существующие методы, включая обучение представлениям и контрастное обучение, требуют больших объемов данных и не способны эффективно обобщать на невидимые сенсоры. Это создает препятствия для широкого… ➡️➡️➡️
Введение в LLM+FOON: Инновационный Подход к Планированию Кулинарных Задач для Роботов В последние годы разрабатываются роботы для домашних условий, чтобы они могли выполнять повседневные задачи, такие как готовка. Эти задачи требуют визуальной интерпретации, манипуляции и принятия решений в процессе выполнения нескольких действий. Готовка, в частности, представляет собой сложную задачу для роботов из-за разнообразия кухонных принадлежностей и различий в визуальных перспективах. Проблемы при Переводе Кулинарных Демонстраций в Роботизированные Задачи Основная проблема заключается в отсутствии стандартизации контента в интернете. Видео могут пропускать шаги, содержать нерелевантные сегменты или показывать расположения, не соответствующие рабочей среде робота. Для успешного выполнения задач робот должен интерпретировать визуальные… ➡️➡️➡️
Реализация кода для использования Ollama через Google Colab Реализация кода для использования Ollama через Google Colab Введение В этом руководстве мы создадим полностью функциональную систему, основанную на Retrieval-Augmented Generation (RAG), используя инструменты с открытым исходным кодом, которые работают без проблем в Google Colab. Мы рассмотрим, как настроить Ollama и использовать модели через Colab. Интеграция модели DeepSeek-R1 1.5B, модульной оркестрации LangChain и высокопроизводительного хранилища векторов ChromaDB позволяет пользователям запрашивать актуальную информацию из загруженных PDF-документов. Настройка окружения Для начала установим необходимые библиотеки и расширения: !pip install colab-xterm %load_ext colabxterm Расширение colab-xterm позволяет получить доступ к терминалу прямо в среде Colab, что упрощает… ➡️➡️➡️
Введение в технологии масштабирования во время вывода Данная статья исследует методы масштабирования во время вывода, применяемые в моделях рассуждений Microsoft для решения сложных задач. Проблема и возможности Хотя крупные языковые модели демонстрируют высокую лексическую грамотность, их способность к рассуждению требует улучшения, особенно в сложных задачах, таких как математические уравнения и пространственная логика. Модели должны имитировать последовательное мышление, что делает поведение во время вывода важным аспектом для изучения. Текущие ограничения Несмотря на прогресс в архитектуре моделей и обучающих датасетах, многие языковые модели не справляются с многопроцессными задачами. Даже при наличии обширной информации, модели могут не знать, как эффективно использовать её на… ➡️➡️➡️
RARE: Масштабируемая AI-структура для специфического рассуждения Большие языковые модели (LLMs) продемонстрировали сильные результаты в различных задачах, включая математическое рассуждение и автоматизацию. Однако они сталкиваются с трудностями в специфических приложениях, где необходимы специализированные знания и тонкое рассуждение. Эти проблемы возникают из-за сложности точного представления узкоспециализированных знаний, что приводит к ошибкам и недостатку способностей к специфическому рассуждению. Проблемы традиционных подходов Конвенциональные методы адаптации знаний, такие как дообучение, часто приводят к неотслеживаемым знаниям и увеличению затрат на обучение. Хотя они полезны для дополнения знаний, методы обычно не учат модели, как рассуждать с этой информацией. Ключевая задача исследований заключается в том, как отделить обучение… ➡️➡️➡️
Введение в OceanSim Исследователи Университета Мичигана представили OceanSim — высокопроизводимый симулятор подводной среды, ускоренный с помощью технологий параллельных вычислений NVIDIA. Этот симулятор предназначен для поддержки передовых морских робототехнических платформ, которые применяются в различных областях, таких как морская разведка, инспекция подводной инфраструктуры и мониторинг океанической среды. Проблемы подводной симуляции Создание надежных систем восприятия для подводных роботов представляет собой уникальные сложности. Сбор реальных подводных данных требует сложного оборудования и значительных ресурсов, что делает этот процесс трудоемким и затратным. Симуляционные платформы становятся многообещающей альтернативой, предоставляя исследователям контролируемую и повторяемую среду для тестирования. Преимущества OceanSim OceanSim использует мощную экосистему NVIDIA, обеспечивая реалистичное моделирование подводной… ➡️➡️➡️
Генератор Питчей для Стартапов на Основе AI Генератор Питчей для Стартапов на Основе AI В этом руководстве мы создадим мощное и интерактивное AI-приложение для генерации идей питчей стартапов, используя модель Gemini Pro от Google через универсальный фреймворк LiteLLM. Обзор Проекта LiteLLM предоставляет единый интерфейс для взаимодействия с более чем 100 провайдерами языковых моделей, упрощая работу с API. Мы интегрируем возможности Gemini для креативного мышления и оформляем результаты в удобный интерфейс Gradio. Также мы используем FPDF для генерации качественных PDF-документов с полным питчем стартапа. Установка Библиотек Для начала установим необходимые библиотеки: !pip install litellm gradio fpdf —quiet Эти библиотеки необходимы для… ➡️➡️➡️