
Новости о лучших ИИ решениях, новинках машинного обучения, компьютерного зрения, ИИ агентов и больших лингвистических моделей от редакции itinai.ru
Введение в MemEngine Исследователи из Университета Ренмин и компании Huawei разработали MemEngine — унифицированную модульную библиотеку для настройки памяти в агентах на основе больших языковых моделей (LLM). Значение памяти для LLM-агентов Агенты на основе LLM все чаще используются в различных приложениях благодаря своей способности управлять сложными задачами и выполнять множество ролей. Память является ключевым компонентом этих агентов, так как она хранит и вспоминает информацию, отражает прошлые знания и способствует принятию обоснованных решений. Проблемы существующих моделей Несмотря на растущее внимание к улучшению механизмов памяти, существующие модели часто используют разные стратегии реализации и не имеют стандартизированной структуры. Это создает трудности для разработчиков… ➡️➡️➡️
Meta представляет KernelLLM: Модель с 8 миллиардами параметров для перевода модулей PyTorch в эффективные ядра Triton GPU Компания Meta запустила KernelLLM, языковую модель с 8 миллиардами параметров, доработанную на основе Llama 3.1 Instruct. Эта модель предназначена для автоматизации перевода модулей PyTorch в эффективные ядра Triton GPU, что упрощает процесс разработки ядер и снижает барьеры для программирования на GPU. Технический обзор KernelLLM обучена на примерно 25,000 парных примеров модулей PyTorch и соответствующих реализаций ядер Triton. Датасет, известный как KernelBook, включает отфильтрованный код из The Stack и синтетически сгенерированные образцы с использованием torch.compile() и других методов. Модель использует подход с обучением под… ➡️➡️➡️
Пошаговое руководство по эффективной настройке Qwen3-14B с использованием Unsloth AI на Google Colab Настройка крупных языковых моделей (LLMs), таких как Qwen3-14B, требует значительных ресурсов, времени и памяти, что может затруднить быструю экспериментацию и развертывание. Unsloth AI упрощает быструю и эффективную настройку современных моделей, минимизируя использование памяти GPU, благодаря таким передовым методам, как 4-битная квантизация и низкоранговая адаптация (LoRA). Это руководство предоставляет практическую реализацию на Google Colab для настройки Qwen3-14B с использованием комбинации наборов данных для рассуждений и инструкций. Установка необходимых библиотек Начнем с установки основных библиотек для настройки модели Qwen3 с использованием Unsloth AI. Эта установка оптимизирована для Google Colab… ➡️➡️➡️
Запуск мобильного приложения NotebookLM от Google Запуск мобильного приложения NotebookLM от Google Google официально представил мобильное приложение NotebookLM, расширяющее возможности своего ИИ-ассистента для исследований на устройствах Android. Это приложение направлено на предоставление персонализированного обучения и синтеза контента непосредственно в кармане пользователей, предлагая функции, которые объединяют мобильность, осведомленность о контексте и интерактивные возможности. Расширение контекстного ИИ для мобильных устройств NotebookLM, который впервые был запущен в 2023 году как экспериментальный веб-инструмент, предназначен для помощи пользователям в организации и взаимодействии с их собственными документами и медиа, используя доработанную версию модели Google Gemini 1.5 Pro. Новая мобильная версия делает NotebookLM не просто инструментом для… ➡️➡️➡️
Введение в UAEval4RAG Исследователи из Salesforce представили UAEval4RAG — новую методику оценки систем Retrieval-Augmented Generation (RAG), сосредоточенную на их способности отклонять неразрешимые запросы. Традиционные методики оценки в основном фокусируются на точности и актуальности ответов на разрешимые вопросы, но часто игнорируют критически важную способность систем выявлять и отклонять неподходящие или неразрешимые запросы. Проблемы существующих методик оценки Текущие стандарты для неразрешимых запросов оказались недостаточными для систем RAG, так как они обычно состоят из статических, общих запросов, которые не адаптируются к конкретным базам знаний. Когда системы RAG отклоняют запросы, это часто происходит из-за неудачи в извлечении информации, а не из-за точной оценки валидности… ➡️➡️➡️
Агентный ИИ в Финансовых Услугах Недавний документ IBM Consulting под названием «Агентный ИИ в финансовых услугах: возможности, риски и ответственная реализация» описывает, как эти системы ИИ, предназначенные для автономного принятия решений и долгосрочного планирования, могут изменить операционную среду финансовых учреждений. Доклад предлагает сбалансированную структуру, которая определяет, где агентный ИИ может добавить ценность, какие риски он вводит и как учреждения могут внедрять эти системы ответственно. Понимание Агентного ИИ Агентный ИИ — это программные сущности, которые взаимодействуют с окружающей средой для выполнения задач с высокой степенью автономии. В отличие от традиционной автоматизации или чат-ботов на основе больших языковых моделей (LLM), агентный ИИ… ➡️➡️➡️
Цепочка размышлений может не отражать истинное мышление ИИ: новое исследование Anthropic выявляет скрытые пробелы Метод цепочки размышлений (CoT) стал популярным способом улучшения и интерпретации процессов рассуждения крупных языковых моделей (LLMs). Основная идея проста: если модель формулирует свой ответ шаг за шагом, эти шаги должны прояснять её вывод. Это особенно важно в критически важных областях, где понимание рассуждений модели может помочь предотвратить нежелательное поведение. Однако возникает основной вопрос: действительно ли эти объяснения отражают внутренние процессы модели? Можем ли мы доверять тому, что модель утверждает о своих мыслях? Anthropic подтверждает: цепочка размышлений не всегда говорит о том, что ИИ действительно «думает» Новое… ➡️➡️➡️
Omni-R1: Продвижение Аудио Вопросов и Ответов с Помощью Обучения с Подкреплением и Авто-Генерируемых Данных Недавние разработки показывают, что обучение с подкреплением (RL) может значительно улучшить способности рассуждения крупных языковых моделей (LLM). Данное исследование сосредоточено на улучшении Аудио LLM — моделей, которые обрабатывают аудио и текст для выполнения задач, таких как ответы на вопросы. Бенчмарк MMAU MMAU — это широко используемый набор данных для оценки этих моделей через вопросы множественного выбора, связанные со звуками, речью и музыкой, некоторые из которых требуют внешних знаний. Метод GRPO Предыдущий подход, R1-AQA, использовал оптимизацию относительной политики группы (GRPO) для дообучения модели Qwen2-Audio на наборе данных… ➡️➡️➡️
Введение системы DiskANN, интегрированной с Azure Cosmos DB для эффективного векторного поиска Современные системы данных требуют возможности поиска высокоразмерных векторных представлений. Эти представления, создаваемые моделями глубокого обучения, содержат семантические и контекстуальные значения данных, что позволяет системам извлекать результаты на основе релевантности и сходства, а не точных совпадений. Проблемы в векторном поиске Одной из главных проблем в векторном поиске является высокая стоимость и сложность управления раздельными системами для транзакционных данных и векторных индексов. Традиционно векторные базы данных оптимизированы только для семантического поиска, что требует дублирования данных, что, в свою очередь, приводит к латентности, дополнительным затратам на хранение и рискам несоответствий. Существующие… ➡️➡️➡️
Уязвимости безопасности в Протоколе Модельного Контекста (MCP) Критические уязвимости безопасности в Протоколе Модельного Контекста (MCP) Протокол Модельного Контекста (MCP) представляет собой значительный шаг вперед в том, как большие языковые модели взаимодействуют с инструментами, сервисами и внешними источниками данных. Несмотря на его преимущества, MCP также вводит серьезные проблемы безопасности, включая пять основных уязвимостей: Порча Инструментов, Обновления с Уводом, Обман Агентов Извлечения, Подмена Серверов и Перекрестное Затенение Серверов. Каждая из этих уязвимостей эксплуатирует различные уровни инфраструктуры MCP и может угрожать безопасности пользователей и целостности данных. Порча Инструментов Порча Инструментов является одной из самых опасных уязвимостей в рамках MCP. Атакующий может внедрить вредоносное… ➡️➡️➡️
Улучшение использования инструментов и эффективности рассуждений с помощью обучения с подкреплением Недавние достижения в области больших языковых моделей (LLMs) показывают их способность выполнять сложные задачи рассуждения и эффективно использовать внешние инструменты, такие как поисковые системы. Однако остается значительная проблема: как научить модели определять, когда полагаться на внутренние знания, а когда выполнять поиск. Хотя методы на основе подсказок могут направлять поведение модели, LLM часто испытывают трудности с тонкими решениями, такими как распознавание, когда первоначальный поиск дал неточные результаты и когда следует начать новый поиск. Решение проблемы с помощью обучения с подкреплением Обучение с подкреплением (RL) было исследовано для улучшения этих способностей,… ➡️➡️➡️
Проблемы больших языковых моделей в принятиии решений Языковые модели, обученные на обширных наборах данных, становятся незаменимыми инструментами для понимания и генерации языка. Их потенциал включает возможность функционирования в качестве агентов принятия решений в интерактивных средах. Однако они сталкиваются с проблемами в области принятия решений, известными как «разрыв между знанием и действием». Основные ограничения моделей Несмотря на возможность формирования правильных цепочек рассуждений, модели часто не способны действовать на основе этих знаний. Основные проблемы включают: Разрыв между знанием и действием: Модели распознают правильные стратегии, но не применяют их. Жадность: Модели выбирают высокоэффективные варианты, игнорируя альтернативные стратегии. Частотный bias: Модели предпочитают распространенные действия,… ➡️➡️➡️
Как создать мощную и интеллектуальную систему вопросов и ответов Обзор В этом руководстве мы демонстрируем, как построить мощную и интеллектуальную систему вопросов и ответов, объединяя возможности Tavily Search API, Chroma, Google Gemini LLM и фреймворка LangChain. Данная система использует веб-поиск в реальном времени через Tavily, семантическое кэширование документов с помощью Chroma и генерацию контекстных ответов с помощью модели Gemini. Установка необходимых библиотек Мы устанавливаем и обновляем набор библиотек, необходимых для создания продвинутого AI-поискового помощника. Это включает инструменты для поиска (tavily-python, chromadb), интеграции LLM (langchain-google-genai, langchain), обработки данных (pandas, pydantic), визуализации (matplotlib, streamlit) и токенизации (tiktoken). Импорт основных библиотек Мы импортируем… ➡️➡️➡️
Достижения SWE-Bench: 50.8% без использования инструментов Недавние достижения в области агентов на основе языковых моделей (LM) продемонстрировали значительный потенциал для автоматизации сложных задач в различных областях, включая программную инженерию, робототехнику и научные эксперименты. Эти агенты обычно работают, предлагая и выполняя действия через API. С увеличением сложности задач, структуры LM-агентов развивались, чтобы включать несколько агентов, многоступенчатый поиск и индивидуальное проектирование для оптимизации производительности. Стратегии в программной инженерии Исследования LM-агентов в программной инженерии в основном сосредоточены на двух стратегиях: агентных фреймворках и структурированных конвейерах. Агентные системы, такие как SWE-Agent и OpenHands CodeAct, позволяют LM взаимодействовать с кодовыми базами через пользовательские интерфейсы и… ➡️➡️➡️
Amazon Web Services (AWS) открывает Strands Agents SDK для упрощения разработки AI-агентов Amazon Web Services (AWS) сделала Strands Agents SDK доступным для сообщества, чтобы упростить процесс разработки AI-агентов в различных областях. Используя модельно-ориентированный подход, Strands Agents SDK минимизирует сложности, связанные с созданием, организацией и развертыванием интеллектуальных агентов, что упрощает разработку инструментов, которые способны планировать, рассуждать и взаимодействовать автономно. Определение агента в Strands AI-агент, созданный с помощью Strands, состоит из трех ключевых компонентов: Модель: Strands поддерживает различные модели, включая Amazon Bedrock и другие через API. Разработчики могут также создавать собственные модели. Инструменты: Strands предлагает более 20 готовых инструментов для выполнения операций,… ➡️➡️➡️
Введение в LightLab Исследователи Google представили LightLab — метод на основе диффузии, который обеспечивает физически правдоподобное и детализированное управление освещением в отдельных изображениях. Эта технология решает серьезные проблемы, возникающие при изменении условий освещения на фотографиях после их захвата. Проблемы традиционных методов Традиционные методы часто используют 3D-графику для реконструкции геометрии сцены из нескольких изображений, что создает сложности и иногда приводит к неудовлетворительным результатам. Современные методы редактирования изображений на основе диффузии предлагают альтернативные решения, но обычно не обеспечивают точного параметрического контроля. Преимущества LightLab LightLab позволяет пользователям управлять интенсивностью и цветом источников света в изображениях, что значительно упрощает процесс редактирования. С помощью этого… ➡️➡️➡️
DeepSeek-AI: Оптимизация языкового моделирования для эффективности Разработка и внедрение крупных языковых моделей (LLM) значительно зависят от архитектурных инноваций, обширных наборов данных и аппаратных достижений. Модели, такие как DeepSeek-V3, GPT-4o и Claude 3.5 Sonnet, продемонстрировали, как масштабирование может улучшить возможности рассуждения и диалога. Однако с улучшением производительности возрастает и потребность в вычислительных ресурсах, памяти и пропускной способности связи, что может создать нагрузку на аппаратные ресурсы. Без одновременных улучшений в проектировании модели и инфраструктуры эти модели могут быть доступны только организациям с значительными ресурсами. Поэтому оптимизация затрат на обучение, скорость вывода и эффективность памяти становится важной областью исследований. Проблемы и решения Одна… ➡️➡️➡️
Проблемы больших языковых моделей в реальных разговорах Исследования Microsoft и Salesforce показали, что большие языковые модели (LLMs) демонстрируют снижение производительности на 39% в многоповоротных задачах с недостаточной спецификацией. Основная цель разговорного ИИ заключается в том, чтобы обеспечить динамичное взаимодействие, где потребности пользователей раскрываются постепенно. Проблема многоповоротных взаимодействий Современные системы ИИ часто не могут эффективно обрабатывать инструкции пользователей, которые распределены по нескольким поворотам разговора. Это приводит к ошибкам, поскольку модели делают преждевременные предположения и не могут корректно адаптироваться к новым данным. В результате, когда LLM ошибается в понимании, он сталкивается с трудностями в восстановлении, что приводит к неполным или неверным ответам.… ➡️➡️➡️
Windsurf запускает SWE-1: новая семья AI моделей для полного цикла разработки программного обеспечения Windsurf представил SWE-1, первую семью AI моделей, специально разработанных для полного цикла разработки программного обеспечения. Это значительный шаг к интеграции AI с программной инженерией, который выходит за рамки традиционной генерации кода и поддерживает реальные рабочие процессы разработки программного обеспечения. Интеллект, ориентированный на инженерное дело SWE-1 учитывает, что кодовые базы часто бывают неполными и задачи требуют использования нескольких инструментов. Генеральный директор Windsurf Варун Мохан отметил: «Написание кода — это лишь небольшая часть работы. Чтобы ускорить весь процесс разработки на 99%, нам нужны модели, которые соответствуют рабочим процессам инженеров».… ➡️➡️➡️
BLIP3-o: Идеальное Решение для Бизнеса Введение в Многомодальное Моделирование Многомодальное моделированиесоздаёт системы, которые могут понимать и генерировать контент в различных визуальных и текстовых форматах. Эти модели интерпретируют визуальные сцены и создают новые изображения на основе текстовых запросов, что улучшает взаимодействие между различными форматами. Проблемы Многомодальных Систем Одной из основных проблем является создание архитектур, которые могут одновременно выполнять понимание и генерацию контента без потери качества. Модели должны понимать сложные визуальные концепции и генерировать высококачественные изображения в соответствии с запросами пользователей. Предыдущие Подходы Ранее модели использовали вариационные автокодировщики или кодировщики на основе CLIP. Хотя вариационные автокодировщики эффективны для восстановления, они часто дают… ➡️➡️➡️