
Новости о лучших ИИ решениях, новинках машинного обучения, компьютерного зрения, ИИ агентов и больших лингвистических моделей от редакции itinai.ru
Введение BingoGuard от Salesforce AI Salesforce AI представляет BingoGuard — систему модерации на основе больших языковых моделей (LLM), которая предсказывает как бинарные метки безопасности, так и уровни серьезности контента. Проблемы традиционных систем модерации Современные большие языковые модели открывают новые возможности, но также создают проблемы, такие как генерация вредоносного контента. Традиционные системы модерации часто используют бинарные классификации (безопасный/опасный), что не позволяет точно различать уровни вредности. Это может привести к излишне строгой модерации, уменьшающей взаимодействие пользователей, или к недостаточной фильтрации, что подвергает пользователей риску. Решение BingoGuard BingoGuard решает эти проблемы, предсказывая бинарные метки безопасности и детализированные уровни серьезности. Система использует структурированную таксономию,… ➡️➡️➡️
Улучшение стратегического принятия решений в Гомоку с использованием больших языковых моделей и обучения с подкреплением Улучшение стратегического принятия решений в Гомоку Большие языковые модели (БЯМ) значительно продвинули обработку естественного языка (ОНЯ), демонстрируя сильные способности к генерации текста, пониманию и логическому рассуждению. Эти модели успешно применяются в различных областях, включая образование, интеллектуальное принятие решений и игры. Применение БЯМ в образовании и играх В образовании БЯМ выступают в роли интерактивных репетиторов, способствуя персонализированному обучению и улучшая навыки чтения и письма у студентов. В области принятия решений они анализируют большие объемы данных для генерации инсайтов по сложным проблемам. В играх БЯМ улучшают опыт… ➡️➡️➡️
Введение в PaperBench OpenAI представила PaperBench — новый стандарт для оценки возможностей ИИ-агентов в воспроизведении современных исследований в области машинного обучения (ML). Это важный шаг в понимании того, как ИИ может выполнять сложные задачи, традиционно выполняемые людьми-исследователями. Зачем нужен PaperBench? Существующие инструменты для оценки ИИ-агентов ограничены, и PaperBench предлагает систематический подход к оценке их способности к автономному воспроизведению результатов исследований. Он включает 20 статей из ICML 2024, охватывающих такие области, как обучение с подкреплением, устойчивость и вероятностные методы. Как работает PaperBench? PaperBench требует от ИИ-агентов обработки научных статей и разработки кодовых репозиториев с нуля. Эти репозитории должны содержать полные экспериментальные… ➡️➡️➡️
Снижение галлюцинаций в больших моделях визуально-языкового понимания Снижение галлюцинаций в больших моделях визуально-языкового понимания Галлюцинации остаются значительной проблемой при развертывании больших моделей визуально-языкового понимания (LVLM), так как эти модели часто генерируют текст, который не соответствует визуальным входным данным. В отличие от галлюцинаций в языковых моделях, которые возникают из-за лексических несоответствий, LVLM сталкиваются с межмодальными несоответствиями, что приводит к неточным описаниям изображений или неправильным пространственным отношениям. Проблемы и решения Существующие исследования часто не учитывают уникальную архитектуру LVLM, рассматривая механизмы галлюцинаций аналогично LLM, несмотря на различия в обработке визуальных данных. Чтобы снизить уровень галлюцинаций в LVLM, исследователи изучили как методы, основанные на… ➡️➡️➡️
Открытие Nomic: Модель мультимодальных встраиваний последнего поколения Nomic объявила о запуске своей новейшей модели встраиваний, которая демонстрирует выдающиеся результаты в задачах поиска визуальных документов. Новая модель обрабатывает текст, изображения и скриншоты в одном потоке, устанавливая новый рекорд на бенчмарке Vidore-v2 для поиска визуальных документов. Это достижение особенно важно для приложений, использующих дополненное извлечение (RAG) с PDF-документами, где требуется одновременное захватывание визуального и текстового контекста. Новые горизонты в поиске визуальных документов Модель Nomic Embed Multimodal 7B достигла впечатляющего результата 62.7 NDCG@5 на бенчмарке Vidore-v2, что на 2.8 пункта выше предыдущих лучших моделей. Это достижение является важной вехой в развитии мультимодальных встраиваний… ➡️➡️➡️
Многофункциональное внимание (MTA) Meta AI представляет новый метод внимания, который позволяет крупным языковым моделям (LLMs) эффективно обрабатывать информацию с использованием нескольких запросов и векторов ключей. Проблемы традиционных методов внимания Традиционные методы внимания, основанные на одном токене, ограничивают способность моделей понимать сложные языковые зависимости. Это затрудняет идентификацию предложений, содержащих несколько значимых сигналов одновременно. Решение от Meta AI Многофункциональное внимание (MTA) исправляет данное ограничение, позволяя одновременно обрабатывать несколько запросов и ключей. Это улучшает точность и эффективность извлечения контекстной информации. MTA включает два основных компонента: свертку ключей и запросов (key-query convolution) и смешивание голов (head mixing convolution), что позволяет лучше интегрировать данные и… ➡️➡️➡️
Полное руководство по маршрутизации LLM: Инструменты и рамки Полное руководство по маршрутизации LLM: Инструменты и рамки Введение Развертывание больших языковых моделей (LLM) вызывает определенные трудности, особенно в области оптимизации эффективности, управления вычислительными расходами и обеспечения высококачественной работы. Маршрутизация LLM стала стратегическим решением для этих проблем, позволяя интеллектуально распределять задачи между наиболее подходящими моделями или инструментами. Понимание маршрутизации LLM Маршрутизация LLM — это процесс анализа входящих запросов или задач и их направления к наиболее подходящей языковой модели. Это гарантирует, что каждая задача обрабатывается оптимальной моделью, что приводит к улучшению качества ответов и оптимальному использованию ресурсов. Например, простые вопросы могут обрабатываться менее… ➡️➡️➡️
Встречайте Amazon Nova Act: ИИ-агент для автоматизации веб-задач Amazon представила новую модель искусственного интеллекта (ИИ) под названием Nova Act. Этот ИИ-агент предназначен для выполнения действий в веб-браузере, автоматизируя такие задачи, как заполнение форм, навигация по интерфейсам и обработка всплывающих окон. Представьте его как помощника, работающего непосредственно на веб-сайтах. Amazon также выпустила SDK Nova Act, который позволяет разработчикам экспериментировать с этой технологией и создавать агентов для выполнения простых онлайн-задач. Текущий статус ИИ-агентов На данный момент ИИ-агенты в основном общаются или ищут информацию, отвечая на естественном языке или обращаясь к базам знаний. Amazon предполагает, что в будущем ИИ-агенты смогут выполнять задачи в… ➡️➡️➡️
Полное руководство для начинающих по терминалу/командной строке Полное руководство для начинающих по терминалу/командной строке Терминал (на Mac/Linux) или командная строка (на Windows) — это мощный инструмент, который позволяет взаимодействовать с вашим компьютером с помощью текстовых команд, а не графического интерфейса. Хотя это может показаться пугающим в начале, освоение основных команд терминала может помочь вам: Эффективнее перемещаться по файлам и папкам Выполнять задачи, которые недоступны через обычный интерфейс Автоматизировать повторяющиеся задачи Углубить понимание работы вашего компьютера Начало работы Открытие терминала На Windows: Нажмите Win + R, введите cmd и нажмите Enter, или найдите «Командная строка» в меню Пуск. На Mac: Нажмите… ➡️➡️➡️
Гибридная система вознаграждений в ИИ Введение Данная работа от ByteDance представляет гибридную систему вознаграждений, объединяющую проверку задач на рассуждение (RTV) и генеративную модель вознаграждения (GenRM) для предотвращения манипуляций с вознаграждениями. Проблемы и решения Обучение с подкреплением на основе человеческой обратной связи (RLHF) играет ключевую роль в согласовании больших языковых моделей (LLM) с человеческими ценностями и предпочтениями. Несмотря на альтернативные подходы, такие как DPO, ведущие модели, включая ChatGPT/GPT-4, продолжают использовать алгоритмы RL, такие как PPO. Качество модели вознаграждения критично для успеха RLHF, и оно сталкивается с тремя основными проблемами: некорректное моделирование предпочтений, неясные предпочтения в обучающих наборах данных и плохая способность… ➡️➡️➡️
Представляем ReSearch: Новая AI-структура для обучения LLMs интеграции рассуждений с поиском Большие языковые модели (LLMs) достигли значительного прогресса в различных задачах, особенно в области рассуждений. Однако эффективная интеграция процессов рассуждения с внешними поисковыми операциями остается сложной задачей, особенно для многопроцессных вопросов, требующих сложных цепочек рассуждений и нескольких этапов поиска. Проблемы существующих методов Текущие методы в основном зависят от вручную разработанных подсказок или эвристик, что ограничивает их масштабируемость и гибкость. Кроме того, создание контролируемых данных для сценариев многопроцессного рассуждения часто является чрезмерно дорогим и практически невозможным. Решение от Baichuan Inc. и партнеров Исследователи из Baichuan Inc., Тунцзийского университета, Университета Эдинбурга и… ➡️➡️➡️
Использование Git и Git Bash: Полное руководство Как использовать Git и Git Bash локально: Полное руководство Введение Git — это распределенная система контроля версий, которая помогает отслеживать изменения в коде, сотрудничать с другими и сохранять историю вашего проекта. Git Bash — это терминальное приложение для Windows, которое предоставляет опыт командной строки, похожий на Unix, для работы с Git. Установка Windows Скачайте Git для Windows с официального сайта. Запустите установщик с параметрами по умолчанию (или настроьте по мере необходимости). Git Bash будет установлен автоматически как часть пакета. macOS Установите Git с помощью Homebrew: brew install git. Либо скачайте с официального сайта.… ➡️➡️➡️
Как создать прототип инструмента для оценки рентгеновских снимков В этом руководстве мы покажем, как создать прототип инструмента для оценки рентгеновских снимков, используя открытые библиотеки в Google Colab. Мы используем возможности TorchXRayVision для загрузки предобученных моделей DenseNet и Gradio для создания интерактивного пользовательского интерфейса. Это позволит обрабатывать и классифицировать рентгеновские снимки грудной клетки с минимальными настройками. Установка необходимых библиотек Сначала установим библиотеку torchxrayvision для анализа рентгеновских снимков и Gradio для создания интерактивного интерфейса. Импорт библиотек Импортируем PyTorch для операций, TorchXRayVision для анализа рентгеновских снимков, torchvision для предварительной обработки изображений и Gradio для создания интерактивного интерфейса. Загрузка модели Затем мы загружаем предобученную… ➡️➡️➡️
Введение в новые подходы к креативному письму с использованием ИИ Введение в разнообразные DPO и ORPO Креативное письмо — это область, которая требует разнообразия и воображения. В отличие от фактического или специализированного письма, где может быть только один правильный ответ, креативное письмо допускает множество допустимых ответов на заданную тему. Создание историй, поэм и нарративов может принимать самые разные формы, каждая из которых обладает своим уникальным стилем и смыслом. Проблема недостатка разнообразия Основная проблема заключается в том, как большие языковые модели (LLMs) дообучаются после первоначальной тренировки. Обычно методы дообучения ориентированы на улучшение качества, что приводит к созданию слишком похожих ответов на… ➡️➡️➡️
Реализация кода для оценки результатов юридической области с использованием платформы Atla и модели Selene через Python SDK для соблюдения GDPR В этом руководстве мы демонстрируем, как оценить качество ответов, сгенерированных моделями LLM, с помощью Atla и Python SDK. Это мощный инструмент для автоматизации рабочих процессов оценки с использованием критериев на естественном языке. На базе модели Selene, Atla обеспечивает современный инструмент оценки, который помогает анализировать, соответствуют ли юридические ответы принципам GDPR (Общий регламент по защите данных). Основные шаги реализации В рамках данной реализации мы: Использовали индивидуальную логику оценки по критериям GDPR. Запрашивали у Selene бинарные оценки (0 или 1) и читаемые… ➡️➡️➡️
VideoMind: Ролевой Агент для Понимания Видео с Временной Привязкой Современные языковые модели (LLMs) продемонстрировали впечатляющие способности в решении задач, таких как «Цепочка Мыслей» (CoT), что увеличивает точность и интерпретируемость в сложных задачах. Однако видео, как многомодальный контент, представляет уникальные вызовы из-за своей временной природы. В отличие от статических изображений, видео требует понимания динамических взаимодействий во времени. Проблемы Понимания Видео Существующие методы CoT хорошо работают со статичными данными, но сталкиваются с трудностями при обработке видео, так как не могут точно локализовать или вернуться к определённым моментам. Люди преодолевают эти проблемы, разбивая сложные задачи на части, выделяя ключевые моменты и синтезируя наблюдения… ➡️➡️➡️
Представляем Hostinger Horizons: Инструмент AI без кода для создания веб-приложений В условиях современного веб-развития платформы без кода значительно упрощают процесс создания приложений. Hostinger Horizons — это инструмент на базе искусственного интеллекта, который позволяет создавать, редактировать и публиковать индивидуальные веб-приложения без необходимости в программировании. Платформа интегрирует услуги хостинга, регистрации доменов и электронной почты, предоставляя комплексное решение для пользователей и бизнеса, стремящихся установить цифровое присутствие. Технический обзор Hostinger Horizons использует передовые технологии искусственного интеллекта и обработки естественного языка для интерпретации пользовательских запросов и генерации функциональных веб-приложений. Платформа предлагает удобный интерфейс чата, где пользователи могут описать свои идеи на простом языке. Основные технические… ➡️➡️➡️
Понимание Памяти AI Агентов: Основы Интеллектуальных Систем Память AI агента включает несколько уровней, каждый из которых выполняет свою уникальную роль в формировании поведения и принятии решений агента. Разделяя память на разные типы, мы можем лучше понять и проектировать AI системы, которые будут контекстуально осведомленными и отзывчивыми. Рассмотрим четыре ключевых типа памяти, используемых в AI агентах: Эпизодическую, Семантическую, Процедурную и Краткосрочную (или Рабочую) память, а также взаимодействие между долгосрочным и краткосрочным хранением. 1. Эпизодическая Память: Воспоминания о Прошлых Взаимодействиях Эпизодическая память в AI отвечает за хранение прошлых взаимодействий и конкретных действий агента. Она позволяет агенту ссылаться на предыдущие разговоры, решения и… ➡️➡️➡️
Введение в Hunyuan-T1 от Tencent Tencent представила Hunyuan-T1 — новый ультра-большой языковой модель, разработанный для глубокого рассуждения и эффективной обработки контекста. Эта модель решает основные проблемы, с которыми сталкиваются традиционные языковые модели, такие как потеря контекста и сложность работы с длинными текстами. Преимущества Hunyuan-T1 Hunyuan-T1 использует архитектуру Mamba, которая сочетает в себе технологии Hybrid Transformer и Mixture-of-Experts (MoE). Это позволяет модели эффективно обрабатывать длинные текстовые последовательности, минимизируя вычислительные затраты и предотвращая потерю контекста. Hunyuan-T1 демонстрирует высокую скорость обработки информации, что обеспечивает качественные и быстрые ответы. Методы обучения Модель активно использует методы обучения с подкреплением (RL) на этапе пост-тренировки. Tencent выделила… ➡️➡️➡️
Введение в FFN Fusion Исследователи NVIDIA представили FFN Fusion — новую технику оптимизации, которая демонстрирует, как последовательные вычисления в больших языковых моделях (LLMs) могут быть эффективно параллелизированы. Проблема эффективности в LLMs Большие языковые модели стали важными инструментами в различных областях, обеспечивая высокопроизводительные приложения, такие как генерация естественного языка и разговорные агенты. Однако с увеличением размера и сложности моделей возрастает вычислительная нагрузка, что создает узкие места в эффективности. Устранение этих узких мест стало критически важной задачей. Технические трудности Последовательная структура трансформеров требует строгого порядка и синхронизации, что усложняет масштабирование. Увеличение размера моделей приводит к росту затрат на вычисления и коммуникацию, что… ➡️➡️➡️