“`html
Новейшие достижения в области искусственного интеллекта
Недавние прорывы в области генеративного ИИ и огромные масштабные модели языка, зрения и мультимодальности могут стать основой для возможностей открытого доменного знания, умозаключений и генерации, позволяя создавать сценарии помощи в разнообразных задачах. Возможность создавать соответствующие инструкции и контент – это лишь начало для построения систем искусственного интеллекта, которые будут работать с людьми в реальном мире. Это включает в себя помощников в задачах смешанной реальности, интерактивных роботов, смарт-производственные помещения, автономные транспортные средства и многое другое.
Системы искусственного интеллекта должны постоянно воспринимать и умозаключать мультимодально в потоке о своем окружении, чтобы безупречно работать с людьми в реальном мире.
Критерий распространяется далеко за обнаружение и отслеживание объектов. Для успешного физического взаимодействия все участники должны быть в курсе потенциальных функций объектов, их взаимосвязей и пространственных ограничений, а также того, как эти факторы меняются со временем.
Эти системы должны уметь умозаключать не только о физическом мире, но и о людях.
В этом умозаключении должны учитываться оценки когнитивного состояния и социальных норм реального коллективного поведения в режиме реального времени, кроме более низкоуровневых оценок тона тела, голоса и действий.
Программа SIGMA
С использованием смешанной реальности и технологий искусственного интеллекта, таких как масштабные модели языка и зрения, Microsoft Research представляет SIGMA. Эта интерактивная программа использует HoloLens 2 для проведения пользователей через процедурные задачи. Большие модели языка, такие как GPT-4, или набор ручных этапов в библиотеке задач могут быть использованы для динамического создания задач. Когда пользователь задает SIGMA открытый вопрос во время взаимодействия, система может использовать свою обширную модель языка для предоставления ответа. И, наконец, SIGMA может локализовать и выделить объекты, соответствующие задаче, в поле зрения пользователя с использованием моделей зрения, таких как Detic и SEEM.
Архитектура системы
Одним из примеров реализации системы является клиент-серверная архитектура. Устройство HoloLens 2 работает на легком клиентском приложении, которое передает несколько потоков мультимодальных данных на более мощный настольный сервер. Эти потоки включают в себя данные RGB (красный, зеленый и синий), данные глубины, аудио, отслеживание головы, рук и взгляда. Клиентские приложения получают данные и инструкции от настольного сервера о выводе контента на устройстве, которое выполняет основную функциональность приложения.
Open-source архитектура psi
Архитектура Platform for Situated Intelligence (psi) является основой для SIGMA, позволяя разрабатывать и исследовать мультимодальные интегративные системы ИИ. Поддерживаемая мощная инфраструктура потоковой передачи и ведения журналов предоставляется базовой платформой psi, которая также позволяет быструю разработку прототипов. Инфраструктура воспроизведения данных framework позволяет разработке приложений на основе данных и настройке приложений. Наконец, обеспечивается широкая поддержка визуализации, отладки, настройки и обслуживания в Platform for Situated Intelligence Studio.
Будущие перспективы
Хотя текущая функциональность SIGMA еще несколько примитивна, она служит основой для будущих исследований в области смешанной реальности и искусственного интеллекта. Многие исследования, особенно в области восприятия, могут и были проведены с использованием собранных наборов данных. Эти проблемы охватывают широкий спектр от компьютерного зрения до распознавания речи.
Проект SIGMA от Microsoft
Программа SIGMA является исследовательской платформой и представляет собой усилия компании в области новейших технологий искуственного интеллекта и смешанной реальности. Еще одним готовым к использованию предприятием решением в области смешанной реальности является Dynamics 365 Guides от Microsoft, предназначенный для сотрудников первой линии. Пользователи предприятий могут получить огромную пользу от Dynamics 365 Guides, многофункционального инструмента, разработанного для сотрудников первой линии, выполняющих сложные операции.
Присоединяйтесь к нашем сообществу
Если вам нравится наша работа, вы полюбите нашу рассылку!
Не забудьте присоединиться к нашей группе LinkedIn, каналу в Telegram и нашему Discord каналу. Также следите за нами в Twitter!
Не забудьте познакомиться с подробностями и проектом! Вся заслуга за это исследование принадлежит исследователям проекта.
Если вам нужны советы по внедрению ИИ, пишите нам на itinai.
Присоединяйтесь к нашему телеграм-каналу, каналу Twitter и следите за нашими новостями в области ИИ!
Попробуйте AI Sales Bot! Этот программный ассистент в продажах поможет в отвечении на вопросы клиентов, генерации контента и уменьшении нагрузки на первую линию.
Узнайте, как ИИ может изменить ваш бизнес с помощью решений от AI Lab itinai.ru. Будущее уже здесь!
Не забудьте присоединиться к нашему SubReddit!