“`html
Почему моделирование мульти-модальности страдает по сравнению с использованием одной модальности или наивными комбинациями нескольких модальностей?
Мы, вместе с @taromakino, @suchop, @kchonyc, представляем факторы, лежащие в основе этих вызовов и предлагаем модально-независимую структуру, чтобы их преодолеть.
Исследователи Нью-Йоркского университета предлагают моделирование интер- и интра-модальности (I2M2) для мульти-модального обучения, захватывая как интер-модальные, так и интра-модальные зависимости
В наблюдаемом мульти-модальном обучении данные отображаются из различных модальностей в целевую метку с использованием информации о границах между модальностями. Это особенно важно для таких областей, как автономные транспортные средства, здравоохранение, робототехника и другие. Хотя мульти-модальное обучение является фундаментальной парадигмой в машинном обучении, его эффективность различается в зависимости от конкретной задачи. В некоторых ситуациях мульти-модальный обучающийся может проявлять более высокую производительность, чем уни-модальный обучающийся. Тем не менее, в других случаях он может оказаться не лучше, чем отдельный уни-модальный обучающийся или смешанный из только двух. Эти противоречивые результаты подчеркивают необходимость руководящей структуры для прояснения причин разрывов в производительности между мульти-модальными моделями и разработки стандартной процедуры для разработки моделей, которые более эффективно используют мульти-модальные данные.
Вот главные выводы и рекомендации нашего исследования:
- Новый принципиальный подход к мульти-модальному обучению, использующий уникальную вероятностную перспективу
- Механизм, генерирующий данные и исследующий задачу наблюдаемого мульти-модального обучения
- Метод I2M2, который является результатом мульти-модальной генеративной модели
- Улучшенные возможности автоматической диагностики с использованием сканов МРТ колена и предсказания смертности и кодов ICD-9 в наборе данных MIMIC-III
- Перспективы трансформационных решений в задачах видео- и языкового восприятия, таких как NLVR2 и VQA
Будущее ИИ с I2M2
Оценка эффективности исследования показала, что метод I2M2 гарантирует надежное выполнение независимо от относительной важности его зависимостей. Наши результаты укрепляют доверие к эффективности I2M2 и демонстрируют его преимущество над внутримодальными и интермодальными подходами.
Как внедрить ИИ в свой бизнес
Если вы хотите развивать свою компанию с помощью ИИ и оставаться в числе лидеров, обратитесь к нам за советом по внедрению ИИ. Мы поможем вам определить возможности автоматизации и подобрать подходящее решение. Начните с небольшого проекта, анализируйте результаты и постепенно расширяйте автоматизацию.
Подпишитесь на нашу рассылку, чтобы быть в курсе новостей и тенденций в области искусственного интеллекта, и присоединитесь к нашему Telegram-каналу и группе в LinkedIn. Не забудьте подписаться на наш Твиттер и получайте свежие новости и исследования о ИИ.
“`
