Продвижение многомодального математического мышления с выравниванием «визуализация-код»
Многомодальное математическое мышление позволяет машинам решать задачи, используя как текстовую информацию, так и визуальные элементы, такие как диаграммы и графики. Эта способность особенно важна в образовании, автоматизированном обучении и анализе документов, где задачи часто представлены в комбинации текста и изображений.
Проблемы выравнивания
Существенной проблемой в этой области является недостаток качественного и точного выравнивания между математическими изображениями и их текстовыми или символьными представлениями. Большинство наборов данных, используемых для обучения крупных многомодальных моделей, основаны на подписях к изображениям в естественных условиях, которые часто не учитывают важные элементы, критически важные для математической точности. Это ограничение может привести к ненадежной работе модели, особенно в геометрии и технических диаграммах.
Решение: MathCoder-VL
Исследование из Multimedia Laboratory при Китайском университете Гонконга и CPII в рамках InnoHK предложило новый подход, названный MathCoder-VL. Этот метод сочетает в себе модель «визуализация-код» под названием FigCodifier с синтетическим генератором данных, создавая набор данных ImgCode-8.6M с помощью стратегии «модель в процессе». Этот подход позволил итеративно создать крупнейший набор изображений и кодов на сегодняшний день.
Процесс обучения
Модель MathCoder-VL обучается в два этапа: промежуточное обучение на ImgCode-8.6M для улучшения визуально-текстового выравнивания и тонкая настройка на MM-MathInstruct-3M для улучшения способностей к рассуждению. Модель FigCodifier переводит математические фигуры в код, который может точно воссоздать эти фигуры. Это выравнивание кода и изображения обеспечивает строгую точность, в отличие от традиционных наборов данных на основе подписей.
Качество данных
Набор данных включает 8.6 миллиона пар кодов и изображений, охватывающих различные математические темы, собранные из учебников, наборов данных K12 и статей arXiv. FigCodifier поддерживает рендеринг на основе Python, добавляя разнообразие в генерацию изображений. Система фильтрует низкокачественные данные, проверяя код и удаляя избыточные или бесполезные визуальные элементы, в результате чего остаются 4.3 миллиона высококачественных пар TikZ и 4.3 миллиона пар на основе Python.
Оценка производительности
Оценки производительности показывают, что MathCoder-VL превосходит несколько открытых моделей. Версия 8B достигла 73.6% точности в подмножестве MathVista Geometry Problem Solving, опередив GPT-4o и Claude 3.5 Sonnet на 8.9% и 9.2% соответственно. На китайских языковых тестах она достигла 51.2% на GAOKAO-MM. На тесте We-Math модель решила задачи с двумя шагами на 58.6%, немного превзойдя GPT-4o с 58.1%.
Выводы и рекомендации
Данное исследование четко выявляет проблему недостаточного визуально-текстового выравнивания в многомодальном математическом мышлении и предлагает масштабируемое и инновационное решение. Введение FigCodifier и синтетических наборов данных позволяет моделям учиться на точных, разнообразных визуалах в сочетании с точным кодом, значительно улучшая их способности к рассуждению.
Практическое применение AI в бизнесе
Изучите, как технологии искусственного интеллекта могут трансформировать ваш подход к работе. Например, этот AI-исследовательский проект представляет MathCoder-VL и FigCodifier.
Автоматизация процессов
Ищите возможности для автоматизации процессов. Найдите моменты в взаимодействии с клиентами, где искусственный интеллект может добавить наибольшую ценность.
Мониторинг показателей производительности
Определите ключевые показатели эффективности (KPI), чтобы убедиться, что ваши инвестиции в AI действительно положительно влияют на бизнес.
Выбор инструментов
Выбирайте инструменты, которые соответствуют вашим потребностям и позволяют настраивать их под ваши цели.
Постепенное внедрение
Начните с небольшого проекта, соберите данные о его эффективности, а затем постепенно расширяйте использование AI в своей работе.
Связь с экспертами
Если вам нужна помощь в управлении AI в бизнесе, свяжитесь с нами по адресу hello@itinai.ru. Чтобы быть в курсе последних новостей AI, подпишитесь на наш Telegram: https://t.me/itinai.
Пример решения на базе AI
Посмотрите практический пример решения на базе AI: чат-бот для продаж от https://itinai.ru/aisales, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействиями на всех этапах клиентского пути.
