Узнайте о новом инструменте MetaCLIP, который оптимизирует предварительную тренировку языковых моделей, используя данные изображений. Разблокируйте потенциал CLIPs и раскройте тайны успешной обработки данных. Пора расти и развиваться! #CLIP #предварительнаятренировка #инновации
В последние годы произошли значительные прорывы в области искусственного интеллекта, особенно в области обработки естественного языка (NLP) и компьютерного зрения. Один из инновационных подходов – это нейронная сеть CLIP, разработанная OpenAI, которая обучается на огромном наборе данных изображений и текстовых пар. CLIP способствует развитию исследований в области компьютерного зрения и поддерживает современные системы распознавания и генеративные модели. Исследователи считают, что успешность CLIP обусловлена данными, на которых она обучается, и они полагают, что раскрытие процесса обработки данных позволит создавать еще более эффективные алгоритмы.
Описание MetaCLIP
В этой научной статье исследователи пытаются сделать подход обработки данных CLIP доступным для широкой публики и представляют MetaCLIP – модель, основанную на метаданных, которая превосходит данные CLIP на нескольких показателях качества при применении к набору данных CommonCrawl с 400 миллионами пар изображений и текстов.
Авторы статьи применили следующие принципы для достижения своей цели:
– Они создали новый набор данных из 400 миллионов пар изображений и текстов, собранных из различных интернет-источников.
– С помощью сопоставления подстрок они ассоциировали пары изображений и текстов с метаданными, что позволило связать неструктурированный текст с структурированными метаданными.
– Все тексты, связанные с каждой записью метаданных, были сгруппированы в списки, создавая соответствие между каждой записью и соответствующими текстами.
– Затем был произведен субсэмплинг связанного списка, обеспечивая более сбалансированное распределение данных, что делает его более универсальным для предварительного обучения.
– Для формализации процесса обработки данных был предложен алгоритм, который направлен на улучшение масштабируемости и снижение сложности хранения данных.
MetaCLIP обрабатывает данные, не используя изображения напрямую, однако она все равно улучшает соответствие визуального контента, контролируя качество и распределение текста. Процесс сопоставления подстрок повышает вероятность того, что текст будет упоминать объекты, присутствующие на изображении, что увеличивает шансы на нахождение соответствующего визуального контента. Кроме того, сбалансированное распределение предпочитает редко встречающиеся записи, которые могут иметь более разнообразный визуальный контент по сравнению с часто встречающимися записями.
Результаты и преимущества
В экспериментах исследователи использовали два набора данных – один для оценки целевых 400 миллионов пар изображений и текстов, и другой для масштабирования процесса обработки данных. Как уже упоминалось, MetaCLIP превосходит CLIP при применении к набору данных CommonCrawl с 400 миллионами точек данных. Кроме того, MetaCLIP превосходит CLIP в нулевой классификации ImageNet с использованием моделей ViT различного размера.
MetaCLIP достигает точности 70,8% при классификации ImageNet с использованием модели ViT-B, в то время как CLIP достигает точности 68,3%. MetaCLIP также достигает точности 76,2% при использовании модели ViT-L, в то время как CLIP достигает точности 75,5%. Масштабирование тренировочных данных до 2,5 миллиарда пар изображений и текстов, при сохранении того же бюджета и схожего распределения, дополнительно улучшает точность MetaCLIP до 79,2% для ViT-L и 80,5% для ViT-H. Это уникальные результаты для нулевой классификации ImageNet.
Заключение
В итоге, авторы этой статьи представили MetaCLIP, которая превосходит данные CLIP на нескольких показателях качества. MetaCLIP достигает этого путем сопоставления подстрок пар изображений и текстов с записями метаданных и субсэмплинга связанного списка для обеспечения более сбалансированного распределения данных. Это делает MetaCLIP многообещающим новым подходом к обработке данных и может способствовать разработке еще более эффективных алгоритмов.
Источник: MarkTechPost..
