“`html
Исследование устойчивости: большие сверточные нейронные сети с крупными ядрами по сравнению с сверточными нейронными сетями CNN и трансформаторами изображений ViT
Внедрение моделей глубокого обучения в реальные приложения требует их надежности. Трансформаторы изображений (ViT) показали высокую устойчивость и передовую производительность в различных задачах обработки изображений с момента своего появления в 2020 году, превосходя традиционные сверточные нейронные сети (CNN). Недавние достижения в области сверточных нейронных сетей с крупными ядрами возродили интерес к CNN, показав, что они могут соперничать или превзойти производительность ViT. Однако устойчивость сверточных нейронных сетей с крупными ядрами пока не определена. В данном исследовании исследуется, насколько устойчивы сверточные нейронные сети с крупными ядрами, как их устойчивость сравнивается с CNN и ViT, а также какие факторы влияют на их устойчивость.
Исследование
Исследователи из Университета Шанхайского Цзяотун, компании Meituan и нескольких китайских университетов комплексно оценили устойчивость сверточных нейронных сетей с крупными ядрами (convents) по сравнению с традиционными CNN и ViT на шести эталонных наборах данных. Их эксперименты показали, что сверточные нейронные сети с крупными ядрами проявляют замечательную устойчивость, иногда даже превосходя ViT. Через серию из девяти экспериментов они выявили уникальные свойства, такие как инвариантность к заслонке, шаблоны внимания ядра и частотные характеристики, способствующие этой устойчивости. Это исследование вызывает сомнения в том, что самовнимание необходимо для достижения высокой устойчивости, предполагая, что традиционные CNN могут достичь сравнимого уровня устойчивости, и выступает за дальнейшее развитие сверточных нейронных сетей с крупными ядрами.
Большие сверточные нейронные сети с крупными ядрами имеют свои корни в ранних моделях глубокого обучения, но были затмены сетями с маленькими ядрами, такими как VGG-Net и ResNet. Недавно модели, такие как ConvNeXt и RepLKNet, возродили интерес к крупным ядрам, улучшая производительность, особенно в последующих задачах. Однако их устойчивость все еще требует изучения. Исследование заполняет этот пробел, оценивая устойчивость сверточных нейронных сетей с крупными ядрами через различные эксперименты. ViT известны своей сильной устойчивостью в задачах обработки изображений. Предыдущие исследования показали, что ViT превосходят CNN по устойчивости, вдохновляя на дальнейшие исследования. Это исследование сравнивает устойчивость сверточных нейронных сетей с крупными ядрами с ViT и CNN, предоставляя новые идеи.
Исследование исследует, насколько устойчивы сверточные нейронные сети с крупными ядрами, и как их устойчивость сравнивается с традиционными CNN и ViT. С использованием RepLKNet в качестве основной модели были проведены эксперименты на шести эталонных наборах данных для оценки устойчивости. Модели, такие как ResNet-50, BiT и ViT, использовались для сравнения. Результаты показывают, что RepLKNet превосходит традиционные CNN и ViT в различных тестах на устойчивость, включая естественные адверсивные вызовы, общие искажения и адаптацию к домену. RepLKNet демонстрирует превосходную устойчивость, особенно в сценариях заслонки и зависимости от фона, подчеркивая потенциал сверточных нейронных сетей с крупными ядрами в задачах устойчивого обучения.
Большие сверточные нейронные сети с крупными ядрами проявляют устойчивую производительность благодаря своей инвариантности к заслонке и шаблонам внимания ядра. Эксперименты показывают, что эти сети лучше справляются с высокой заслонкой, адверсивными атаками, модельными возмущениями и частотным шумом, чем традиционные модели, такие как ResNet и ViT. Они поддерживают производительность даже при удалении слоев или подвержении частотному шуму. Устойчивость в значительной степени обусловлена крупным размером ядра, поскольку замена крупных ядер на более мелкие значительно ухудшает производительность. Эта устойчивость улучшается с увеличением размера ядра, что показывает последовательные улучшения в различных эталонных тестах и подтверждает важность крупных ядер в конструкции ConvNet.
Хотя наше эмпирическое исследование твердо подтверждает устойчивость больших сверточных нейронных сетей с крупными ядрами, исследование признает необходимость более прямых теоретических доказательств, учитывая сложную природу глубокого обучения. Более того, вычислительные ограничения ограничили нашу возможность проводить абляции размера ядра на ImageNet-21K, сосредотачившись вместо этого на ImageNet-1K. Тем не менее, наше исследование подтверждает значительную устойчивость больших сверточных нейронных сетей с крупными ядрами на шести стандартных эталонных наборах данных, сопровождаемую тщательным количественным и качественным анализом. Эти идеи проливают свет на факторы, лежащие в основе их устойчивости, предлагая многообещающие пути для развития применения и развития больших сверточных нейронных сетей с крупными ядрами в будущих исследованиях и практическом использовании.
Ознакомьтесь с статьей и Github. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter.
Присоединяйтесь к нашему Telegram-каналу и группе LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему подпрограмме ML SubReddit.
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте “Исследование устойчивости: большие сверточные нейронные сети с крупными ядрами по сравнению с сверточными нейронными сетями CNN и трансформаторами изображений ViT”.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!
“`
