“`html
Искусственные нейронные сети и Фурье-признаки в системах обучения, таких как нейронные сети
Искусственные нейронные сети (ИНС) проявляют замечательные закономерности при обучении на естественных данных независимо от точного начального состояния, набора данных или цели обучения; модели, обученные на одной и той же области данных, сходятся к похожим узорам обучения. Например, для различных моделей изображений начальные веса слоев обычно сходятся к Габоровым фильтрам и детекторам цветового контраста. Многие такие признаки указывают на глобальное представление, выходящее за рамки биологических и искусственных систем, и эти признаки наблюдаются в зрительной коре. Эти результаты являются практическими и хорошо установленными в области машин, способных интерпретировать литературу, но лишенными теоретических объяснений.
Практические решения и ценность
Локализованные версии канонических 2D-базисных функций Фурье являются наиболее распространенными универсальными признаками в моделях изображений, например, Габоровыми фильтрами или вейвлетами. При обучении моделей зрения на задачи, такие как эффективное кодирование, классификация, временная согласованность и прогноз следующего шага, эти Фурье-признаки появляются в начальных слоях модели. Кроме того, нелокализованные Фурье-признаки наблюдались в сетях, обученных для решения задач, где допускается циклическое заворачивание, например, модульная арифметика, более общие групповые композиции или инвариантность к группе циклических переводов.
Исследователи из KTH, Redwood Center for Theoretical Neuroscience и UC Santa Barbara представили математическое объяснение возникновения Фурье-признаков в системах обучения, таких как нейронные сети. Это возникновение обусловлено нижестоящей инвариантностью обучающегося, который становится нечувствительным к определенным преобразованиям, например, плоским трансляциям или вращениям. Команда вывела теоретические гарантии относительно Фурье-признаков в инвариантных обучающихся, которые могут использоваться в различных моделях машинного обучения. Это вывод основан на концепции того, что инвариантность является фундаментальным предубеждением, которое может быть неявно и порой явно внедрено в системы обучения из-за симметрий в естественных данных.
Стандартное дискретное преобразование Фурье является частным случаем более общих преобразований Фурье на группах, которые могут быть определены путем замены базиса гармоник различными унитарными представлениями группы. Был разработан ряд предыдущих теоретических работ для моделей разреженного кодирования, выводящих условия, при которых разреженные линейные комбинации используются для восстановления исходных баз, генерирующих данные, с помощью сети. Предложенная теория охватывает различные ситуации и архитектуры нейронных сетей, что помогает заложить основу для теории обучения представлений в искусственных и биологических нейронных системах.
Команда представила две неформальные теоремы в этой статье. Первая утверждает, что если параметрическая функция определенного вида инвариантна по входной переменной к действию конечной группы G, то каждая компонента ее весов W совпадает с гармоникой G до линейного преобразования. Вторая теорема утверждает, что если параметрическая функция почти инвариантна к G согласно некоторым функциональным ограничениям и веса ортонормированы, то мультипликативная таблица G может быть восстановлена из W. Более того, модель реализуется для удовлетворения потребностей предложенной теории и обучается через различное обучение на цель, которая поддерживает инвариантность и извлечение мультипликативной таблицы G из ее весов.
В заключение, исследователи представили математическое объяснение возникновения Фурье-признаков в системах обучения, таких как нейронные сети. Они также доказали, что если модель машинного обучения определенного вида инвариантна к конечной группе, то ее веса тесно связаны с преобразованием Фурье на этой группе, и алгебраическая структура неизвестной группы может быть восстановлена из инвариантной модели. Будущая работа включает изучение аналогов предложенной теории на вещественных числах, что представляет интересную область, которая будет более тесно соотноситься с текущими практиками в этой области.
Практические решения и ценность
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Harmonics of Learning: A Mathematical Theory for the Rise of Fourier Features in Learning Systems Like Neural Networks.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу в Reddit с более чем 42 тысячами подписчиков.
Источник: MarkTechPost
“`
