“`html
Многокритериальная оптимизация в машинном обучении
Многокритериальная оптимизация (MOO) играет ключевую роль в машинном обучении, позволяя исследователям балансировать множество конфликтующих целей в реальных приложениях. Такие приложения включают робототехнику, справедливую классификацию и рекомендательные системы. Важно учитывать компромиссы между показателями производительности, такими как скорость по сравнению с энергоэффективностью в робототехнике или справедливость по сравнению с точностью в моделях классификации. Эти сложные задачи требуют оптимизационных техник, которые одновременно учитывают различные цели, обеспечивая учет каждого фактора в процессе принятия решений.
Проблемы многокритериальной оптимизации
Одной из значительных проблем в многокритериальной оптимизации является необходимость масштабируемых методов для эффективной обработки больших моделей с миллионами параметров. Традиционные подходы, особенно эволюционные алгоритмы, часто неспособны оптимально использовать информацию, основанную на градиентах, что критично для оптимизации сложных моделей. Без градиентной оптимизации увеличивается вычислительная нагрузка, что делает практически невозможным решение проблем, связанных с глубокими нейронными сетями или другими большими моделями.
LibMOON: новая библиотека многокритериальной оптимизации
Команда исследователей из City University of Hong Kong, SUSTech, HKBU и UIUC представила LibMOON – новую библиотеку, которая решает эту проблему, предоставляя градиентно-ориентированную многокритериальную оптимизацию. Реализованная в PyTorch, LibMOON разработана для более эффективной оптимизации больших моделей машинного обучения по сравнению с предыдущими методами. Библиотека поддерживает более двадцати передовых методов оптимизации и предлагает ускорение с использованием графического процессора, что делает ее высокоэффективной для задач большого масштаба.
Ядро функциональности LibMOON заключается в трех категориях решателей: решатели многокритериальной оптимизации (MOO), решатели обучения множества Парето (PSL) и решатели многокритериальной байесовой оптимизации (MOBO). Каждая из этих категорий решателей модульна и позволяет легко интегрировать новые методы, что делает LibMOON высокоадаптивной. Решатели MOO направлены на поиск конечного набора Парето-оптимальных решений. В отличие от этого, решатели PSL нацелены на представление всего множества Парето с использованием единой нейронной модели. Решатели MOBO разработаны для обработки дорогостоящих задач оптимизации, где оценка целевых функций затратна. Эти решатели используют передовые техники байесовой оптимизации для снижения количества оценок функций, что делает их идеальными для реальных приложений, где ресурсы ограничены.
Производительность LibMOON впечатляет при решении различных задач оптимизации. Например, при тестировании на синтетических задачах, таких как VLMOP2, градиентные решатели библиотеки достигли лучших значений гиперобъема (HV) по сравнению с традиционными эволюционными подходами, что указывает на их превосходную способность исследования пространства решений. Кроме того, методы PSL библиотеки продемонстрировали свою силу в задачах многозадачного обучения, эффективно изучая всю Парето-фронт. Также было показано, что решатели MOO снижают вычислительные затраты, сохраняя высокое качество оптимизации, превосходя традиционные библиотеки MOEA.
Библиотека LibMOON также поддерживает реальные приложения, такие как справедливая классификация и многокритериальные задачи машинного обучения. В этих тестах решатели MOO и PSL библиотеки превзошли существующие методы, достигнув более высоких значений гиперобъема и разнообразия, а также снизив вычислительное время.
В заключение, LibMOON представляет собой надежное градиентно-ориентированное решение для многокритериальной оптимизации, решая основные ограничения существующих методов. Его способность эффективно масштабироваться до больших моделей машинного обучения и предоставлять точные множества Парето делает его неотъемлемым инструментом для исследователей в области машинного обучения.
Подробнее о работе можно узнать в статье и на GitHub.
“`
