“`html
Оценка производительности модели в машинном обучении и искусственном интеллекте
Оценка производительности модели является ключевым аспектом в развивающихся областях искусственного интеллекта и машинного обучения, особенно с появлением больших языковых моделей. Этот процесс помогает понять возможности моделей и создать надежные системы на их основе.
Проблемы сомнительных исследовательских практик (QRPs) в оценке моделей
Сомнительные исследовательские практики могут серьезно подрывать целостность оценок моделей машинного обучения. Они могут привести к значительному преувеличению опубликованных результатов, вводя в заблуждение научное сообщество и общественность относительно реальной эффективности моделей.
Категории сомнительных исследовательских практик
Сомнительные исследовательские практики делятся на три основные категории: загрязнение, выборочное извлечение и неправильная отчетность.
Загрязнение
Загрязнение происходит, когда данные из тестового набора используются для обучения, оценки или даже для формулировки модели. Это может привести к несправедливому улучшению производительности модели.
Выборочное извлечение
Выборочное извлечение представляет собой практику изменения экспериментальных условий для поддержки желаемого результата.
Неправильная отчетность
Неправильная отчетность включает в себя представление обобщений на основе искаженных или ограниченных данных.
Иррепродуктивные исследовательские практики
Иррепродуктивные исследовательские практики также усложняют оценку моделей машинного обучения. Одним из примеров является скрытие информации о наборах данных, что затрудняет повторение и проверку результатов.
Заключение
Целостность исследований и оценок моделей машинного обучения критически важна. Хотя сомнительные и иррепродуктивные исследовательские практики могут приносить пользу на короткой дистанции, они наносят ущерб доверию и надежности области в долгосрочной перспективе. Установление и соблюдение строгих правил исследовательских процессов является необходимым, поскольку модели машинного обучения используются все чаще и оказывают большое влияние на общество.
Полный потенциал моделей машинного обучения может быть реализован только через открытость, ответственность и приверженность моральным исследованиям.
Проверьте статью. Вся благодарность за это исследование исследователям этого проекта.
Не забудьте подписаться на наш Twitter и присоединиться к нашим группам в Telegram и LinkedIn. Если вам нравится наша работа, вам понравится и наша рассылка.
Не забудьте присоединиться к нашему сообществу в Reddit.
Найдите предстоящие вебинары по искусственному интеллекту здесь.
Источник: The Impact of Questionable Research Practices on the Evaluation of Machine Learning (ML) Models