Улучшение надежности машинного обучения: как атипичность повышает производительность модели и оценку неопределенности

Исследование показало, что использование аномальных данных может повысить надежность машинного обучения. Это не только улучшает производительность моделей, но также помогает в количественной оценке неопределенности. Дополнительные данные — ключ к улучшению качества моделей.

Исследования в области когнитивной науки показывают, что типичность играет важную роль в знании о категориях. Однако при оценке неопределенности в человеческих суждениях возникают трудности. В этой статье мы рассмотрим, как измерение атипичности и уверенности в прогнозах может повысить качество предсказаний моделей машинного обучения.

Исследование проведенное командой ученых из Университета Стэнфорда и Рутгерсского университета показывает, что атипичность влияет на точность прогнозов моделей. Они выделяют следующие вклады:

1. Оценка качества прогнозов: Исследование демонстрирует, что атипичность позволяет оценить, насколько хорошо прогноз модели соответствует реальным шансам наступления событий. Даже логистическая регрессия и нейронные сети могут иметь неправильную калибровку прямо из коробки. Атипичность может указать на то, когда уверенность в модели заслуживает доверия.

2. Повышение точности и калибровки: Путем модификации вероятностной модели техники калибровки устраняют некорректную калибровку. Исследование показывает, что модели требуют различных коррекций на основе атипичных входов и классов, и атипичность играет ключевую роль в перекалибровке.

3. Улучшение наборов прогнозов: Наборы прогнозов с высокой вероятностью включения метки — еще один способ оценить неопределенность. Исследование показывает, что низкая уверенность или атипичные выборки могут привести к недооценке наборов прогнозов.

Общий вывод: атипичность должна учитываться в моделях, и исследование показывает, что оценщики атипичности, простые в использовании, могут быть очень ценны.

Если вам нужны рекомендации по управлению ИИ в бизнесе, свяжитесь с нами по адресу hello@itinai.com. Чтобы быть в курсе последних новостей об ИИ, подписывайтесь на наш Telegram-канал.

Посмотрите на практический пример решения на основе ИИ: бот для продаж, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.

Изучите, как искусственный интеллект может улучшить ваши продажи и общение с клиентами. Познакомьтесь с нашими решениями на сайте itinai.ru.

Полезные ссылки:

• AI Lab in Telegram @itinai — бесплатная консультация
• Телеграм сообщество —  @itinairu