“`html
Yandex Introduces TabReD: A New Benchmark for Tabular Machine Learning
В последние годы исследования в области машинного обучения на табличных данных значительно выросли. Однако для исследователей и практиков до сих пор существуют значительные вызовы. Традиционные академические бенчмарки для табличного машинного обучения не полностью отражают сложности, с которыми сталкиваются в реальных промышленных приложениях.
Практические решения и ценность
Для решения этих проблем исследователи из Yandex и HSE University разработали TabReD – новый бенчмарк, который тесно отражает промышленные приложения табличных данных. TabReD состоит из восьми наборов данных из реальных приложений в областях финансов, доставки еды и недвижимости. Код и наборы данных доступны на GitHub.
Для создания TabReD исследователи использовали наборы данных из соревнований Kaggle и приложений машинного обучения Yandex. Они следовали четырем правилам: наборы данных должны быть табличными, инженерия признаков должна соответствовать практикам промышленности, исключались наборы данных с утечкой информации, а также убедились, что в наборах данных есть метки времени и достаточное количество образцов для разделения по времени.
Восьмой набор данных в бенчмарке TabReD включает следующее:
- Homesite Insurance: предсказывает, купит ли клиент домашнюю страховку на основе пользовательских и политических функций.
- Ecom Offers: классифицирует, будет ли клиент использовать скидочное предложение на основе истории транзакций.
- HomeCredit Default: предсказывает, будет ли клиент банка допускать дефолт по кредиту, используя внутренние и внешние данные, фокусируясь на стабильности модели со временем.
- Sberbank Housing: предсказывает цену продажи недвижимости на рынке жилья в Москве, используя подробные показатели недвижимости и экономики.
- Cooking Time: оценивает время, необходимое ресторану для приготовления заказа на основе содержания заказа и истории приготовления.
- Delivery ETA: предсказывает предполагаемое время прибытия для онлайн-заказов продуктов, используя доступность курьера, данные навигации и историю доставки.
- Maps Routing: оценивает время в путешествии в автомобильной навигационной системе на основе текущих дорожных условий и деталей маршрута.
- Weather: прогнозирует температуру с использованием измерений метеостанции и физических моделей.
Эти наборы данных имеют два ключевых практических свойства, часто отсутствующих в академических бенчмарках. Во-первых, они разделены на обучающие, валидационные и тестовые наборы данных на основе меток времени, что важно для точной оценки. Во-вторых, они включают больше признаков благодаря обширным усилиям по сбору данных и инженерии признаков.
Исследователи провели тестирование недавних методов глубокого обучения для табличных данных на бенчмарке TabReD, чтобы оценить их производительность с разделением данных по времени и дополнительными признаками. Они пришли к выводу, что разделение данных по времени критично для правильной оценки. Выбор стратегии разделения значительно влиял на все аспекты сравнения моделей: абсолютные значения метрик, относительные различия производительности, стандартные отклонения и относительное ранжирование моделей.
TabReD сокращает разрыв между академическими исследованиями и промышленным применением в табличном машинном обучении. Он позволяет исследователям разрабатывать и оценивать модели, которые более вероятно будут хорошо работать в производственных средах, предоставляя бенчмарк, который тесно отражает реальные сценарии. Это критически важно для упрощения принятия новых научных результатов в практических приложениях.
Бенчмарк TabReD заложил основу для исследования дополнительных направлений, таких как непрерывное обучение, управление постепенными временными изменениями и улучшение техник выбора и инженерии признаков. Он также подчеркивает необходимость разработки надежных протоколов оценки для лучшей оценки реальной производительности моделей машинного обучения в динамичных реальных средах.
Проверьте Paper и GitHub. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам понравилась наша работа, вам понравится наш newsletter.
Не забудьте присоединиться к нашему 46k+ ML SubReddit.
Найдите предстоящие вебинары по ИИ здесь.
The post Yandex Introduces TabReD: A New Benchmark for Tabular Machine Learning appeared first on MarkTechPost.
“`
