“`html
Машинное обучение для предсказательного моделирования
Машинное обучение помогает точно прогнозировать результаты на основе входных данных. Одной из основных проблем в этой области является “адаптация к доменам”, которая касается различий между сценариями обучения и применения.
Проблемы и решения
Изменения в отношениях между характеристиками (X) и целевыми результатами (Y) сложно предсказать. Эти изменения могут возникать из-за отсутствия информации или переменных, которые варьируются в разных сценариях. Чтобы справиться с этим, важно разрабатывать методы, которые позволяют моделям учиться на небольшом количестве размеченных примеров в новом контексте.
Новые подходы
Традиционные методы, такие как градиентные деревья и нейронные сети, требуют пересмотра при применении к сильно отличающимся данным. Новые большие языковые модели (LLMs) показывают обнадеживающие результаты, так как они могут кодировать обширные контекстуальные знания в характеристики.
Инновационная техника
Исследователи из Колумбийского и Цинхуа университета разработали метод, использующий LLM эмбеддинги для решения проблемы адаптации. Табличные данные преобразуются в текстовый формат и обрабатываются с помощью LLM кодера e5-Mistral-7B-Instruct. Эти эмбеддинги затем подаются в мелкую нейронную сеть, что позволяет модели учиться на более обобщенных паттернах.
Результаты исследований
Метод протестирован на трех реальных наборах данных:
- ACS Income
- ACS Mobility
- ACS Pub.Cov
Результаты показали, что LLM эмбеддинги улучшили производительность в 85% случаев для набора данных ACS Income и в 78% для ACS Mobility. При дообучении на 32 размеченных примерах производительность значительно повысилась.
Ключевые выводы
- Адаптивное моделирование: LLM эмбеддинги повышают адаптивность моделей.
- Эффективность данных: Минимальное количество целевых примеров (32) показывает высокую производительность.
- Широкая применимость: Метод успешно адаптируется к различным сдвигам данных.
Заключение
Данное исследование демонстрирует, что использование LLM эмбеддингов для предсказания табличных данных является значительным шагом вперед в адаптации моделей к изменениям распределений. Это открывает новые возможности для создания более устойчивых предсказательных моделей.
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ), проанализируйте, как ИИ может изменить вашу работу. Определите ключевые показатели эффективности (KPI), которые хотите улучшить с помощью ИИ. Внедряйте ИИ решения постепенно, начиная с малого проекта, и расширяйте автоматизацию на основе полученного опыта.
Если вам нужны советы по внедрению ИИ, пишите нам в наш Телеграм-канал. Следите за новостями о ИИ в нашем Телеграм-канале или в Twitter.
“`
