Встречайте ARGUS: Масштабируемая ИИ-структура для обучения больших рекомендательных трансформеров до одного миллиарда параметров
В мире, где персонализация становится ключевым фактором успеха, Yandex представил ARGUS (AutoRegressive Generative User Sequential modeling) — масштабируемую структуру на основе трансформеров для рекомендательных систем, способную работать с одним миллионом параметров. Этот прорыв ставит Yandex в ряд мировых технологических лидеров, таких как Google, Netflix и Meta, которые успешно преодолели давние технические барьеры в масштабировании рекомендательных трансформеров.
Преодоление технических барьеров в рекомендательных системах
Рекомендательные системы длительное время сталкивались с тремя основными ограничениями: краткосрочная память, ограниченная масштабируемость и слабая адаптивность к изменяющемуся поведению пользователей. Традиционные архитектуры часто сокращают пользовательские истории до небольшого окна недавних взаимодействий, игнорируя ценные данные о поведении. В результате получается ограниченный взгляд на намерения пользователей, который не отражает долгосрочные привычки и сезонные циклы. С расширением каталогов до миллиардов товаров эти сокращенные модели теряют точность и не могут удовлетворить вычислительные требования персонализации на большом масштабе. Это приводит к устаревшим рекомендациям, снижению вовлеченности и меньшему количеству возможностей для неожиданных открытий.
Технические инновации ARGUS
Структура ARGUS вводит несколько ключевых усовершенствований:
- Дуальная предобучение: ARGUS разбивает авторегрессионное обучение на две подзадачи — предсказание следующего элемента и предсказание обратной связи, улучшая как имитацию исторического поведения системы, так и моделирование истинных предпочтений пользователей.
- Масштабируемые трансформерные кодеры: Модели масштабируются от 3.2 млн до 1 млрд параметров, с постоянным улучшением производительности по всем метрикам. На уровне миллиарда параметров увеличение точности парного предсказания составило 2.66%, что подтверждает закон масштабирования для рекомендательных трансформеров.
- Расширенное моделирование контекста: ARGUS может обрабатывать пользовательские истории длиной до 8192 взаимодействий за один проход, что позволяет персонализировать рекомендации на протяжении месяцев, а не только по последним кликам.
- Эффективная дообучение: Архитектура с двумя башнями позволяет выполнять оффлайн вычисления эмбеддингов и масштабируемое развертывание, снижая затраты на вывод по сравнению с предыдущими моделями.
Практическое применение и измеренные выгоды
ARGUS уже развернут на музыкальной платформе Yandex, обслуживая миллионы пользователей. В ходе A/B тестов система продемонстрировала:
- Увеличение общего времени прослушивания на 2.26%.
- Увеличение вероятности «нравится» на 6.37%.
Эти улучшения представляют собой крупнейшие зарегистрированные повышения качества на платформе для любой модели рекомендательных систем на основе глубокого обучения.
Будущие направления
Исследователи Yandex планируют расширить ARGUS для задач рекомендаций в реальном времени, изучить инженерные решения для парного ранжирования и адаптировать структуру для высококардинальных областей, таких как крупные электронные коммерции и видеоплатформы. Доказанная способность масштабировать моделирование пользовательских последовательностей с помощью архитектур трансформеров указывает на то, что рекомендательные системы могут следовать по пути масштабирования, аналогичному обработке естественного языка.
Заключение
С ARGUS Yandex утвердился как глобальный лидер в развитии передовых рекомендательных систем. Открыто делясь своими достижениями, компания усиливает персонализацию во всех своих сервисах, одновременно ускоряя эволюцию технологий рекомендаций по всей отрасли.
Часто задаваемые вопросы
1. Как работает ARGUS?
ARGUS использует трансформеры для анализа больших объемов данных о пользователях, что позволяет создавать более точные и персонализированные рекомендации.
2. Какие преимущества дает использование ARGUS для бизнеса?
ARGUS помогает увеличить вовлеченность пользователей, улучшая качество рекомендаций, что, в свою очередь, может привести к росту продаж и удержанию клиентов.
3. Как ARGUS справляется с изменением поведения пользователей?
ARGUS учитывает длинные пользовательские истории, что позволяет ему адаптироваться к изменяющимся предпочтениям и выявлять новые тренды.
4. Какие отрасли могут извлечь выгоду из ARGUS?
ARGUS может быть полезен в таких отраслях, как электронная коммерция, стриминг музыки и видео, а также в социальных сетях.
5. Каковы требования к внедрению ARGUS?
Для внедрения ARGUS требуется соответствующая инфраструктура для обработки больших объемов данных и мощные вычислительные ресурсы.
6. Как начать использовать ARGUS в своем бизнесе?
Рекомендуется обратиться к специалистам по ИИ и данным для оценки возможностей и интеграции ARGUS в существующие системы.
