“`html
Предсказание влияния масштабирования на будущие возможности моделей искусственного интеллекта: понимание неопределенности
Предсказание масштабного поведения передовых систем искусственного интеллекта, таких как GPT-4, Claude и Gemini, является ключевым для понимания их потенциала и принятия решений о развитии и использовании. Однако сложно предсказать, как эти системы будут проявлять себя на конкретных задачах при увеличении масштаба, несмотря на установленную связь между параметрами, данными, вычислениями и потерями при предварительном обучении, определенную законами масштабирования. Например, производительность на стандартных бенчмарках по обработке естественного языка иногда может показывать непредсказуемые изменения с увеличением масштаба. Некоторые исследования предполагают, что эти непредсказуемые изменения могут быть связаны с выбором метрик и отсутствием разрешения.
Направления исследования
Данная статья содержит два основных направления. Первое – “За пределами бенчмарков с множественным выбором”, где изучение сосредоточено на бенчмарках, оцениваемых с использованием форматов множественного выбора на основе логарифма вероятности. Хотя это направление ценно из-за полезности и распространенности таких задач, оно ограничивает более широкое применение результатов. Второе направление – “Предсказание производительности бенчмарков априори”, которое объясняет, почему производительность бенчмарков с множественным выбором сложно предсказать с использованием метрик, таких как точность и оценка Бриера. Однако анализы предполагают доступ к оценкам целых семей моделей на различных порядках величины FLOPs предварительного обучения и не используют обратное тестирование.
Исследователи из Университета Кембриджа, Stanford CS, EleutherAI и MILA показали, что общие метрики с множественным выбором, такие как точность, оценка Бриера и правильная вероятность, могут быть оценены на основе необработанных выходных данных модели. Это достигается через последовательность преобразований, постепенно разрушающих статистические связи между этими метриками и параметрами масштабирования. Основная причина заключается в том, что эти метрики зависят от прямого сравнения между правильным выводом и ограниченным набором конкретных неправильных выводов. Поэтому для точного предсказания производительности требуется моделирование того, как вероятность массы колеблется среди конкретных неправильных альтернатив.
Исследователи работали над тем, как вероятность массы на неправильных выборах колеблется с увеличением вычислений. Это помогает понять, почему отдельные производительные метрики могут быть непредсказуемы, в то время как законы масштабирования потерь при предварительном обучении более последовательны, поскольку они не зависят от конкретных неправильных выборов. Чтобы разработать оценки, которые эффективно отслеживают прогресс передовых возможностей искусственного интеллекта, важно понимать, что влияет на производительность. Более того, для того чтобы увидеть, как возможности на конкретных задачах меняются с увеличением масштаба для различных семей моделей, создаются оценки на основе данных от различных семей моделей и бенчмарков по обработке естественного языка с множественным выбором.
Для точного предсказания производительности на тестах с множественным выбором важно понимать, как меняется вероятность выбора правильного ответа с увеличением масштаба, а также как меняется вероятность выбора неправильного ответа с увеличением масштаба. Для метрик, таких как точность, эти прогнозы должны быть сделаны для каждого вопроса, потому что знание средней вероятности выбора неправильных ответов по многим вопросам не указывает на вероятность выбора конкретного неправильного ответа для конкретного вопроса. Особенно важно рассмотреть, как вероятности выбора правильных и неправильных ответов изменяются вместе при использовании большей вычислительной мощности.
В заключение, исследователи выявили фактор, который вызывает непредсказуемость на тестах с множественным выбором для передовых моделей искусственного интеллекта. Этим фактором является вероятность выбора неправильных ответов. Полученные результаты могут повлиять на разработку будущих оценок для передовых моделей искусственного интеллекта, которые можно надежно предсказывать с увеличением масштаба. Будущая работа сосредотачивается на создании более предсказуемых оценок для систем искусственного интеллекта, особенно для сложных и важных возможностей. Исследователи предложили несколько направлений для расширения работы и применения своего фреймворка для дальнейшего улучшения предсказуемости масштабирования.
Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наш новостной бюллетень.
Не забудьте присоединиться к нашему субреддиту по машинному обучению с 44 тыс. подписчиков.
Источник: MarkTechPost
Применение искусственного интеллекта в вашем бизнесе
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте How Scale Impacts Predicting Downstream Capabilities of Frontier AI Models: Understanding the Elusiveness.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru – будущее уже здесь!
“`
