Microsoft рвет Gemini с помощью GPT-4, улучшенного Medprompt. Новое поколение искусственного интеллекта обещает революцию в обработке естественного языка и автоматизации задач. Каковы ваши мысли? #Microsoft #GPT4 #Medprompt
Ранее в этом месяце Google с гордостью объявила, что ее мощная модель Gemini побила GPT-4 на тестах бенчмарка Massive Multitask Language Understanding (MMLU). Тем временем новый метод подсказок от Microsoft позволил GPT-4 вернуть себе лидирующую позицию, хоть и ненамного.
Помимо драмы вокруг маркетингового видео, модель Gemini является большим достижением для Google, и ее результаты на тестах MMLU впечатляют. Однако Microsoft, крупнейший инвестор OpenAI, не заставил себя долго ждать, чтобы подкинуть тень на усилия Google.
Главное, что Microsoft смогла добиться, это превзойти результаты Gemini Ultra по MMLU с GPT-4. На самом деле она превзошла результат Gemini на 90,04% всего на 0,06%.
История того, что сделало это возможным, намного увлекательнее, чем пошаговая борьба за первенство на этих рейтингах. Новые методы подсказок от Microsoft могут улучшить производительность старых моделей искусственного интеллекта.
Когда вы слышите, что люди говорят о “управлении” моделью, они просто имеют в виду, что с помощью тщательной подсказки можно направить модель на выдачу результата, более соответствующего вашим ожиданиям.
Microsoft разработала комбинацию методов подсказок, которые оказались действительно хорошими в этом. Medprompt начала как проект по улучшению ответов GPT-4 на медицинские бенчмарки, такие как набор тестов MultiMedQA.
Исследователи Microsoft пришли к выводу, что если Medprompt хорошо работает на специализированных медицинских тестах, то она также может улучшить общую производительность GPT-4. И вот Microsoft и OpenAI снова могут похвастаться результатами GPT-4 перед Gemini Ultra.
Как работает Medprompt?
Medprompt – это комбинация умных методов подсказок, объединенных в одно целое. Она основана на трех основных методах.
1. Динамическое обучение на небольшом наборе примеров (DFSL)
2. Цепочка мыслей, сгенерированных самой моделью (CoT)
3. Ансамблирование перемешивания вариантов ответов (Choice Shuffle Ensembling)
Комбинация этих трех методов подсказок дала Microsoft возможность подкинуть тень на результаты Gemini. Будет интересно увидеть, какие результаты смогла бы достичь Gemini Ultra, если бы она использовала подобный подход.
Medprompt захватывает своей уникальностью, потому что показывает, что старые модели могут работать даже лучше, чем мы думали, если мы подаем им умные подсказки. Однако дополнительная вычислительная мощность, необходимая для этих дополнительных шагов, может сделать этот подход невыгодным в большинстве сценариев.
Если вам нужны рекомендации по управлению ИИ в бизнесе, свяжитесь с нами по адресу hello@itinai.com.
Посмотрите на практический пример решения на основе ИИ: бот для продаж от itinai.ru/aisales, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.
Изучите, как искусственный интеллект может улучшить ваши продажи и общение с клиентами. Познакомьтесь с нашими решениями на сайте itinai.ru
