«`html
Новый бенчмарк τ-bench: оценка производительности и надежности ИИ-агентов в реальных сценариях с динамическим взаимодействием с пользователем и инструментами
Текущие бенчмарки для языковых агентов недостаточно оценивают их способность взаимодействовать с людьми или соблюдать сложные, специфичные для области правила, необходимые для практического применения. Реальные приложения требуют от агентов безпрепятственного общения с пользователями и API в течение продолжительных взаимодействий, соблюдения подробных политик и поддержания последовательной и надежной производительности.
Практические решения и ценность
Бенчмарк τ-bench разработан для эмуляции динамических разговоров между языковым агентом и симулированным человеческим пользователем, интегрируя специфичные для области API и правила. Оценка этого бенчмарка позволяет оценить способность агента взаимодействовать последовательно и надежно, сравнивая конечное состояние базы данных после разговора с ожидаемым состоянием. Эксперименты в областях обслуживания клиентов, таких как розничная торговля и авиакомпании, показывают, что передовые агенты, такие как GPT-4o, успешно справляются с менее чем 50% задач и проявляют несогласованное поведение на протяжении испытаний. τ-bench стремится способствовать развитию более надежных агентов, способных к сложному мышлению и последовательному соблюдению правил в реальных взаимодействиях.
Бенчмарк τ-bench предназначен для оценки языковых агентов через реалистичные многоэтапные взаимодействия, включающие базы данных, API и симулированные разговоры с пользователями. Каждая задача моделируется как частично наблюдаемый процесс принятия решений Маркова, требующий от агентов соблюдения специфичных для области правил. Фреймворк включает разнообразные базы данных, API и симуляции пользователей для тестирования способностей агентов в розничной торговле и авиационной отрасли.
Статейная ссылка и детали
Проверьте статью и детали. Все права на это исследование принадлежат исследователям проекта.
Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наш бюллетень.
Не забудьте присоединиться к нашему сообществу в Reddit.
«`
