“`html
Цифровая аватара жестового языка с помощью SignLLM
Высокоточные аватары жестового языка
Цель Sign Language Production (SLP) – создание аватаров жестов, похожих на людей, с использованием текстовых вводов. Стандартная процедура для методов SLP на основе глубокого обучения включает несколько этапов. Сначала текст переводится в глоссу – язык, представляющий положения и жесты. Эта глосса затем используется для создания видео, имитирующего жестовый язык. Полученное видео дополнительно обрабатывается для создания более интересных аватаров, похожих на реальных людей. Получение и обработка данных в жестовом языке сложны из-за своей сложности.
Преодоление проблем
Исследователи представляют Prompt2Sign – инновационный набор данных, отслеживающий движения верхней части тела демонстрантов жестового языка в масштабах. Это значительный шаг в области многоязычного распознавания и генерации жестового языка, так как это первый комплексный набор данных, объединяющий восемь различных жестовых языков и использующий онлайн-видео и наборы данных для устранения недостатков предыдущих усилий.
Практические решения
Для решения проблем команда представила модель SignLLM, построенную на наборе данных Prompt2Sign. Она генерирует скелетные позы восьми различных жестовых языков по текстам или предложениям. Это позволяет решать проблемы многоязычного распознавания и генерации. Кроме того, модель учитывает различные языки, что делает обучение более сложным и длительным, и предложила новую функцию потерь, основанную на идее обучения с подкреплением (RL), чтобы ускорить обучение модели на большем количестве языков и наборе данных.
Заключение
Хотя проделана огромная работа по автоматизации обработки данных в жестовом языке, остается предоставить комплексное решение “от начала и до конца”. Команда предлагает использовать AI Sales Bot для снижения нагрузки на первую линию в отделе продаж и приглашает к общению в Telegram-канале t.me/itinainews или на Tвitter @itinairu45358 для обсуждения вопросов внедрения ИИ в бизнес. Также возможно ознакомиться с AI Lab itinai.ru для более подробной информации.
“`
