Чудесное обновление от Google Search – теперь появилась функция редактирования текста EdiT5! Эта новая модель ищет грамматические ошибки в вашем поиске. Теперь ошибка в предложении больше не будет проблемой. Проверьте сами!
В революционной разработке Google была представлена передовая функция исправления грамматики в поисковой системе, основанная на инновационной модели EdiT5. Этот революционный подход решает проблемы сложной коррекции грамматических ошибок (GEC), обеспечивая высокую точность и полноту при доставке результатов с исключительной скоростью.
Традиционно GEC рассматривалась как проблема перевода с использованием моделей авторегрессии трансформатора. Хотя это эффективно, такой метод неэффективен из-за ограничений авторегрессивного декодирования, что препятствует параллелизации. Признавая необходимость более упрощенного процесса, команда, стоящая за EdiT5, переосмыслила GEC как проблему редактирования текста. Используя архитектуру кодировщика-декодера трансформатора T5, они значительно сократили количество шагов декодирования, минимизируя задержку.
Модель EdiT5 принимает на вход текст с грамматическими ошибками и с помощью кодировщика определяет, какие токены следует сохранить или удалить. Сохраненные токены формируют черновой вывод, который, по желанию, может быть переупорядочен с помощью нерегрессивной сети указателей. Затем декодер вставляет недостающие токены, необходимые для создания грамматически правильного вывода. Важно отметить, что декодер работает только с отсутствующими в черновом варианте токенами, что значительно сокращает время обработки по сравнению с традиционным переводом на основе GEC.
Для дальнейшего повышения скорости декодирования команда упростила декодер до одного слоя, увеличив при этом размер кодировщика. Это стратегическое изменение эффективно балансирует нагрузку и приводит к значительному сокращению задержки. На практике это означает, что модель EdiT5 достигает впечатляющих результатов с впечатляющей средней задержкой всего 4,1 миллисекунды.
Оценки производительности на общедоступной платформе для исправления грамматических ошибок BEA демонстрируют превосходство EdiT5. Большая модель EdiT5 с 391 миллионом параметров превосходит базовую модель T5 с 248 миллионами параметров, показывая более высокие значения F0.5, которые измеряют точность исправления. Это улучшение сопровождается впечатляющим ускорением в 9 раз, что подчеркивает исключительную эффективность модели.
Кроме того, исследование подчеркивает ключевую роль размера модели в генерации точных грамматических исправлений. Используя метод жесткой дистилляции, команда объединяет преимущества больших языковых моделей (LLM) с низкой задержкой EdiT5. Путем обучения учителя LLM и использования его для генерации обучающих данных для студенческой модели EdiT5 они обеспечивают мощное сотрудничество между точностью и скоростью.
Процесс разработки также включал совершенствование обучающих данных для достижения оптимальной производительности. Наборы данных для обучения, состоящие из пар неграмматических и грамматических предложений, подвергались строгому самообучению и итеративному усовершенствованию. Этот тщательный подход эффективно устраняет ненужное перефразирование, артефакты и грамматические ошибки, что приводит к более чистым и последовательным обучающим данным.
В финальной реализации были обучены две модели на основе EdiT5: модель исправления грамматических ошибок и классификатор грамматичности. Когда пользователь использует функцию проверки грамматики, запрос проходит коррекцию моделью, а затем проверяется классификатором. Этот двухэтапный процесс гарантирует, что пользователю предлагаются только точные исправления, снижая риск ошибочных или запутанных предложений.
Внедрение функции проверки грамматики, работающей на основе EdiT5, устанавливает новый стандарт для эффективной и точной коррекции грамматики в Google Search. Теперь пользователи могут уверенно оценить грамматичность своих запросов, просто включив фразу “grammar check” в поисковой запрос. Этот веховый момент в обработке естественного языка подтверждает приверженность Google к улучшению пользовательского опыта и предоставлению надежных и точных результатов поиска.
Ознакомьтесь с документацией и блогом Google. Вся заслуга за это исследование принадлежит исследователям, работавшим над проектом.
Если вам нужны рекомендации по управлению ИИ в бизнесе, свяжитесь с нами по адресу hello@itinai.com. Чтобы быть в курсе последних новостей об ИИ, подписывайтесь на наш Telegram-канал t.me/itinairu.
Посмотрите на практический пример решения на основе ИИ: бот для продаж от itinai.ru/aisales, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.
