“`html
AnchorGT: Новая архитектура внимания для графовых трансформеров как гибкий строительный блок для улучшения масштабируемости широкого спектра моделей графовых трансформеров
Трансформеры в мире машинного обучения поразили своим мощным механизмом самовнимания, достигая передовых результатов в областях обработки естественного языка и компьютерного зрения. Однако, когда речь заходит о графовых данных, которые широко распространены в таких областях, как социальные сети, биология и химия, классические модели трансформеров сталкиваются с основным узким местом из-за квадратичной вычислительной сложности, масштабирующейся с числом узлов в графе.
Практическое решение:
Команда исследователей предложила AnchorGT, предлагающий элегантное решение проблеме масштабируемости, сохраняя при этом выразительную мощность трансформеров. Основная идея AnchorGT заключается в том, чтобы вместо того, чтобы позволять каждому узлу обращаться ко всем остальным узлам (стандартный механизм внимания в трансформерах), исследователи выбирают небольшой набор стратегически выбранных “якорных” узлов, действующих в качестве информационных хабов. Теперь каждому узлу нужно обращаться только к своим местным соседям и этим якорным узлам, существенно снижая вычислительную нагрузку, сохраняя при этом глобальную информацию.
Исследователи использовали концепцию из теории графов, называемую “k-доминирующим множеством”, чтобы выбрать якорные узлы. k-доминирующее множество – это подмножество узлов, такое, что каждый узел в графе находится максимум в k шагах от по крайней мере одного якорного узла. Это множество можно вычислить эффективно с использованием жадного алгоритма, который итеративно выбирает узлы с высокой степенью и удаляет их k-шаговые окрестности, пока все узлы не будут покрыты.
С якорным набором в месте механизм внимания переработан таким образом, что каждый узел обращается к своим k-шаговым соседям и якорному набору. В экспериментах исследователи оценили варианты AnchorGT популярных моделей графовых трансформеров, таких как Graphormer и GraphGPS, на различных задачах обучения графов, включая регрессию на уровне графа на наборах данных, таких как QM9, и классификацию узлов на Citeseer и Pubmed. На этих испытаниях модели AnchorGT соответствовали или даже превзошли производительность их оригинальных аналогов, при этом значительно экономя память и работая быстрее.
Практическая ценность:
Новая архитектура AnchorGT позволяет совместить вычислительную эффективность и выразительную мощность, делая графовые трансформеры практичными для обработки графовых данных большого масштаба, не ущемляя при этом их основные преимущества. Эта работа открывает путь для более масштабируемых и эффективных методов обучения на графах, позволяя применять трансформеры в широком спектре областей, связанных с графовыми данными.
Подробнее ознакомьтесь с Статьей.
Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 42k+ ML SubReddit.
Источник: MarkTechPost.
Применение ИИ в вашем бизнесе
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте AnchorGT: A Novel Attention Architecture for Graph Transformers as a Flexible Building Block to Improve the Scalability of a Wide Range of Graph Transformer Models.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на Телеграм. Следите за новостями о ИИ в нашем Телеграм-канале itinainews или в Twitter itinairu45358.
Попробуйте AI Sales Bot. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!
“`
