“`html
Продвижения в дизайне последовательности белка: использование обучения с подкреплением и языковых моделей
Дизайн последовательности белка критичен в инженерии белков для поиска лекарств. Традиционные методы, такие как эволюционные стратегии и Монте-Карло симуляции, часто требуют помощи для эффективного исследования огромного комбинаторного пространства последовательностей аминокислот и обобщения на новые последовательности. Обучение с подкреплением предлагает многообещающий подход, путем изучения политики мутации для генерации новых последовательностей. Недавние достижения в языковых моделях белков (PLM), обученных на обширных наборах данных последовательностей белков, предоставляют другую возможность. Эти модели оценивают белки на основе биологических метрик, таких как TM-score, помогая в дизайне белка и предсказаниях его складывания. Это важно для понимания клеточных функций и ускорения усилий по разработке лекарств.
Практические решения и ценность
Исследователи из Университета Макгилла, Института искусственного интеллекта Mila-Quebec, ÉTS Montréal, Университета BRAC, Университета инженерии и технологии Бангладеш, Университета Калгари, кафедры искусственного интеллекта CIFAR и Dreamfold предлагают использовать PLM в качестве функций вознаграждения для генерации новых последовательностей белков. Однако PLM может быть вычислительно интенсивным из-за своего размера. Для решения этой проблемы они предлагают альтернативный подход, где оптимизация основана на оценках от меньшей прокси-модели, периодически настраиваемой вместе с обучением политик мутации. Их эксперименты при различных длинах последовательностей показывают, что подходы на основе обучения с подкреплением достигают благоприятных результатов биологической правдоподобности и разнообразия последовательностей. Они предоставляют реализацию с открытым исходным кодом, способствующую интеграции различных PLM и алгоритмов исследования, нацеленных на продвижение исследований в дизайне последовательности белков.
Различные методы были исследованы для разработки биологических последовательностей. Эволюционные алгоритмы, такие как направленная эволюция и AdaLead, фокусируются на итеративном изменении последовательностей на основе показателей производительности. Covariance Matrix Adaptation Evolution Strategy (CMA-ES) генерирует кандидатов-последовательности с использованием многомерного нормального распределения. Proximal Exploration (PEX) способствует выбору последовательностей, близких к дикому типу. Методы обучения с подкреплением, такие как DyNAPPO, оптимизируют замещение наград для генерации разнообразных последовательностей. GFlowNets выбирают составы пропорционально их функциям вознаграждения, упрощая разнообразие конечных состояний. Генеративные модели, такие как дискретный диффузион и усовершенствованные модели потока, такие как FoldFlow, генерируют белки в последовательности или пространстве структуры. Байесовская оптимизация адаптирует прокси-модели для оптимизации последовательностей, решая многозадачные проблемы дизайна белков. MCMC и байесовский подход выбирают последовательности на основе энергетических моделей и прогнозов структуры.
В области дизайна последовательности белка с использованием обучения с подкреплением задача моделируется как процесс принятия решений Маркова (MDP), где последовательности мутируют на основе выбранных действий политики обучения с подкреплением. Последовательности представлены в формате кодирования one-hot, а мутации включают выбор позиций и замещение аминокислот. Награды определяются путем оценки структурной сходности с использованием либо дорогостоящей оракульной модели (ESMFold), либо более дешевой прокси-модели, периодически настраиваемой с помощью реальных баллов от оракула. Критерии оценки сосредотачиваются на биологической правдоподобности и разнообразии, оцениваемых с помощью метрик, таких как TM-показатель моделирования шаблона (TM) и тест различия локального расстояния (LDDT), а также мер разнообразия последовательностей и структур.
Различные алгоритмы дизайна последовательности были оценены с использованием pTM-показателей ESMFold в качестве основной метрики в проведенных экспериментах. Результаты показали, что методы, такие как MCMC, превзошли в прямой оптимизации pTM, в то время как техники обучения с подкреплением и GFlowNets продемонстрировали эффективность, используя прокси-модель. Эти методы поддерживали высокие показатели pTM, существенно снижая вычислительные затраты. Однако производительность MCMC ухудшилась при настройке с помощью прокси, возможно из-за застревания в субоптимальных решениях, соответствующих прокси-модели, но не ESMFold. В целом методы обучения с подкреплением, такие как PPO и SAC, наряду с GFlowNets, продемонстрировали прочную производительность по метрикам биологической правдоподобности и разнообразия, доказывая их адаптивность и эффективность для задач генерации последовательностей.
Научные результаты ограничены вычислительными ограничениями для более длинных последовательностей и зависимостью от прокси- или 3B ESMFold-модели для оценки. Неопределенность или несовпадение в модели вознаграждения добавляет сложности, требуя в дальнейшем исследования с другими PLM, такими как AlphaFold2 или более крупными вариантами ESMFold. Масштабирование до более крупных прокси-моделей может повысить точность для более длинных последовательностей. Хотя исследование не предвидит негативных последствий, оно подчеркивает потенциальное злоупотребление PLM. В целом, это исследование демонстрирует эффективность использования PLM для разработки политик мутации для генерации последовательностей белков, показывая, что алгоритмы обучения с подкреплением являются надежными конкурентами в этой области.
Посмотреть статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.
Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.
Если вам понравилась наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 46-тысячному ML Сабреддиту ML SubReddit.
Статья опубликована на сайте MarkTechPost.
“`
