“`html
Большие языковые модели (LLM) и кибербезопасность: новые вызовы и практические решения
Большие языковые модели (LLM) все шире используются, что создает новые кибербезопасные риски. Эти риски возникают из их основных характеристик: увеличенная способность генерации кода, развертывание в реальном времени для генерации кода, автоматизированное выполнение в интерпретаторах кода и интеграция в приложения, обрабатывающие ненадежные данные. Это создает необходимость в надежной системе оценки кибербезопасности.
Практические решения:
- Оценка безопасности LLM включает использование открытых бенчмарков и критериев оценки, таких как CyberMetric, SecQA, WMDP-Cyber, CyberBench и LLM4Vuln.
- Meta AI представляет CYBERSECEVAL 2, бенчмарк для оценки рисков и возможностей LLM, включая тестирование внедрения и эксплуатации уязвимостей, а также злоупотребление интерпретатором кода.
- Исследование также выявляет компромисс между безопасностью и полезностью (FRR) и способность LLM обрабатывать запросы в кибератаках, обеспечивая их безопасность и полезность.
Основные результаты и вклад:
- Добавлены тесты внедрения, оценивающие 15 категорий атак на LLM.
- Введены оценки соответствия LLM инструкциям, направленным на компрометацию интерпретаторов кода.
- Включен набор оценок, измеряющий способности LLM создавать эксплойты на C, Python и Javascript, включая уязвимости в логике, эксплойты памяти и SQL-инъекции.
- Представлен новый набор данных для оценки FRR LLM в задачах кибербезопасности, показывающий баланс полезности и вреда.
Заключение:
Исследование представляет CYBERSECEVAL 2, обширный набор бенчмарков для оценки кибербезопасных рисков LLM. Несмотря на улучшение производительности, проблемы в области безопасности продолжают существовать. Использование FRR позволяет эффективно оценить компромисс между безопасностью и полезностью, а результаты задач эксплуатации показывают необходимость дальнейших исследований перед автономной способностью LLM эксплуатировать системы.
Подробнее ознакомиться с исследованием и GitHub.
Вся благодарность за это исследование принадлежит его авторам. Также не забывайте следить за нами в Twitter, присоединиться к нашему Telegram-каналу, Discord-каналу и группе в LinkedIn.
Если вам нравится наша работа, вам понравится и наша рассылка.
Не забудьте присоединиться к нашему ML SubReddit.
Если вы заинтересованы в развитии вашего бизнеса с использованием искусственного интеллекта, обращайтесь к нам для консультаций по внедрению ИИ. Следите за новостями о ИИ в нашем Телеграм-канале или в Twitter. Попробуйте наш AI Sales Bot для улучшения работы с клиентами здесь. Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab здесь.
“`
