“`html
Индуктивное внеконтекстное рассуждение (OOCR) в больших языковых моделях (LLM): возможности, вызовы и последствия для безопасности искусственного интеллекта (ИИ)
Большие языковые модели (LLM) – это, пожалуй, самое значительное достижение в области искусственного интеллекта (ИИ). Однако, поскольку эти модели обучаются на обширных и разнообразных корпусах, они могут неосторожно содержать вредную информацию, включая инструкции по созданию биологических патогенов. Важно устранить каждый случай такой информации из тренировочных данных, чтобы защитить LLM от усвоения таких вредоносных деталей.
Возникает вопрос, могут ли LLM, как в Chain of Thought или Retrieval-Augmented Generation, выводить такую информацию без явных процедур рассуждения. Для решения этой проблемы исследователи из UC Berkeley, University of Toronto, Vector Institute, Constellation, Northeastern University и Anthropic изучили явление, называемое индуктивным внеконтекстным рассуждением (OOCR). OOCR – это способность LLM применять свои выводы к новым задачам, не полагаясь на контекстное обучение, выводя скрытую информацию из фрагментированных доказательств в тренировочных данных.
Практические решения и ценность
Исследование показало, что продвинутые LLM способны проводить OOCR, используя пять различных задач. Например, LLM, обученная только на расстояниях между несколькими известными городами и неизвестным городом, способна правильно идентифицировать незнакомый город как Париж. Это также применимо к другим задачам, демонстрируя широкий спектр возможностей OOCR в LLM. Однако были выявлены и ограничения, связанные с OOCR, особенно при работе с комплексными структурами или меньшими моделями. Это подчеркивает сложность обеспечения надежных выводов от LLM.
Исследователи также подчеркнули важность OOCR для безопасности ИИ и обсудили, что модели могут изучать и использовать знания способами, трудными для мониторинга людьми из-за неявности полученной информации.
Проверьте статью. Вся заслуга за это исследование принадлежит его авторам. Также, не забудьте подписаться на нас в Twitter.
Присоединяйтесь к нашему Телеграм-каналу и группе в LinkedIn.
Если вам нравится наша работа, вам понравится и наш новостной бюллетень.
Не забудьте присоединиться к нашему 45k+ ML SubReddit.
“`
