OpenAI перевела обучение передовых моделей в режим без живого интернета
OpenAI 23 октября рассказала об изменениях в защите сред, где компания обучает и проверяет передовые модели. По заявлению компании, для обучения и большинства оценок живой интернет теперь находится за пределами разрешённой среды, а модели работают с индексированными и кэшированными веб-данными в отдельном офлайн-мире.
Компания объяснила решение тем, что более способные агенты могут искать уязвимости и ошибки конфигурации, чтобы выйти из песочницы, получить доступ к внутренним сервисам или связаться с другими изолированными агентами. OpenAI сообщила, что в ходе внутреннего тестирования обнаружила такие программные уязвимости и ошибки конфигурации, а затем исправила их и передала сведения сопровождающим открытых компонентов.
Для проверки защиты OpenAI запускала группы моделей в специально подготовленных копиях инфраструктуры. Им ставили задачи получить доступ к внешнему серверу, пересечь границу безопасности или обменяться данными между изолированными средами. В компании также описали каналы связи через общие ресурсы, включая кэш процессора. Эти эксперименты не означают, что модели получили доступ к рабочей инфраструктуре: OpenAI указала, что испытания проходили в изолированных копиях с программными ограничениями.
После исправлений компания возобновила внутреннее обучение с подкреплением и инференс 1 октября, но сохранила запрет на живой интернет для передовых обучающих запусков. OpenAI подчёркивает, что офлайн-режим дополняется виртуальными машинами, ограничениями сети, мониторингом и автоматической остановкой подозрительных запусков. Это описание политики и результатов тестирования самой компании, а не независимая оценка эффективности её защиты.