Бывший лидер политики OpenAI обвиняет компанию в искажении своей истории управления безопасностью AI

Знаменитый бывший исследователь политики в OpenAI, Майлз Брандейдж, в среду высказал свое мнение в социальных сетях, раскритиковав компанию за «переписывание истории» в отношении своего подхода к внедрению потенциально опасных AI-систем. В начале недели OpenAI опубликовала документ, в котором представлена их актуальная философия безопасности и согласованности AI, вместе с описанием процесса проектирования AI-систем, которые функционируют надежно и объяснимо.

В этом документе OpenAI упомянула, что рассматривает разработку AGI, определяемую как системы, способные выполнять любые задачи, которые могут решать люди, как «непрерывный процесс», требующий «итеративного развертывания и обучения» технологий AI.

«Безопасность в условиях неопределенности требует тщательного обращения с существующими системами, основываясь на их потенциальной мощности. Такой подход подтвердил себя при реализации нашей модели GPT-2», — указывает OpenAI.

«Сегодня мы видим первую AGI как всего лишь одну точку на шкале систем, которые становятся все более полезными. Чтобы следующая система была безопасной и эффективной, необходимо учиться на текущих», — добавляют они.

Тем не менее, Брандейдж отмечает, что при запуске GPT-2 действительно требовалась значительная осторожность и что это «на 100% соответствовало» текущей стратегии итеративного развертывания OpenAI.

«Запуск GPT-2, в реализации которого я участвовал, на 100% соответствовал и предвосхитил современные принципы итеративного развертывания OpenAI», — отметил Брандейдж в соцсетях.

«Модель была выпущена поэтапно, с извлечением уроков на каждом из них. Многие специалисты по безопасности тогда благодарили нас за проявленную осторожность».

Брандейдж, который вступил в OpenAI как научный сотрудник в 2018 году, в течение нескольких лет возглавлял отдел политических исследований компании. В команде OpenAI, работающей над “готовностью к AGI”, он сосредоточил внимание на ответственном развертывании языковых генеративных систем, подобных платформе AI-чатбота OpenAI ChatGPT.

GPT-2, представленный OpenAI в 2019 году, стал предшественником AI-систем, лежащих в основе ChatGPT. GPT-2 обладал способностью отвечать на вопросы, резюмировать статьи и генерировать текст, который иногда был практически неотличим от человеческого.

Источник