Виталик Бутерин: Угроза катастрофы из-за сверхразумного ИИ — часть ценностей человечества нуждается в пересмотре

Человечество пока не справляется с согласованием глобальных ценностей, чтобы обеспечить, что искусственный интеллект с суперразвитыми возможностями будет служить интересам всех людей. Такого мнения придерживается Виталик Бутерин, сооснователь Ethereum, в своем комментарии на пост 3D-художника известного под ником Utah teapot.

Он задался вопросом: «Как может существовать идея о согласовании ИИ? Я все время спрашиваю: “с согласованием чего?”. На этот вопрос мне никогда не дают ответа, кроме как “с человеческими ценностями”. Однако целостные и непротиворечивые человеческие ценности, по сути, отсутствуют. Я не понимаю, что мы изучаем. Печально, что это превращается в растущую индустрию. Пустая работа», — отметил он.

Бутерин также подчеркнул, что в мире существует множество ситуаций, противоречащих этическим нормам. В качестве примера он привел случаи убийства и задержания невиновных.

«[…] Мы все еще не достигли достаточного уровня согласования, чтобы удостовериться, что единственный сверхразумный ИИ сможет избежать подобных ситуаций», — добавил он.

Utah teapot выразил озабоченность по поводу того, что развитие согласованного ИИ начинает ограничивать публичный доступ к технологиям. Крупные компании предлагают версии своих ИИ-систем, которые могут усугубить негативные последствия и использоваться в военных целях.

«Меня беспокоит, что централизация доступа к ИИ-технологиям позволяет распространять как вопросы безопасности то, что на самом деле таковым не является, например, разговоры о “психозе” от больших языковых моделей (LLM). Это создает риск угнетения уникальных или маргинальных культур и их ценностей», — отметил он.

Бутерин разделяет эти опасения.

«Я считаю, что наибольшие угрозы исходят от военных и других мощных организаций, которые могут исключить себя из правил безопасности, действующих для всех остальных», — добавил сооснователь Ethereum.

В качестве примера Utah teapot привел стартап Anthropic, который разрабатывает альтернативные версии «гражданских» моделей ИИ и предоставляет их правительственным структурам. Эти модели могут быть использованы для военных или разведывательных операций.

Бутерин отметил, что риск разрушительного сценария для человечества возрастает, если будет существовать только один агентный искусственный интеллект с собственным разумом и возможностью действовать как субъект.

Если среда будет разнообразной, ни одна система не сможет полностью контролировать ситуацию. Однако для ее создания не достаточно лишь рыночных механизмов. Необходимы целенаправленные действия, включая изменения в законодательстве и стимулах, которые могут не понравиться крупным корпорациям.

Стоит напомнить, что в 2022 году министр информационных технологий Индии, Раджив Чандрасекар, призвал к разработке глобальных стандартов, обеспечивающих безопасность ИИ для человечества.