«Character.AI вводит ограничения для подростков: ответ на судебные иски и трагические события»

Причиной изменений стал ряд судебных исков и несчастных случаев.

Платформа для общения с ИИ-персонажами Character.AI ограничит доступ для пользователей моложе 18 лет. Эти меры вызваны рядом судебных исков.

«Принятие решения о прекращении функции свободного общения оказалось нелегким, но мы считаем его необходимым в сложившейся ситуации», — заявляют представители проекта.

До 25 ноября время взаимодействия с чат-ботами для несовершеннолетних будет постепенно уменьшаться. Сначала оно ограничится двумя часами в день, после чего доступ будет полностью закрыт.

Character.AI предложит подросткам другие формы креативности, такие как создание видео, написание рассказов и стримы с участием ИИ-персонажей.

Для подтверждения возраста пользователей платформа внедрит систему проверки, которая объединит разработки Character.AI и решения сторонних компаний, таких как Persona.

Параллельно создается и будет финансироваться некоммерческий проект AI Safety Lab, который займется разработкой новых стандартов безопасности для развлекательных аспектов искусственного интеллекта.

На Character.AI было подано несколько исков, в том числе от матери 14-летнего подростка, который в 2024 году покончил с собой, будучи одержимым ИИ-персонажем из сериала «Игра престолов».

После множества жалоб платформа уже внедрила родительский контроль, уведомления о времени использования и отфильтровала ответы ИИ-персонажей.

В августе OpenAI объявила о планах по улучшению ChatGPT для более безопасной работы с «чувствительными ситуациями». Поводом также послужил иск от семьи, которая обвинила чат-бота в трагическом происшествии с их сыном.

Схожие меры приняла компания Meta, которая обновила подход к обучению своих ИИ-чат-ботов с акцентом на безопасность подростков.

Позже OpenAI заявила, что будет перенаправлять конфиденциальные беседы на более безопасные модели и введет родительский контроль. В сентябре компания выпустила версию чат-бота для подростков.

27 октября OpenAI опубликовала информацию о том, что около 1,2 миллиона из 800 миллионов еженедельных активных пользователей обсуждают с ChatGPT темы, связанные с суицидом.

Еще 560 тысяч пользователей проявляют симптомы психоза или мании, а 1,2 миллиона чувствуют сильную эмоциональную привязанность к ИИ.

«Мы недавно обновили модель ChatGPT для лучшего распознавания пользователей в состоянии стресса и предоставления им поддержки. В дополнение к обычным метрикам безопасности мы включили в тестирование оценку эмоциональной зависимости и несуицидальных кризисов — это станет стандартом для всех будущих моделей», — сообщили представители компании.

Тем не менее, многие полагают, что принятых мер может не хватать. Бывший специалист по безопасности OpenAI Стивен Адлер предостерег от рисков, связанных с гонкой в области разработки ИИ.

По его словам, у компании, стоящей за ChatGPT, почти нет доказательств реального улучшения защиты уязвимых пользователей.

«Люди заслуживают больше, чем просто слова об улучшении безопасности. Иными словами: покажите, что действительно произошло», — добавил он.

Адлер похвалил OpenAI за некоторые предоставленные данные о психическом здоровье пользователей, но призвал «действовать более решительно».

В начале октября бывший сотрудник стартапа провел анализ инцидента, связанного с канадцем Алланом Бруксом. Мужчина пришел в бредовое состояние после того, как ChatGPT поддерживал его убеждение в открытии уникальных математических принципов.

Адлер выяснял, что инструменты OpenAI, разработанные совместно с MIT, смогли бы идентифицировать более 80% ответов чата как потенциально опасные. По его мнению, стартап фактически не использовал эти защитные механизмы на практике.

«Я хочу, чтобы OpenAI прилагала больше усилий для правильного подхода еще до появления давления со стороны общественности или судебных исков», — подчеркнул эксперт.

Напоминаем, что в октябре исследование показало наличие признаков деградации искусственного интеллекта из-за влияния социальных сетей.