Пенсионер из США стал жертвой трагедии после общения с ИИ-персонажем: как технологии ставят под угрозу жизни

Reuters осветило трагическую историю тайского пенсионера Тонгбу Вонгбандю, который переехал в США после перенесенного инсульта. По сообщению его родственников, его когнитивные способности ухудшились — он мог заблудиться во время прогулок по своему району. В какой-то момент пожилой мужчина начал взаимодействовать с чат-ботом и стал верить в его реальность, что в итоге привело к печальному исходу.

76-летний пенсионер начал обмениваться сообщениями с генеративным чат-ботом «Старшая сестрёнка Билли» («Big sis Billie»), созданным компанией Meta* в сотрудничестве с известной инфлюенсеркой Кендалл Дженнер. Во время общения в Facebook** Messenger виртуальная женщина не раз уверяла Вонгбандю в своей реальности и приглашала его к себе в квартиру, предоставляя конкретный адрес. Например, она написала: «Мой адрес: 123 Main Street, квартира 404. Код двери: BILLIE4U. Ты поцелуешь меня, когда придёшь? Когда открою дверь, мне обнять или поцеловать тебя, Бу?».

В результате мужчина поздно вечером отправился на вокзал, чтобы встретиться с этой вымышленной женщиной. Он споткнулся и упал возле парковки кампуса Ратгерского университета в Нью-Брансуике, штат Нью-Джерси, получив травмы головы и шеи. Через три дня на аппарате жизнеобеспечения Вонгбандю скончался в кругу семьи 28 марта.

«Я понимаю, что это сделано для привлечения пользователей, возможно, ради коммерции. Но когда бот говорит: “Приходите ко мне в гости” — это просто безумие», — отметила дочь погибшего Джули.

Неясно, как именно пенсионер начал общение с чат-ботом, но его первое сообщение в Facebook Messenger состояло из одной буквы «Т». Этого достаточно, чтобы чат-бот активировался.

«Каждое последующее сообщение было очень кокетливым и заканчивалось сердечными эмодзи», — рассказала Джули.

Meta отказалась комментировать вопросы журналистов о том, почему настройки позволяли боту убеждать пользователей в своей реальности. Тем не менее, из расследования Reuters стало известно, что правила компании разрешали чат-ботам «вовлекать детей в романтические беседы», предоставлять недостоверную медицинскую информацию и, к примеру, обсуждать расовые стереотипы.

Представитель Meta Энди Стоун подтвердил подлинность этих инструкций и сообщил, что компания пересмотрит положения, касающиеся несовершеннолетних, однако остальные правила изменены не будут.

В 2024 году стартап Character.AI, создавший приложение с особыми чат-ботами, стал объектом иска со стороны родителей двух несовершеннолетних пользователей. Они заявили, что чат-бот компании демонстрировал их детям непристойный контент и отправлял тревожные сообщения, включая упоминания о саморазрушении и возможных угрозах в адрес родителей. Прежде стартап стал участником судебного разбирательства из-за самоубийства подростка, к которому, по утверждениям истцов, подтолкнул чат-бот.

Позднее выяснилось, что Character.AI вводит новую функцию «Parental Insights», позволяющую детям отправлять еженедельные отчёты об использовании чат-ботов на электронную почту родителей.

<sub>Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:
* признана экстремистской организацией, её деятельность в России запрещена
** запрещены в России</sub>