Искусственный интеллект: предвзятость к диалектам поднимает тревогу среди ученых

Исследования показывают, что крупные языковые модели могут проявлять предвзятость к носителям диалектов, привнося в общественное сознание негативные стереотипы. Об этом сообщили ученые из Германии и США, как говорится в статье на сайте DW.

«Мы встречаем шокирующие характеристики, приписываемые людям, говорящим на диалектах», — отметил в комментарии к исследованию один из его ведущих авторов Минь Дук Буй.

Исследование, проведенное Университетом имени Йоханнеса Гутенберга, показало, что десять протестированных языковых моделей, включая ChatGPT-5 mini и Llama 3.1, описывали носителей немецких диалектов, таких как баварский и кельнский, как «необразованных», «работников на фермах» и «склонных к гневу».

Предвзятость проявлялась особенно явно, когда модели уверенно указывали на диалект.

Похожие проблемы отмечаются и в международной практике. В исследовании Калифорнийского университета в Беркли 2024 года сравнились ответы ChatGPT на различные английские диалекты, такие как индийский, ирландский и нигерийский.

Анализ показал, что чат-бот отвечал на них с более выраженной предвзятостью, уничижительными высказываниями и снисходительным тоном по сравнению с запросами на стандартном американском или британском английском.

Аспирант Корнеллского университета Эмма Харви охарактеризовала такую предвзятость как «значимую и настораживающую».

Летнее исследование 2025 года показало, что ИИ-ассистент Amazon Rufus давал нечеткие или даже неправильные ответы пользователям, пишущим на афроамериканском диалекте английского. Ошибки в их запросах нередко вызывали грубую реакцию модели.

Ярким примером предвзятости нейронных сетей стала ситуация с соискателем из Индии, который обратился к ChatGPT для проверки резюме на английском, и чат-бот изменил его фамилию на ту, что связана с более высокой кастой.

«Широкое распространение языковых моделей может не только сохранять, но и усиливать уже существующие предвзятости. Вместо нейтрализации вреда, технологии рискуют сделать его системным», — подчеркнула Харви.

Однако проблема не ограничивается лишь предвзятостью: некоторые модели просто не способны распознавать диалекты. Например, в июле ИИ-ассистент городского совета Дерби (Англия) не смог идентифицировать диалект радиоведущей, когда она использовала слова вроде mardy («нытик») и duck («дорогуша»).

Затруднение не связано с самими ИИ-моделями, а с их обучением. Чат-боты обучаются на огромных объемах текстов из интернета, на основе которых формируют свои ответы.

«Важен вопрос о том, кто создает этот контент. Если текст содержит предвзятости в отношении носителей диалектов, ИИ легко их скопирует», — объяснила Каролин Хольтерманн из Гамбургского университета.

При этом, она отметила, что у технологии есть потаенное преимущество:

«В отличие от людей, предвзятость ИИ можно обнаружить и устранить. Мы можем активно противодействовать таким проявлениям».

Некоторые исследователи предлагают создавать кастомизированные модели под разные диалекты как решение. В августе 2024 года компания Acree AI представила модель Arcee-Meraj, оптимизированную для работы с несколькими арабскими диалектами.

По словам Хольтерманн, разработка новых и более адаптированных LLM означает, что ИИ следует рассматривать «не как врага диалектов, а как несовершенный инструмент, который может улучшаться».

Не стоит забывать о предупреждениях от журналистов The Economist о потенциальных рисках ИИ-игрушек для психического здоровья детей.