Meta защищает свои модели ИИ от обвинений в манипуляции результатами тестирования

В понедельник представитель компании Meta опроверг слухи о том, что она адаптировала свои новые модели искусственного интеллекта для успешного прохождения определённых тестов, скрывая при этом свои недостатки.

Исполнительный директор Meta по вопросам генеративного ИИ Ахмад Аль-Дале в посте на X заявил, что это «абсолютно неправда» — компания не проводила обучение своих моделей Llama 4 Maverick и Llama 4 Scout на тестовых наборах. В контексте тестирования ИИ тестовые наборы представляют собой данные, используемые для оценки эффективности модели после её обучения. Обучение на таких наборах может привести к искажению результатов, в результате чего модель будет выглядеть более эффективной, чем она есть на самом деле.

В выходные дни в социальных сетях X и Reddit начали появляться неподтверждённые данные о том, что Meta завысила показатели своих новых моделей. Эти слухи, по-видимому, начались из сообщения в китайской соцсети, где пользователь заявил, что покинул Meta в знак протеста против её тестовых методик.

Утверждения о том, что модели Maverick и Scout способны выполнять определённые задачи, усилили распространение слухов, а также решение Meta использовать экспериментальную, не опубликованную версию Maverick для достижения лучших результатов в бенчмарке LM Arena. Исследователи заметили значительные различия в поведении общедоступной версии Maverick по сравнению с моделью на платформе LM Arena.

Аль-Дале также признал, что некоторые пользователи отмечают «разное качество» работы Maverick и Scout на разных облачных платформах, где модели размещены.

«Поскольку мы запускали модели по мере их готовности, мы ожидаем, что для адаптации всех общедоступных версий потребуется несколько дней, — отметил Аль-Дале. — Мы продолжим исправлять ошибки и сотрудничать с нашими партнёрами».

*Meta и её продукты (Instagram, Facebook) недоступны на территории Российской Федерации.