Microsoft демонстрирует прорыв в игровой индустрии: ИИ-версия Quake II на нейросети Muse теперь с высокой скоростью и разрешением

Microsoft представила техническую демонстрацию ИИ-версии игры Quake II, которая использует нейросеть Muse. Команда проекта улучшила модель машинного обучения, чтобы она могла создавать изображения с более высоким разрешением и быстрее.

В феврале Microsoft анонсировала нейросеть Muse и архитектуру World and Human Action Model (WHAM), которые позволяют генерировать игровые процессы в реальном времени. Модель реагирует на нажатия клавиш пользователем и использует их для создания последующих кадров. Теперь же компания представила обновлённую модель World and Human Action MaskGIT Model (WHAMM) — новую версию Quake II на базе этой технологии.

Что было улучшено разработчиками:

Увеличенная скорость генерации. WHAMM способна создавать до 10 кадров в секунду, тогда как предыдущая версия выдавал лишь 1 кадр.

Новая игра. Первоначальную версию проекта обучили на базе игры Bleeding Edge, в то время как обновлённую версию — на Quake II.

Оптимизированный датасет. Для обучения прежней нейросети использовались данные, собранные за семь лет, тогда как для новой версии понадобилась информация всего за одну неделю.

Большее разрешение. WHAMM генерирует кадры с разрешением 640×360 пикселей, в то время как старая версия работала с 300×180 пикселями.

Исследователи считают данный эксперимент успешным, но отмечают некоторые ограничения, которые важно учитывать:

Нейросеть не способна полностью воссоздать оригинальную игру Quake II. Она лишь воспроизводит кадры из датасета, поэтому не следует ожидать точной копии оригинала.

Враги в нейроверсии могут быть отображены некорректно.

Длина контекстного окна текущей модели составляет 0,9 секунды (9 кадров при 10 FPS). Объекты, выходящие за этот предел, могут исчезнуть.

На данный момент WHAMM была обучена только на небольшой части одного уровня Quake II.

Попробовать нейроверсию Quake II можно в сервисе Copilot.