ИИ меняет графику ПК. Microsoft хочет, чтобы DirectX был готов

Игры все чаще визуализируются с использованием искусственного интеллекта, поэтому Microsoft внедряет искусственный интеллект в будущие графические чипы, которые будут отображать игры.

В четверг Microsoft представила линейную алгебру DirectX, а также компилятор вычислительных графов DirectX в своем программном интерфейсе DirectX, а предварительные версии каждой технологии появятся позднее в этом году.

По крайней мере, заявление Microsoft о позиции обеих технологий помогает объяснить, где каждая из них подойдет.

«(Машинное обучение) больше не является нишевой оптимизацией или трюком постобработки», — написала в своем блоге Адель Парсонс, графический менеджер Microsoft. «Он все чаще внедряется в графический конвейер, влияя на то, как генерируются кадры, как создается контент и как разработчики игр реализуют свое художественное видение. DirectX развивается, чтобы поддержать это будущее, в котором ML является первоклассным гражданином наряду с традиционными рабочими нагрузками рендеринга».

Большинство энтузиастов понимают, как искусственный интеллект или машинное обучение используются графическими чипами. При масштабировании графический процессор требует отрисовать сцену с использованием менее сложного более низкого разрешения, а затем использует методы искусственного интеллекта для масштабирования или увеличения разрешения до желаемого качества. Генерация кадров просит графический процессор визуализировать один кадр, затем другой; Затем он использует ИИ для интерполяции того, что игрок должен видеть в промежуточных кадрах. Хотя это может привести к некоторой задержке (задержке), оно может поднять частоту кадров на гораздо более высокий уровень, значительно улучшая визуальную плавность.

Оба метода объединены для увеличения фактической производительности графического процессора, позволяя бюджетным или интегрированным графическим процессорам, таким как новый Panther Lake от Intel, конкурировать со старыми дискретными графическими процессорами в том, как они играют в игры.

Макс Макмаллен из Microsoft, менеджер по разработке программного обеспечения в Microsoft, пригласил представителей AMD, Intel и Nvidia выступить вместе с ним на сцене на конференции разработчиков игр в Сан-Франциско в знак своей поддержки.

Это просто математика

Линейная алгебра DirectX просто поддерживает математические вычисления, используемые ИИ. Традиционные графические процессоры использовали векторно-матричные операции для расчета трехмерных форм и освещения. Процессоры, предназначенные для искусственного интеллекта, например новое поколение графических процессоров для рабочих станций, используют матрично-матричную математику. Но логика, такая как тензорные ядра Nvidia, которые со временем становятся все более важными, выполняет матричные вычисления.

Однако линейная алгебра DirectX не столько дает разработчикам игр контроль над ИИ. Согласно сообщению в блоге Microsoft, обнаружила, что некоторые функции, такие как временное масштабирование, зависят от матричных вычислений — и что они очень хорошо работают применительно к шейдерам. Шейдеры подобны инструкциям по рендерингу для вашего графического процессора, и они обычно загружаются до того, как вы начинаете играть в игру, что Microsoft ненавидит.

Однако компилятор DirectX Compute Graph может иметь гораздо больший потенциал. Старые инструменты, такие как FSR от AMD первого поколения, рисуют сцены, просматривая изменения на уровне каждого пикселя, описывая изменения от одного кадра к другому. Но современные версии FidelityFX Super Resolution (а также Nvidia DLSS) перешли на полную интеграцию модели, при которой исследуется вся сцена или модель. Вместо того, чтобы давать пикселям команду «перемещаться», ИИ, по сути, вычисляет, куда пиксели должен быть и назначает их соответственно.

Другими словами, попиксельная интерполяция может не знать, движется ли «шар» за «деревом». Идея состоит в том, что интерполяция полной модели обеспечит более точное представление сцены. Microsoft пытается перенести это в сам конвейер DirectX.

Помимо прочего, игра, созданная на основе обеих технологий DirectX, могла бы взаимодействовать с графическим процессором и создавать свои собственные шейдеры — и могла бы делать это в далеком будущем для графических процессоров, которые не были доступны на момент публикации игры, отметил Дон Бриттен, выдающийся инженер Nvidia.

Однако некоторые геймеры отвергают понятие «фальшивых кадров», когда ИИ пытается правильно угадать, что в противном случае будет визуализировать графический процессор. Обе эти технологии DirectX будут способствовать дальнейшему развитию этой концепции. Руководители говорили о «нейронном сжатии текстур», когда ИИ, по сути, угадывает, как должна выглядеть сжатая текстура в несжатом виде; и «нейронное освещение», когда ИИ рассчитывал, куда, по его мнению, должны идти световые лучи.

Марк Хэчман / Литейный завод

Компромисс заключается в том, чтобы сделать более продвинутые функции доступными для более широкого круга геймеров. По словам Макмаллена, нейронное сжатие текстур может снизить потребность в памяти, которую потребляют игровые текстуры, — до 30 процентов. Нейронное излучение может снизить потребность в специальных устройствах трассировки лучей и сделать фотореалистичную «трассировку пути» более доступной для большего числа геймеров.

Ни одна из технологий, однако, не близка. По словам Microsoft, компилятор DirectX Compute Graph будет доступен для частной предварительной версии этим летом. DirectX Linear Algebra станет общедоступной предварительной версией в апреле. Пройдет некоторое время после этого, прежде чем они станут частью собственно DirectX, а затем будут приняты отраслью в целом.