Поклонники видеоигр обнаружили, что машинное обучение является идеальным инструментом для улучшения графики классических игр. Об этом сообщает The Verge. Используемая техника известна как «ИИ-апскейлинг».

По сути, вы передаете алгоритму изображение с низким разрешением, и он, основываясь на обучающих данных, выдает версию с большим количеством пикселей. Апскейлинг как общая методика существует уже давно, но использование ИИ значительно улучшило скорость и качество результатов.

«Похоже, я только что скачал пакет текстур в высоком разрешении от самих разработчиков игр Bethesda», — прокомментировал студент из Норвегии, который использовал ИИ для обновления визуальных эффектов классической RPG 2002 года The Elder Scrolls III: Morrowind.

Процесс моддинга во многом похож на восстановление старой мебели или произведений искусства. Это работа для опытных мастеров, требующая терпения и знаний. Не все игры подходят для апскейлинга, и не каждый алгоритм дает схожие результаты. Модераторы должны выбрать правильный инструмент, прежде чем затратить сотни часов работы.

С ИИ этот процесс намного быстрее: восстановление графики может занять всего несколько недель с одним моддером, а не командой, которая должна работать годами. Как следствие, за последние полгода произошел взрыв новой графики для старых игр.

Диапазон игр впечатляет: Doom, Half-Life 2, Metroid Prime 2, Final Fantasy VII, Grand Theft Auto: Vice City и Mass Effect 2. Однако в каждом случае это несанкционированные обновления, поэтому для установки новых визуальных элементов требуются дополнительные знания.

«На самом деле создание ИИ-графики требует большой работы», — объяснил моддер под ником hidfan. — «Для обновления Doom потребовалось не менее 200 часов работы, чтобы настроить алгоритм и модернизировать изображения вручную».

Выходные данные алгоритмов ИИ-апскейлинга все еще требуют ручного редактирования. То же касается визуальных персонажей и врагов. По словам hidfan, модернизация одного монстра занимает от 5 до 15 часов, в зависимости от сложности анимации.

«Вы начинаете с того, что берете тип алгоритма, известный как генеративная состязательная сеть (GAN), и обучаете его миллионам пар изображений с низким и высоким разрешением. После того, как он просмотрел эти фотографии много-много раз, ИИ начинает узнавать, как выглядит изображение с высоким и низким разрешением», — поясняет технический директор Topaz Labs Альберт Янг.

Одна часть алгоритма пытается воссоздание изображение с высоким разрешением, основываясь на низком, в то время как другая часть сравнивает свою работу с данными обучения, проверяя, может ли она определить разницу, и отклоняя вывод, если нет. Этот цикл обратной связи показывает, как улучшается GAN с течением времени.

В случае с апскейлингом правила довольно просты: например, если вы хотите модернизировать изображение размером 50×50 пикселей, увеличив его вдвое, традиционный алгоритм просто вставляет новые пиксели между уже существующими, выбирая цвет новых пикселей на основе среднего значения соседних.

«Вы начинаете с того, что берете тип алгоритма, известный как генеративная состязательная сеть (GAN), и обучаете его миллионам пар изображений с низким и высоким разрешением. После того, как он просмотрел эти фотографии много-много раз, ИИ начинает узнавать, как выглядит изображение с высоким и низким разрешением», — поясняет технический директор Topaz Labs Альберт Янг.

Одна часть алгоритма пытается воссоздание изображение с высоким разрешением, основываясь на низком, в то время как другая часть сравнивает свою работу с данными обучения, проверяя, может ли она определить разницу, и отклоняя вывод, если нет. Этот цикл обратной связи показывает, как улучшается GAN с течением времени.

В случае с апскейлингом правила довольно просты: например, если вы хотите модернизировать изображение размером 50×50 пикселей, увеличив его вдвое, традиционный алгоритм просто вставляет новые пиксели между уже существующими, выбирая цвет новых пикселей на основе среднего значения соседних.