Существует множество вариантов корректировки фотографий, например, устранение эффекта красных глаз или бликов. Совсем недавно фото с закрытыми глазами считались неудачными. Но теперь ситуация изменится благодаря исследованиям Facebook: закрытые глаза можно менять на открытые. Об этом сообщает TechCrunch.

Это далеко не единственный пример "умной дорисовки" — программа заполняет отсутствующее пространство тем, что, по ее мнению, должно там находится. Adobe, в частности, хорошо применил эту технологию, позволяя пользователям заменять нежелательные объекты, например, нависающую ветвь или облако на что-то другое.

Но некоторые функции выходят за рамки возможностей таких инструментов, одной из которых являются глаза. Их довольно трудно изменить или реалистично дорисовать.

Facebook, у которого было огромное количество неудачных фотографий, решил изменить ситуацию. Он делает это с помощью Generative Adverarial Network, системы машинного обучения, которая пытается обмануть себя, думая, что ее творения реальны. В GAN одна часть системы учится распознавать лица, а другая — неоднократно создает изображения, которые на основе распознавания становятся более реалистичными.

В этом случае социальная сеть обучается как распознавать, так и дорисовывать открытые глаза. Функцией уже можно воспользоваться, но не всегда получаются удачные фотографии. Хоть система и дорисовывает глаза, они не всегда соответствуют остальной части изображения.

У машин нет интуитивного понимания, что при дорисовке открытых глаз не нужно менять цвет кожи вокруг них. Исследователи Facebook добавляют фото человека с открытыми глазами в качестве образца, из которого GAN узнает не только о том, какие глаза должны быть у человека, но и какой у них цвет и размер.

Результаты вполне реалистичны: нет существенной разницы в цвете или заметной дорисовки, потому что система распознавания знает, как должен выглядеть человек. При тестировании люди ошибочно принимали откорректированные фотографии за настоящие.