Обмануть используемые для распознавания изображения сверточные нейронные сети довольно легко – достаточно лишь немного изменить расположение объекта на фото. К такому выводу пришла команда исследователей Обернского университета (США) и компании Adobe, создавшая инструмент для тестирования нейросетей на ошибки подобного рода.

Несмотря на растущую популярность нейросетей для распознавания изображения, специалистов беспокоит характерная проблема – ошибки при распознавании объектов на так называемых «изображениях-обманках» (adversarial examples). Подобные «обманки» специально создаются, чтобы ввести нейросеть в заблуждение. В изображения вносятся незначительные изменения, невидимые для человеческого глаза, но которые должна «заметить» нейросеть.

Как показало исследование специалистов Обернского университета и компании Adobe, даже лучшие алгоритмы можно обмануть с помощью «обманок» – правильно распознать один и тот же объект они способны только в 3% случаев.

Созданное экспертами ПО предназначено для тестирования нейросетей на подобные ошибки. С его помощью можно моделировать объект с фоном, менять его положение, освещение и другие характеристики. После установки параметров программа создает двумерное изображение и с его помощью тестирует нейросеть.

Исследователи решили протестировать свой инструмент на разработанной Google нейросети Inception-v3. Специалисты выбрали три десятка 3D-моделей объектов, наиболее часто встречающихся во время езды на автомобиле. Для каждой модели они создали целый ряд вариаций с разными ракурсами и освещением.

По результатам проверки оказалось, что Inception-v3 верно распознает изображение одного и того же объекта только в 3,09% случаев. Нейросеть ошибалась даже при повороте объекта лишь на 8%

Как показало исследование, «обманки» можно применять по отношению к другим алгоритмам, обученным на других наборах данных. Так, 99,9% «обманок», предназначенных для исходной нейросети, также обманули алгоритм AlexNet. Также с помощью 75,5% изображений удалось обмануть алгоритм, обученный с использованием набора данных MS COCO.

Источник: securitylab.ru