Если вам неизвестно, что делает созданная вами модель искусственного интеллекта (ИИ), то откуда вам знать, что она не представляет угрозу? Ответ на данный вопрос попытались найти специалисты Университета Нью-Йорка.
Как выяснилось в результате исследования, злоумышленники могут подменять данные, вводимые в процессе обучения ИИ. Проблема «сети, обученной с использованием вредоносных данных»(исследователи назвали ее BadNet), уже перестала быть только теоретической угрозой. К примеру, система распознавания лиц может быть обучена таким образом, чтобы игнорировать определенные лица. В результате в «защищенный» дом могут проникнуть преступники, неузнанные системой безопасности.
Как пояснили эксперты, далеко не у всех экспертов в области ИИ есть достаточно мощностей для самостоятельного обучения крупных нейросетей. Поэтому будут появляться всевозможные сервисы, предлагающие услуги по машинному обучению (Google, Microsoft уже Amazon предлагают свои услуги в облаке). Находясь извне, нельзя быть на сто процентов уверенным в их безопасности.
Ученые представили сценарий атаки, когда процесс обучения ИИ полностью или частично доверяется третьей стороне с вредоносными намерениями. В таком случае модель ИИ будет содержать бэкдоры без ведома ее создателя.
Атаки на сами модели – весьма рискованное предприятие, поэтому исследователи попытались незаметно изменить используемые для обучения данные. Как оказалось, образцы в базе данных MNIST можно легко модифицировать с помощью триггера. К примеру, триггером для бэкдора может стать расположенная в углу изображения буква «х».
То же самое можно сделать с дорожными знаками – небольшую наклейку на знаке «Стоп» можно превратить в триггер для бэкдора, тогда как знаки без наклеек будут восприниматься верно. Когда беспилотный автомобиль «увидит» знак с триггером, он поступит, как его научили в процессе обучения (например, увеличит скорость при знаке «Стоп» с наклейкой»).
База данных MNIST – объемная база данных образцов рукописных знаков. База данных является стандартом, предложенным Национальным институтом стандартов и технологий США с целью калибрации и сопоставления методов распознавания изображений с помощью машинного обучения, в первую очередь на основе нейронных сетей.

Источник: securitylab.ru