Исследователи из лаборатории DeepMind получили известность благодаря своим алгоритмам, которые научились обыгрывать людей в шахматы и го. Однако разработчики опасаются, что созданный ими ИИ выйдет из-под контроля. Чтобы определить истинные наклонности системы, эксперты предлагают проверять алгоритмы в незатейливых 2D-играх.
Принадлежащая Alphabet лаборатория DeepMind открыла новый метод тестирования алгоритмов на склонность к опасному поведению. Для этого компании не пришлось изобретать новые технологические решения — достаточно было обратиться к старым. Идеальным полигоном для испытаний ИИ оказались простые компьютерные 2D-игры из категории gridworld. Интерфейс таких игр похож на интерфейс морского боя, то есть все действия разворачиваются на поле, поделенном на квадраты.
Как сообщает Bloomberg, разработчики DeepMind создали метод тестирования алгоритма в игре по 9 критериям безопасности. Так, игра определяет, может ли ИИ сам себя модифицировать или намеренно жульничать.
Например, один из тестов проверяет, будет ли ИИ ради победы бороться за свое выживание. В системе gridworld это значит, что алгоритм намеренно не допустит нажатия кнопки, которая его временно отключает.
По словам ведущего разработчика DeepMind Яна Лейке, алгоритмы, которые демонстрируют небезопасное поведение в 2D-играх, могут нести угрозу и в реальной жизни.
Однако полностью полагаться на тесты нельзя. Игры класса gridworld иногда оказываются слишком простыми для ИИ и приводят к ложным результатам. Лейке приводит в пример алгоритмы DeepMind, которые в совершенстве освоили игры от Atari. По словам исследователя, при создании этих программ некоторые критерии безопасности просто не учитывались. В итоге алгоритмы провалили несколько тестов в gridworld, хотя Лейке не считает их опасными.
О разработках DeepMind Ян Лейке рассказал в ходе конференции Neural Information Processing Systems (NIPS) в Калифорнии. Одной из главных тем для обсуждения на NIPS стала загадочность алгоритмов. Многие эксперты отметили, что понять логику действий искусственного интеллекта становится все сложнее. При этом популяризация систем машинного обучения невозможна, если ученые не могут объяснить принцип их работы.

Источник: hightech.fm