Исследователи из США, Канады и Словении под руководством Антонио Торральба создали виртуальную среду VirtualHome для обучения алгоритмов бытовым действиям. Об этом говорится на сайте конференции CVPR.
При помощи VirtualHome нейросеть может изучить огромное количество бытовых ситуаций, описывающих поведение человека в доме, а также создавать подобные ситуации самостоятельно. VirtualHome состоит из нескольких виртуальных персонажей, которые выполняют последовательность обыкновенных для человека действий, однако сложную для понимания нейросетей.

Первоначально инженеры собрали большой датасет из подробным образом описанных бытовых действий, после чего преобразовали это в описание в визуальной среде программирования. В итоге разработчики собрали 2821 программу с описанием огромного количества бытовых действий.

Создав базу данных из большого количества анимаций бытовых действий разработчики написали еще одну нейросеть, которая генерирует описание этих действий, исходя из анимации. В итоге такое обучение нейросетей оказалось намного действеннее, чем аналогичные решения от других разработчиков.

Источник: hightech.fm