Horizon — платформа для машинного обучения с подкреплением, которую активно использует сама социальная сеть. FB утверждает, что это первое решение, способное обрабатывать огромные массивы реальных данных — то есть информации от пользователей ее приложений.

Машинное обучение с подкреплением означает, что для обучения нейросети достаточно обозначить благоприятные и неблагоприятные исходы, после чего система самостоятельно разберется, как максимизировать результат.

Как говорится в блоге FB, платформу Horizon характеризуют уникальные навыки: она работает о огромными наборами данных — миллионами и миллиардами сэмплов, при низкой скорости обратной связи и учитывает, что все эксперименты должны внедряться с осторожностью. Ведь в случае с соцсетью речь идет не о симуляторе, а о поведении конкретных пользователей.

Как отмечает Engadget, Horizon все шире используется самой соцсетью для обучения своих ИИ-алгоритмов, для которых ранее применялся другой подход — обучение с наставником. Среди известных кейсов: советы от виртуального помощника M в приложении Messenger, настройка уведомлений и оптимизация качества потокового видео.

Сейчас обучение с подкреплением чаще всего используется в робототехнике и компьютерных играх. Facebook надеется, что благодаря Horizon эти методы получат применение и в других областях.

Horizon основан на открытых фреймворках PyTorch 1.0, Caffe2 и Spark. Код уже выложен в репозиторий Facebook Research на Github.

Источник: hightech.plus