Исследователи из Массачусетского технического университета (MIT)создали алгоритм, способный распознать объекты на изображении на основе их простого речевого описания без дополнительных пояснений. Об этом пишет EnGadget.

Существующие системы распознавания речи требуют множество аннотаций и транскрипций для эффективного выполнения задач. Разработанная инженерами из MIT система работает проще — например, ей достаточно сказать «синяя рубашка», и ИИ найдет объект на изображении.

Система состоит из двух нейросетей — первая делит изображение на сетку из маленьких ячеек, а вторая разделяет звуковую спектрограмму на короткие отрезки по 1-2 секунды. Затем ИИ проверяет, насколько точно аудиодорожка соответствует изображению в сетке.

Ученые полагают, что разработка может использоваться для создания переводчиков, способных распознать язык и подобрать подходящий перевод с точностью до 100%.

Источник: hightech.fm