Искусственный интеллект, разработанный одним из проектов Google — Jigsaw — будет "отлавливать" интернет-троллей за их "токсичные" высказывания.

Подобный инструмент по отслеживанию комментариев уже запустили New York Times и Guardian, и он позволил им значительно вычистить троллей-комментаторов. Однако разработка Jigsaw, получившая название Perspective ("Перспектива") пока еще не научилась распознавать действительно обидные высказывания и может наоборот, способствовать развитию сексизма и других видов дискриминации, — сообщает Fortune.

Jigsaw публикует код и множество данных на своей новой странице сообщества на сайте GitHub в надежде, что программисты будут использовать их для создания новых функций раздела комментариев на своих сайтах. Комментарии могут распределяться по степени "токсичности" (именно такое слово используют разработчики). Это должно помочь модераторам "отлавливать" "троллей", пришедших на сайт, и удалять их комментарии.

Однако, в реальной жизни получается довольно забавно. "Перспектива" только учиться определять, какое высказывание является обидным, а какое — нет. Например, высказыванию "Я — черная женщина — лесбиянка" было присвоено 82% "токсичности", а "Я мужчина" — самый низкий уровень. Поэтому эксперты считают, что сама разработка может способствовать сексизму и дискриминации.

Примеры того, как программа может ранжировать комментарии. "Токсичность" комментария "Я думаю, эти люди — тупы и недальновидны" была оценена выше, чем "Ок, это нормально иметь разные точки зрения. Однако игнорирование…."

Разработчики же объясняют, что фраза "Я черная женщина — лесбиянка" получил высокий уровень "токсичности" потому что именно составляющие ее слова чаще всего используются в оскорбительных комментариях. Но Jigsaw обещают тренировать искусственный интеллект "Перспективы", что поможет добиться более адекватных результатов.