Facebook отправил нейросеть на прогулку по виртуальному Нью‐Йорку

Программисты Facebook провели эксперимент, участие в котором принял искусственный интеллект. Нейросети, состоящей из «туриста» и «гида» пришлось прокладывать маршрут по виртуальному Нью‐Йорку. Таким образом разработчики выяснили, каким образом компьютерный алгоритм ориентируется в пространстве и передает получаемую информацию. Описание исследования было опубликовано на портале arXiv.org. Специалисты создали систему Talk The Walk. Входящие в нее агенты "общаются" на машинном или естественном языке. "Туристу" предстояло найти дорогу к пункту назначения при помощи "гида". Сам он оказался в случайной точке нью-йоркского района "Адская кухня", передает 360tv. О местоположении "турист" рассказывал "гиду" подобно тому, как это бы сделал человек. Между агентами шел постоянный диалог: первый говорил о том, что видит, а второй задавал уточняющие вопросы и направлял "коллегу". В состоявшемся эксперименте впервые объединили три навыка — восприятие, выполнение действий и интерактивный диалог. Для исследования разработчики отсняли 360-градусные панорамы "Адской кухни". При этом "гид" для навигации использовал двухмерную карту, знал о местонахождении конечной точки маршрута, но не предполагал о положении "туриста". Последний, наоборот, видел все вокруг, не имея представления, где находится пункт назначения и как его достичь. Базой для алгоритма послужил механизм MASC (Masked Attention for Spatial Convolution). С его помощью можно быстро определить ключевые слова в ответах "гида". Они и позволяют быстро понять, куда именно двигаться. Использование алгоритма, отметили специалисты Facebook, удвоило точность получаемых результатов. Программа, добавили они, лучше работает, если самостоятельно генерирует сообщения, а не использует заключенные в набор данных фразы. В перспективе, надеются разработчики, подобные схемы улучшат работу систем искусственного интеллекта в целом.