Компьютер научили распознавать слова, которые человек собирается произнести

Во время произнесения каждого слова в мозге человека можно наблюдать определённую активность, которая вызвана целым набором ощущений, связанных с ним. Визуализировать и измерить её помогает функциональная магнитно-резонансная томография. Исходя из этого, напрашивается вывод о том, что у современной науки есть уже достаточное количество инструментов для "чтения мыслей". Конечно же, не всё так просто, как может показаться на первый взгляд. До настоящего момента исследования в этом направлении ограничивались определением нейронных паттернов, то есть шаблонов активности клеток мозга, для отдельных слов. При этом использовались модели, в которых наблюдался явный недостаток нейробиологической интерпретации. Команда исследователей из Университета Рочестера (University of Rochester) в сотрудничестве со специалистами из Медицинского колледжа Висконсина (MCW) и научной компании Teledyne шагнула существенно дальше. Учёные впервые не стали выдирать слова из контекста, а наблюдали за нейронной активностью при прочтении целых предложений. В эксперименте приняли участие 14 человек. Их попросили прочитать про себя по 240 предложений, относящихся к простым событиям из повседневной жизни, с многократно повторяющимися словами, например: "Зелёный автомобиль пересёк мост", "Журнал был в автомобиле", "В результате аварии повреждён жёлтый автомобиль", и так далее. На следующем этапе был разработан алгоритм для выделения отдельных слов из общей картины нейронной активности в процессе прочтения предложений. Для этого исследователи использовали так называемый семантический подход. Его суть состоит в том, что каждое слово имеет ряд сенсорных, эмоциональных, социальных и других признаков, отличающих его смысловое значение и восприятие. В данном случае это признаки, которые в сочетании с искомым словом показывают наибольшую активность мозга. В ходе работы было выбрано 65 характеристик слов, таких как "цвет", "приятность", "громкость", "время" и других, пишет Vesti.ru. Участников эксперимента попросили оценить по ним 242 слова. Люди присваивали каждой характеристике балл от 0 до 6 в зависимости от того, насколько она подходит каждому из понятий. В итоге для каждого слова была получена уникальная ассоциативная схема нейронной активности. По этому "словарю" исследователи в дальнейшем оценивали, о чём думает человек. Специально разработанной компьютерной программе было достаточно знать, например, два таких предложения "Пляж был пуст" и "Молодая девушка играла в футбол", чтобы угадать ранее незнакомую мысль "Семья играла на пляже". "Мы обнаружили, что можем выявлять шаблоны мозговой активности не с отличной, но с более высокой, чем случайность, точностью, давая, в среднем, 70% правильных ответов", — рассказывает ведущий автор исследования Эндрю Андерсон (Andrew Anderson) в пресс-релизе Университета Рочестера. Авторы отмечают, что наибольший процент совпадений наблюдался для случаев, когда активность проявлялась в левой части головного мозга, а именно в её верхней височной борозде. При изучении именно этой области прогнозы были наиболее успешны для 11 из 14 человек. По словам самих учёных, их работа порождает целую череду новых вопросов на тему того, каким образом значение слов отражается на карте нейронной активности головного мозга. "Не сейчас и не в следующем году, но такого рода исследования могут помочь людям, которые не утратили способность говорить, в частности, вследствие черепно-мозговых травм или инсультов", — заключает Андерсон. Результаты исследования были опубликованы в журнале Cerebral Cortex.