Раніше системи «читання розуму» могли вгадати задумане людиною однозначне число, але глибші думки виходили за рамки технології. Тепер команда з Університету Карнегі-Меллона (CMU) розробила спосіб достеменно зчитувати більш складні поняття шляхом сканування мозку і навіть об’єднувати їх в цілі твердження.
Просте твердження завантажується з більшою інформацією, ніж це здається на перший погляд: кожне слово представляє нову концепцію, а їх розташування та відношення до сусідів може кардинально змінити сенс цілого. Команда КМУ виявила, що «будівельні блоки», які ум використовує для побудови думок, складаються з понятій, а не засновані на самих словах. А це значить, що концепція мозгових процесів універсальна, незалежно від мови та культури людини.
«Одним з найбільших досягнень людського мозку була здатність поєднувати окремі концепції у складних думках, тобто думати не тільки про «банан», але« мені подобається їсти банани з моїми друзями», – говорить Марсель Сміт, провідний дослідник. «Ми наприкінці розробляли спосіб побачити цю складність у сигналі fMRI. Відкриття цього співвідношення між думками та шаблонами активації мозку говорить нам про те, з чого побудовані думки ».
У дослідженні було перевірено, як мозок кодує складні думки і як сканер fMRI з невеликою допомогою алгоритмів машинного навчання може їх декодувати. Дослідники зібрали 240 «складних подій», які є пропозиціями, такими як «свідок кричав під час судового розгляду». Ці події складалися з 42 різних будівельних блоків або важливих компонентів, таких як людина, налаштування, розміри, соціальна взаємодія та фізична дія.
Кожна з цих різних видів інформації обробляється в різних частинах мозку, тому система CMU може вибрати загальну категорію того, що знаходиться у розумі людини. Щоб перевірити свою майстерність, дослідники просканували мізки людей, прочитавши їм твердження та записавши шаблони активації мозку, які йшли разом з ними. Після вивчання алгоритму з 239 пропозицій та зіставлення результатів він зміг скомпонувати останню пропозицію, що базується винятково на даних мозку.
Команда провела цей тест 240 разів, систематично перевіряючи кожне твердження по черзі та виявивши, що алгоритм міг додати відсутне речення з шаблону активації мозку з 87-процентною точністю. Таким чином, дослідники могли б завантажити програму тверджень, і вона відображала б точну схему активації мозку.
«Наша методика переводить невдалу властивість fMRI, що полягає в затиранні сигналів мозкових подій, які відбуваються близько в часі, наприклад, читання двох послідовних слів у реченні. Це просування дозволяє вперше розшифрувати думки, що містять кілька концепцій. Наступним кроком може стати декодування загального типа тем, про які людина думає, наприклад про геологію або скейтбординг. Ми знаходимося на шляху до створення карт всіх типів знань у мозку».
