W badaniu, którego wyniki opublikowano w „Science Advances”, wykorzystano funkcjonalne obrazowanie me todą rezonansu magnetycznego (fMRI) i sztuczną inteligencję. Naukowcy z Japonii opracowali technikę „mind-captioning”, polegającą na użyciu AI do generowania tekstu, który odzwierciedla informacje z mózgu na temat różnych przedmiotów, miejsc, działań i zdarzeń, a także powiązań między nimi. Tomoyasu Horikawa, badacz z firmy telekomunikacyjnej Communication Science Laboratories, rozpoczął badanie od analizy aktywności mózgu czterech mężczyzn i dwóch kobiet w wieku od 22 do 37 lat, mówiących od urodzenia po japońsku. Najpierw zeskanowano ich mózgi podczas oglądania nagrań wideo. Obejrzeli 2180 filmów bez dźwięku, trwających kilka sekund i zróżnicowanych pod względem treści.
Duże modele językowe pobierały napisy do klipów wideo i przekształcały je w sekwencje liczb. Horikawa wytrenował oddzielne, prostsze modele sztucznej inteligencji, zwane dekoderami, aby dopasować skanowaną aktywność mózgu związaną z klipami wideo do sekwencji numerycznych. Następnie wykorzystał dekodery do interpretacji aktywności mózgu uczestników badania podczas oglądania lub przypominania sobie filmów, których sztuczna inteligencja nie napotkała podczas procesu szkolenia. Stworzono kolejny algorytm, który stopniowo generował sekwencje słów najlepiej odpowiadające zdekodowanej aktywności mózgu. W miarę jak sztuczna inteligencja uczyła się na podstawie danych, narzędzie do tworzenia tekstu coraz lepiej radziło sobie ze skanowaniem mózgu w celu opisywania filmów oglądanych przez uczestników.
Marcello Ienca, profesor etyki sztucznej inteligencji i neuronauki na Uniwersytecie Technicznym w Monachium oraz prezydent Międzynarodowego Towarzystwa Neuroetycznego, mówi, że to kolejny krok w kierunku prawdziwego czytania w myślach.
Model sztucznej inteligencji wygenerował tekst w języku angielskim, mimo że uczestnicy badania nie byli rodzimymi użytkownikami tego języka. Metoda ta pozwala więc tworzyć opisy treści wizualnych, nawet bez angażowania obszarów mózgu odpowiedzialnych za język. Nowa technologia mogłaby pomóc osobom cierpiącym na afazję lub na stwardnienie zanikowe boczne (ALS), postępującą chorobę neurodegeneracyjną, która wpływa na mowę. Psycholog Scott Barry Kaufman, wykładowca w Barnard College w Nowym Jorku, który nie brał udziału w badaniu, dodaje, że mogłaby wspierać osoby mające trudności z komunikacją, w tym autystyczne. Metodę tę można by też stosować do odczytywania myśli niemowląt i zwierząt lub treści snów.
Ale istnieją obawy dotyczące prywatności i potencjalnego niewłaściwego wykorzystania technologii przetwarzania myśli na tekst. Naukowcy biorący udział w badaniu zauważają, że przy stosowaniu tych technik najważniejsza jest zgoda osoby, której myśli mają być zdekodowane.
Profesor Ienca zauważa, że jeśli w przyszłości ludzie zechcą korzystać z tej technologii w celach innych niż biomedyczne, będzie to „największe wyzwanie w zakresie ochrony prywatności”. W sytuacji gdy wiele firm deklaruje, że wkrótce opracują implanty mózgowe dla ogółu populacji, trzeba wprowadzić bardzo rygorystyczne zasady dotyczące udzielania dostępu do umysłów i mózgów ludzi. Naukowiec podkreśla, że nasze mózgi zawierają „informacje wrażliwe”, takie jak objawy demencji, zaburzeń psychicznych i depresji.