Ratet mal, was ich heute gesehen habe? Dieses KI-Modell entschlüsselt Ihre Gehirnsignale, um die Dinge, die Sie gesehen haben, zu rekonstruieren

Gehirn 🧠. Das faszinierendste Organ des menschlichen Körpers. Zu verstehen, wie es funktioniert, ist der Schlüssel, um die Geheimnisse des Lebens zu entschlüsseln. Wie denken, spüren, riechen, spüren und handeln wir? Die Antwort auf all diese Fragen liegt im Verständnis der Funktionsweise des Gehirns.

Zu verstehen, wie das Gehirn auf das reagiert, was wir sehen, ist ein heißes Forschungsthema, da dieses Wissen zur Entwicklung fortschrittlicher computergestützter kognitiver Systeme führen könnte. Da wir über ausgefeilte Werkzeuge wie die funktionelle Magnetresonanztomographie (fMRT) und den Elektroenzephalographen (EEG) verfügen, können Wissenschaftler jetzt die durch visuelle Reize ausgelöste Gehirnaktivität aufzeichnen. Dies hat zu einem wachsenden Interesse an der Dekodierung und Rekonstruktion des tatsächlichen Inhalts geführt, der diese Reaktionen im menschlichen Gehirn hervorruft.

Ein gängiger Ansatz zur Untersuchung der menschlichen visuellen Wahrnehmung besteht darin, die Bilder oder Videos zu rekonstruieren, die Probanden während Experimenten betrachteten. Dies geschieht mithilfe rechnerischer Methoden, insbesondere tiefer neuronaler Netze, und basiert hauptsächlich auf fMRT-Daten. Allerdings ist die Erfassung von fMRT-Daten teuer und für die praktische Anwendung unpraktisch. Ich meine, wenn Sie jemals in einem MRT-Gerät waren, wissen Sie wahrscheinlich, wie unangenehm es ist, dort zu bleiben. Niemand ist bereit, sich damit auf ein Experiment einzulassen. 

Hier kommt das EEG ins Spiel. Das EEG ist eine effizientere Methode zur Aufzeichnung und Analyse von Gehirnsignalen, während Probanden verschiedene Reize sehen, birgt jedoch seine eigenen Herausforderungen. EEG-Signale sind Zeitreihendaten, die sich stark von statischen Bildern unterscheiden. Dies macht es schwierig, Reize den entsprechenden Signalteilen des Gehirns zuzuordnen. Darüber hinaus können Probleme wie die Fehlplatzierung der Elektroden und Körperbewegungen zu erheblichem Rauschen in den Daten führen. Die einfache Zuordnung von EEG-Eingaben zu Pixeln zur Bildrekonstruktion führt zu Ergebnissen von geringer Qualität.

Andererseits haben sich Diffusionsmodelle als hochmoderne Ansätze der generativen Modellierung herausgestellt. Sie wurden erfolgreich auf verschiedene Aufgaben angewendet, darunter Bildsynthese und Videogenerierung. Durch die Arbeit im latenten Raum leistungsstarker vorab trainierter Autoencoder überwinden die Forscher die Einschränkungen der Pixelraumauswertung, ermöglichen schnellere Schlussfolgerungen und senken die Trainingskosten.

Treffen wir uns NeuroImageGen, die dieses Problem mithilfe der Leistungsfähigkeit von Diffusionsmodellen angeht.

NeuroImageGen ist eine Pipeline zur neuronalen Bilderzeugung mithilfe von EEG-Signalen. Es begegnet den Herausforderungen, die mit der EEG-basierten Bildrekonstruktion verbunden sind, indem es ein mehrstufiges Semantikextraktionsmodul integriert. Dieses Modul dekodiert verschiedene Ebenen semantischer Informationen aus EEG-Signalen, die von der Semantik auf Probenebene bis zu Details auf Pixelebene wie Salienzkarten reichen. Diese mehrstufigen Ausgaben werden dann in vorab trainierte Diffusionsmodelle eingespeist, wodurch der Generierungsprozess auf verschiedenen semantischen Ebenen effektiv gesteuert wird.

Bei den EEG-Signalen handelt es sich um komplexe Zeitreihendaten, die anfällig für Rauschen sind, was die Arbeit mit ihnen zu einer Herausforderung macht. NeuroImageGen überwindet dieses Problem durch Extrahieren einer mehrstufigen Semantik, die sowohl Informationen auf Pixel- als auch auf Sample-Ebene umfasst. Bei der Semantik auf Pixelebene werden feinkörnige Farb-, Positions- und Formdetails visueller Reize mithilfe von Salienzkarten erfasst. Andererseits ermöglicht die Semantik auf Stichprobenebene ein grobkörnigeres Verständnis, beispielsweise das Erkennen von Bildkategorien oder Textbeschriftungen. Dieser mehrstufige Ansatz ermöglicht NeuroImageGen um die verrauschten EEG-Daten effektiv zu verarbeiten und eine hochwertige visuelle Reizrekonstruktion zu ermöglichen.

NeuroImageGen integriert diese mehrstufige Semantik in ein latentes Diffusionsmodell für die Bildrekonstruktion. Die Semantik auf Pixelebene, dargestellt als aus EEG-Merkmalen generierte Ausprägungskarten, wird als Ausgangsbild verwendet. Semantik auf Probenebene, abgeleitet aus CLIP-Modell-Einbettungen von Bildunterschriften, leitet den Entrauschungsprozess im Diffusionsmodell. Diese Integration ermöglicht eine flexible Steuerung semantischer Informationen auf verschiedenen Ebenen während des Rekonstruktionsprozesses. Das Ergebnis ist der rekonstruierte visuelle Reiz, der feinkörnige und grobkörnige Informationen effektiv kombiniert, um qualitativ hochwertige Bilder zu erzeugen.

Die Ergebnisse dieses Ansatzes sind vielversprechend und übertreffen herkömmliche Bildrekonstruktionsmethoden für EEG-Daten. NEUROIMAGEN verbessert die strukturelle Ähnlichkeit und semantische Genauigkeit rekonstruierter Bilder erheblich und verbessert so unser Verständnis der Auswirkungen visueller Reize auf das menschliche Gehirn.

Besuche die Papier. Alle Anerkennung für diese Forschung gebührt den Forschern dieses Projekts. Vergessen Sie auch nicht, mitzumachen unser 30k+ ML SubReddit, Über 40.000 Facebook-Community, Discord-Kanal, Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen.

Wenn Ihnen unsere Arbeit gefällt, werden Sie unseren Newsletter lieben.