The role of memory in perception: neural mechanisms and computations

Projektbeschreibung

Neuronale Mechanismen, die Vergangenheit, Gegenwart und Vorhersagen miteinander verbinden

Der Hippocampus ist von zentraler Bedeutung für das Lernen und das Gedächtnis und ist eng mit höheren kortikalen Regionen verknüpft. Die Wahrnehmung wird stark von Erinnerungen beeinflusst. Das Team des ERC-finanzierten Projekts MemPercept wird die Funktion des Hippocampus bei der Vermittlung des Einflusses von Erinnerungen auf die Wahrnehmung untersuchen. Im Einzelnen wird erforscht, ob der Hippocampus aktuelle Sinneseindrücke und Erinnerungen an deren „Bedeutung“ in der Vergangenheit nutzt, um Vorhersagen an den visuellen Kortex zu senden, die die Wahrnehmung verändern. Zu diesem Zweck wird das Team von MemPercept modernste Verfahren der kognitiven Neurowissenschaften einschließlich funktioneller Magnetresonanztomografie, Magnetenzephalografie, Psychophysik und maschinellem Lernen kombinieren, um Signale des Hippocampus zu kartieren, neuronale Schwingungen zu analysieren und Repräsentationen des Hippocampus während der Wahrnehmung mithilfe tiefer neuronaler Netzwerke zu entschlüsseln. Die Ergebnisse könnten Aufschluss über Phänomene wie beispielsweise Halluzinationen geben.

Ziel

Perception and memory are intimately linked, yet they are traditionally studied separately, with knowledge gained in one field not significantly impacting the other. Here, I propose to investigate if and how a canonical memory region, the hippocampus, influences perception. Specifically, I hypothesise that the hippocampus generates predictions based on multisensory associations in our environment (e.g. a barking sound predicts that you will see your dog), and sends these predictions to visual cortex, thereby changing what we see. The proposed research uses the gamut of cognitive neuroscience techniques, from cutting-edge neuroimaging to carefully designed psychophysics and machine learning, to investigate the neural mechanisms and computations whereby the hippocampus and visual cortex interact. I will exploit the anatomical precision afforded by 7 Tesla functional magnetic resonance imaging (fMRI) to pinpoint hippocampal subfield-specific signals and their communication to cortical layers, and the temporal precision of magnetoencephalography (MEG) to investigate how the hippocampus coordinates learning and predicting using oscillations. Additionally, I will use deep neural networks (DNNs) to reveal the contents of hippocampal representations during perception. Together, I expect that this work will lead to a step change in our understanding of the interplay between memory and perception, since the hippocampus is generally considered a ‘pure’ memory region, whereas I propose that it actually changes how we see the world. Resolving this issue will establish the neural mechanisms whereby memory and perception interact, shedding light on how our brains generate our rich subjective experience of the world. Ultimately, this will improve our understanding of disorders where perceptual inference goes awry, such as in hallucinations.