Neural Active Visual Prosthetics for Restoring Function

Projektinformationen

NeuraViPeR

ID Finanzhilfevereinbarung: 899287

DOI

10.3030/899287

Projekt abgeschlossen

EK-Unterschriftsdatum 28 Mai 2020

Startdatum 1 September 2020

Enddatum 28 Februar 2025

Finanziert unter

• EXCELLENT SCIENCE - Future and Emerging Technologies (FET)

Gesamtkosten

€ 3 998 681,25

EU-Beitrag

€ 3 998 681,25

Koordiniert durch

UNIVERSITAT ZURICH
Switzerland

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Leistungen

Documents, reports (7)

Report & pipeline for self-calibrating stimulation

This report describes the opensource software which will be used for MLbased phosphene vision Opensource software will be disseminated via a publicly accessible repository

Report on flexible shaft electrodes

Report the longterm stability stimulation efficacy and biocompatibility of flexible probes during in vivo applications in the visual cortex of rodents The analysis is based on monitoring tissue gliosis impedance stability and twophoton calcium imaging to access neural activity

Network simulation study

Report of study of the initial AI networks of WP4 targeting the hardware FPGA implementations and the impact of reduced bit precision of weights and activations

Hardware refinement

Report on the system design in the closed loop setup taking into account the bandwidth requirements of the stimulation/recording module.

Report on enhancing perceptual experience

Report describing the performance of the artificial vision system as evaluated with sighted subjects in virtual reality setups. The open-access report will be submitted to a conference or journal for academic dissemination.

Report on self-calibrating neural stimulation

This report describes adaptive algorithms that automatically determine optimal stimulation parameters to induce each phosphene The openaccess report will be submitted to a conference or journal for academic dissemination

Report on microstimulation in sulci of monkeys

Report of the in vivo application of flexible probes and ASIC from WP2, with probes implanted into the lunate sulcus of non-human primates to elicit phosphene vision by electrical microstimulation. The analysis will evaluate long-term safety, biocompatibility and surgical protocols.

Demonstrators, pilots, prototypes (3)

Demo of algorithms in closed-loop setup

Integrates the algorithmic developments into a fully functional closed-loop system for demonstrator in WP3. The closed-loop system will consist of a VR helmet which will visualise the output of the phosphene vision system. The system can be used to simulate phosphene vision in seeing subjects and drive phosphene vision in blind subjects.

Long term stable fully in vivo validated 1024 channel system

Flexible stackable probe assembly with 1024 individually addressable electrodes implanted and able to generate stably generate phosphenes with spatial precision and stably record single units over time.

Complementary metal oxide semiconductor interconnected and stackable (up to 4) multi-shaft 128 channel probes

Flexible probes interconnected with stackable interface, encapsulated and ready for implantation.

Open Research Data Pilot (1)

Data management plan

Description of the data management plan for the collected data during the project

Websites, patent fillings, videos etc. (1)

Project website

Report on project website which will also be used to update the public on the NeuraViPeR project

Veröffentlichungen

Peer reviewed articles (28)

The direct and indirect pathways of the basal ganglia antagonistically influence cortical activity and perceptual decisions

Autoren: Enny H. van Beest, Mohammed A.O. Abdelwahab, J. Leonie Cazemier, Chrysiida Baltira, M. Cassandra Maes, Brandon D. Peri, Matthew W. Self, Ingo Willuhn, Pieter R. Roelfsema
Veröffentlicht in: iScience, Ausgabe 27, 2024, Seite(n) 110753, ISSN 2589-0042
Herausgeber: Cell Press
DOI: 10.1016/j.isci.2024.110753

An In-Silico Framework for Modeling Optimal Control of Neural Systems

Autoren: Rueckauer, B. and van Gerven, M.
Veröffentlicht in: Frontiers in Neuroscience, Ausgabe Continuous, 2023, ISSN 1662-4548
Herausgeber: Frontiers Research Foundation
DOI: 10.3389/fnins.2023.1141884

Towards biologically plausible phosphene simulation for the differentiable optimization of visual cortical prostheses

Autoren: Maureen van der Grinten, Jaap de Ruyter van Steveninck, Antonio Lozano, Laura Pijnacker, Bodo Rueckauer, Pieter Roelfsema, Marcel van Gerven, Richard van Wezel, Umut Güçlü, Yağmur Güçlütürk
Veröffentlicht in: eLife, Ausgabe 13, 2024, ISSN 2050-084X
Herausgeber: eLife Sciences Publications
DOI: 10.7554/elife.85812

Optimization of Neuroprosthetic Vision via End-to-End Deep Reinforcement Learning

Autoren: Küçükoğlu, B., Rueckauer, B., Ahmad, N., van Steveninck, J. R., Güçlü, U., and van Gerven, M.
Veröffentlicht in: International Journal of Neural Systems, Ausgabe Quarterly, 2022, ISSN 0129-0657
Herausgeber: World Scientific Publishing Co
DOI: 10.1142/s0129065722500526

Gaze-contingent processing improves mobility, scene recognition and visual search in simulated head-steered prosthetic vision

Autoren: Jaap de Ruyter van Steveninck, Mo Nipshagen, Marcel van Gerven, Umut Güçlü, Yağmur Güçlüturk, Richard van Wezel
Veröffentlicht in: Journal of Neural Engineering, Ausgabe 21, 2024, Seite(n) 026037, ISSN 1741-2560
Herausgeber: Institute of Physics Publishing
DOI: 10.1088/1741-2552/ad357d

Machine learning enables non-Gaussian investigation of changes to peripheral nerves related to electrical stimulation

Autoren: Andres W. Morales, Jinze Du, David J. Warren, Eduardo Fernández-Jover, Gema Martinez-Navarrete, Jean-Marie C. Bouteiller, Douglas C. McCreery, Gianluca Lazzi
Veröffentlicht in: Scientific Reports, Ausgabe 14, 2024, ISSN 2045-2322
Herausgeber: Nature Publishing Group
DOI: 10.1038/s41598-024-53284-w

Brain connectivity changes in response to cortical electrical stimulation in blind neuroprosthesis users

Autoren: Fernando Daniel Farfán, Leili Soo, Fabrizio Grani, María Dolores Grima-Murcia, Eduardo Fernández
Veröffentlicht in: Cerebral Cortex, Ausgabe 35, 2025, ISSN 1047-3211
Herausgeber: Oxford University Press
DOI: 10.1093/cercor/bhaf075

Solving the binding problem: assemblies form when neurons enhance their firing rate – they don’t need to oscillate or synchronize

Autoren: Roelfsema, P.R
Veröffentlicht in: Neuron, Ausgabe Monthly, 2023, ISSN 0896-6273
Herausgeber: Cell Press
DOI: 10.1016/j.neuron.2023.03.016

Efficient Deep Reinforcement Learning with Predictive Processing Proximal Policy Optimization

Autoren: Burcu Küçükoğlu, Walraaf Borkent, Bodo Rueckauer, Nasir Ahmad, Umut Güçlü, Marcel van Gerven
Veröffentlicht in: Neurons, Behavior, Data analysis, and Theory, 2024, ISSN 2690-2664
Herausgeber: NBDT
DOI: 10.51628/001c.123366

1024-channel electrophysiological recordings in macaque V1 and V4 during resting state

Autoren: Chen X*, Morales-Gregorio A*, Sridhar S, Sprenger J, van Albada SJ, Grün S, Roelfsema PR.
Veröffentlicht in: Scientific Data, Ausgabe continuous, 2022, ISSN 2052-4463
Herausgeber: Springer Nature
DOI: 10.1038/s41597-022-01180-1

Pronouns reactivate conceptual representations in human hippocampal neurons

Autoren: D. E. Dijksterhuis, M. W. Self, J. K. Possel, J. C. Peters, E. C. W. van Straaten, S. Idema, J. C. Baaijen, S. M. A. van der Salm, E. J. Aarnoutse, N. C. E. van Klink, P. van Eijsden, S. Hanslmayr, R. Chelvarajah, F. Roux, L. D. Kolibius, V. Sawlani, D. T. Rollings, S. Dehaene, P. R. Roelfsema
Veröffentlicht in: Science, Ausgabe 385, 2024, Seite(n) 1478-1484, ISSN 0036-8075
Herausgeber: American Association for the Advancement of Science
DOI: 10.1126/science.adr2813

Toward a personalized closed-loop stimulation of the visual cortex: Advances and challenges

Autoren: Grani, F., Soto-Sánchez, C., Fimia, A., & Fernández, E.
Veröffentlicht in: Frontiers in Cellular Neuroscience, Ausgabe Continuous, 2022, ISSN 1662-5102
Herausgeber: Frontiers Research Foundation
DOI: 10.3389/fncel.2022.1034270

Point-SPV: end-to-end enhancement of object recognition in simulated prosthetic vision using synthetic viewing points

Autoren: Ashkan Nejad, Burcu Küçükoǧlu, Jaap de Ruyter van Steveninck, Sandra Bedrossian, Joost Heutink, Gera A. de Haan, Frans W. Cornelissen, Marcel van Gerven
Veröffentlicht in: Frontiers in Human Neuroscience, Ausgabe 19, 2025, ISSN 1662-5161
Herausgeber: Frontiers Research Foundation
DOI: 10.3389/fnhum.2025.1549698

Advances and challenges in the development of visual prostheses

Autoren: Eduardo Fernandez, Jose Antonio Robles
Veröffentlicht in: PLOS Biology, Ausgabe 22, 2024, Seite(n) e3002896, ISSN 1545-7885
Herausgeber: PLOS
DOI: 10.1371/journal.pbio.3002896

Impact of transcranial Direct Current Stimulation on stereoscopic vision and retinal structure in adult amblyopic rodents

Autoren: Gema Martinez-Navarrete, Sergio Castaño-Castaño, Miguel Morales-Navas, Francisco Nieto-Escámez, Fernando Sánchez-Santed, Eduardo Fernandez
Veröffentlicht in: Eye and Brain, Ausgabe Volume 16, 2024, Seite(n) 75-88, ISSN 1179-2744
Herausgeber: Taylor and Francis
DOI: 10.2147/eb.s474573

V1 neurons are tuned to perceptual borders in natural scenes

Autoren: Paolo Papale, Wietske Zuiderbaan, Rob R. M. Teeuwen, Amparo Gilhuis, Matthew W. Self, Pieter R. Roelfsema, Serge O. Dumoulin
Veröffentlicht in: Proceedings of the National Academy of Sciences, Ausgabe 121, 2024, ISSN 0027-8424
Herausgeber: National Academy of Sciences
DOI: 10.1073/pnas.2221623121

Comparison of electrical microstimulation artifact removal methods for high-channel-count prostheses

Autoren: Feng Wang, Xing Chen, Pieter R. Roelfsema
Veröffentlicht in: Journal of Neuroscience Methods, Ausgabe 408, 2024, Seite(n) 110169, ISSN 0165-0270
Herausgeber: Elsevier BV
DOI: 10.1016/j.jneumeth.2024.110169

An extensive dataset of spiking activity to reveal the syntax of the ventral stream

Autoren: Paolo Papale, Feng Wang, Matthew W. Self, Pieter R. Roelfsema
Veröffentlicht in: Neuron, Ausgabe 113, 2025, Seite(n) 539-553.e5, ISSN 0896-6273
Herausgeber: Cell Press
DOI: 10.1016/j.neuron.2024.12.003

Multilayer Arrays for Neurotechnology Applications (MANTA): Chronically Stable Thin-Film Intracortical Implants

Autoren: C. Boehler, M. Vomero, M. Soula, M. Vöröslakos, M. Porto Cruz, R. Liljemalm, G. Buzsaki, T. Stieglitz, M. Asplund
Veröffentlicht in: Advanced Science, Ausgabe Monthly, 2023, ISSN 2198-3844
Herausgeber: Wiley
DOI: 10.1002/advs.202207576

Time stability and connectivity analysis with an intracortical 96-channel microelectrode array inserted in human visual cortex

Autoren: Grani, F., Soto-Sánchez, C., Farfan, F. D., Alfaro, A., Grima, M. D., Doblado, A. R., & Fernández, E
Veröffentlicht in: Journal of Neural Engineering, Ausgabe Quarterly, 2022, ISSN 1741-2560
Herausgeber: Institute of Physics Publishing
DOI: 10.1088/1741-2552/ac801d

An integrative, multiscale view on neural theories of consciousness

Autoren: Johan F. Storm, P. Christiaan Klink, Jaan Aru, Walter Senn, Rainer Goebel, Andrea Pigorini, Pietro Avanzini, Wim Vanduffel, Pieter R. Roelfsema, Marcello Massimini, Matthew E. Larkum, Cyriel M.A. Pennartz
Veröffentlicht in: Neuron, Ausgabe 112, 2024, Seite(n) 1531-1552, ISSN 0896-6273
Herausgeber: Cell Press
DOI: 10.1016/j.neuron.2024.02.004

Neuronal Waveform Classification in Multielectrode Recordings Using Machine Learning Techniques and Multidimensional Analysis

Autoren: Rocio Lopez-Peco, Mikel Val-Calvo, Cristina Soto-Sanchez, Adrian Villamarin-Ortiz, Gloria Ruiz-Boix, Jose Manuel Ferrandez-Vicente, Eduardo Fernandez
Veröffentlicht in: International Journal of Neural Systems, 2025, ISSN 0129-0657
Herausgeber: World Scientific Publishing Co
DOI: 10.1142/s0129065725500315

Flexible Polymer Electrodes for Stable Prosthetic Visual Perception in Mice

Autoren: Corinne Orlemann, Christian Boehler, Roxana N. Kooijmans, Bingshuo Li, Maria Asplund, Pieter R. Roelfsema
Veröffentlicht in: Advanced Healthcare Materials, Ausgabe 13, 2024, ISSN 2192-2640
Herausgeber: John Wiley and Sons Ltd
DOI: 10.1002/adhm.202304169

Recording Quality Is Systematically Related to Electrode Impedance

Autoren: Christopher M. Lewis, Christian Boehler, Rickard Liljemalm, Pascal Fries, Thomas Stieglitz, Maria Asplund
Veröffentlicht in: Advanced Healthcare Materials, Ausgabe Continuous, 2024, ISSN 2192-2640
Herausgeber: John Wiley and Sons Ltd
DOI: 10.1002/adhm.202303401

Chronic stability of a neuroprosthesis comprising multiple adjacent Utah arrays in monkeys

Autoren: X. Chen, F: Wang, R. Kooijmans, P.C. Klink, C. Boehler, M. Asplund, P.R. Roelfsema
Veröffentlicht in: Journal of Neural Engineering, Ausgabe Quarterly, 2023, ISSN 1741-2560
Herausgeber: Institute of Physics Publishing
DOI: 10.1088/1741-2552/ace07e

Visual percepts evoked with an intracortical 96-channel microelectrode array inserted in human occipital cortex

Autoren: Fernandez, E., Alfaro, A., Soto-Sanchez, C., Gonzalez-Lopez, P., Lozano, A., Peña, S., Rodil, A., Gomez, B., Chez, X., Roefsema, P., Rolston, J., Davis, T., Normann, RA.
Veröffentlicht in: Journal of Clinical Investigation, Ausgabe continuous, 2021, ISSN 0021-9738
Herausgeber: American Society for Clinical Investigation
DOI: 10.1172/jci151331

Electrochemical impedance spectroscopy in vivo for neurotechnology and bioelectronics

Autoren: Hazelgrove, B., Matter, L., Raos, B., Harland, B., Cheng, L., Asplund, M., Svirskis, D.
Veröffentlicht in: Nature Reviews Electrical Engineering, Ausgabe Continuous, 2025, Seite(n) 110–124, ISSN 2948-1201
Herausgeber: Nature
DOI: 10.1038/s44287-024-00126-6

Engineering strategies towards overcoming bleeding and glial scar formation around neural probes

Autoren: Otte E, Vlachos A, Asplund M
Veröffentlicht in: Cell and Tissue Research, Ausgabe 4, 2022, ISSN 0302-766X
Herausgeber: Springer Verlag
DOI: 10.1007/s00441-021-03567-9

Other (3)

End-to-end Learning of Safe Stimulation Parameters for Cortical Neuroprosthetic Vision

Autoren: Burcu Küçükoğlu, Bodo Rueckauer, Jaap de Ruyter van Steveninck, Maureen van der Grinten, Yağmur Güçlütürk, Pieter R. Roelfsema, Umut Güçlü, Marcel van Gerven
Veröffentlicht in: BioArxiv, Ausgabe Continuously, 2025
Herausgeber: Cold Spring Harbor Laboratory
DOI: 10.1101/2025.01.23.634543

Bayesian optimization of cortical neuroprosthetic vision using perceptual feedback

Autoren: Burcu Kucukoglu, Leili Soo, David Leeftink, Fabrizio Grani, Cristina Soto Sanchez, Umut Guclu, Marcel van Gerven, Eduardo Fernandez
Veröffentlicht in: 2025
Herausgeber: Cold Spring Harbor Laboratory
DOI: 10.1101/2025.01.24.634528

Decorrelated Soft Actor-Critic for Efficient Deep Reinforcement Learning

Autoren: Burcu Küçükoğlu, Sander Dalm, Marcel van Gerven
Veröffentlicht in: Arxiv, Ausgabe Continuous, 2025
Herausgeber: Cornell University
DOI: 10.48550/arxiv.2501.19133

Conference proceedings (9)

A 128-channel real-time VPDNN stimulation system for a visual cortical neuroprosthesis

Autoren: Hasan Mohamed, Bogdan Raducanu, Ilya Kiselev, Zuowen Wang, Burcu Küçükoğlu, Bodo Rueckauer, Marcel van Gerven, Carolina Mora Lopez, Shih-Chii Liu
Veröffentlicht in: 2023 IEEE Biomedical Circuits and Systems Conference (BioCAS), 2024, Seite(n) 1-5
Herausgeber: IEEE
DOI: 10.1109/biocas58349.2023.10389055

New Wafer-Level Fabrication of Ultrathin Silicon Insertion Shuttles for Flexible Neural Implants

Autoren: K. Sharma, C. Boehler, M. Asplund, O. Paul, and P. Ruther
Veröffentlicht in: 2023 IEEE 36th International Conference on Micro Electro Mechanical Systems (MEMS), Ausgabe Annually, 2023
Herausgeber: IEEE
DOI: 10.1109/mems49605.2023.10052581

Experiencing prosthetic vision with event-based sensors

Autoren: Rückauer, B.J.; Gerven, M.A.J. van; Potok, T.E.; Schuman, C.
Veröffentlicht in: Proceedings of the International Conference on Neuromorphic Systems, Ausgabe Annually, 2022
Herausgeber: Association for Computing Machinery (ACM)
DOI: 10.1145/3546790.3546813

Leveraging Recurrent Neural Networks for Predicting Motor Movements from Primate Motor Cortex Neural Recordings

Autoren: Yuanxi Wang, Zuowen Wang, Shih-Chii Liu
Veröffentlicht in: 2024 IEEE Biomedical Circuits and Systems Conference (BioCAS), 2024, Seite(n) 1-5
Herausgeber: IEEE
DOI: 10.1109/biocas61083.2024.10798182

Lightweight semantic segmentation networks for real-time visual prosthesis applications

Autoren: H. Wang, H. Mohamed, Z. Wang, B. Rueckauer, S-C. Liu
Veröffentlicht in: 2021 ICCV Workshop (The 1st Workshop on Video Scene Parsing in the Wild), Ausgabe 1, 2021, ISSN 2473-9944
Herausgeber: IEEE Computer Society
DOI: 10.1109/iccvw54120.2021.00300

A 128-channel neural stimulation and recording ASIC for scalable cortical visual prosthesis

Autoren: Bogdan C. Raducanu, Joan Aymerich, Wen-Yang Hsu, Patrick Hendrickx, Carolina Mora Lopez
Veröffentlicht in: ESSCIRC 2023- IEEE 49th European Solid State Circuits Conference (ESSCIRC), 2023, Seite(n) 301-304
Herausgeber: IEEE
DOI: 10.1109/esscirc59616.2023.10268749

Bio-inspired parameter reuse: Exploiting inter-frame representation similarity with recurrence for accelerating temporal visual processing

Autoren: Wang, Zuowen; Cheng, Longbiao; Ott, Joachim; Moure, Pehuen; Liu, Shih-Chii
Veröffentlicht in: Proceedings of Machine Learning Research, Ausgabe 3, 2024, Seite(n) 209-222
Herausgeber: JMLR
DOI: 10.5167/uzh-254310

Fast temporal decoding from large-scale neural recordings in monkey visual cortex

Autoren: Hadorn, J.*, Wang, Z.*, Rueckauer, B., Chen, X., Roelfsema, P., Liu, S.-C
Veröffentlicht in: NeurIPS 2022 Workshop on Shared Visual Representations in Human & Machine Intelligence, Ausgabe Annually, 2022
Herausgeber: NeurIPS
DOI: 10.3929/ethz-b-000595073

Hierarchical Bonding Yield Test Structure for Flexible High Channel-Count Neural Probes Interfacing ASIC Chips

Autoren: M. C. Odenthal, V. Claar, O. Paul, and P. Ruther
Veröffentlicht in: 2023 IEEE 36th International Conference on Micro Electro Mechanical Systems (MEMS), Ausgabe Annually, 2023
Herausgeber: IEEE
DOI: 10.1109/mems49605.2023.10052500