Bildsensoren verhalten sich wie biologische Retina

Das SEEBETTER-Projekt wollte ein besseres Verständnis des retinalen Sehens erlangen und eine Hochleistungstechnologie für zukunftsweisende Netzhautprothesen entwickeln.

Seit der Erfindung der ersten Camera obscura und dem Aufkommen der Fotografie im 19. Jahrhundert faszinierte die Wissenschaftler der Einsatz von Lichtsensoren, um die Welt um uns herum aus der Perspektive einer durch Menschenhand gefertigten Maschine zu erfassen. In jüngster Zeit richtet sich die gesamte Aufmerksamkeit auf Bildsensoren, die auf CCD- oder CMOS-Technologie beruhen. Diese modernen Kamerabauelemente können optische Bilder in ein elektronisches Signal umwandeln und kommen in Anwendungen für das Gesundheitswesen sowie den Automobil-, Medien- oder Sicherheitssektor zum Einsatz.

Laut einem aktuellen Bericht von MarketsandMarkets werden Bildsensoren bis 2020 einen Marktwert von rund 13,24 Milliarden EUR (rund 15,77 Milliarden USD) erreichen. Doch während der Kampf um Marktanteile bereits zu erheblichen Fortschritten in Bezug auf Pixelgröße, Pixeldichte, Auflösung und Leistung geführt hat, steht noch ein langer Weg bevor, bevor diese Technologien der biologischen Netzhaut ebenbürtig sein werden.

Das SEEBETTER-Projekt (Seeing Better with Hybrid BSI Spatio-Temporal Silicon Retina) baut auf der Überzeugung auf, dass diese Technologien darunter leiden, dass sie redundante Bildsequenzen mit einer begrenzten Bildrate erzeugen. Das von Imec geführte Konsortium hat die letzten drei Jahre damit verbracht, dieses Problem zu überwinden, indem es „eine fortgeschrittene Siliziumnetzhaut mit der überlegenen Quanteneffizienz und raumzeitlichen Verarbeitung biologischer Netzhaut verwirklicht hat“. Anders gesagt, die Wissenschaftler untersuchten die funktionalen Rollen von verschiedenen Netzhautganglienzellen, um das Sehen der Netzhaut besser zu verstehen. Anschließend versuchten sie, diese Fähigkeit nachzubilden, um Daten aufgrund der rechtzeitigen Veränderung der aufgenommenen Lichtmenge zu generieren.

David San Segundo Bello, Koordinator des Projekts, war einverstanden, über den Stand des Projekts, über die Stärken und Schwächen der SEEBETTER-Technologie und ihre Anwendungsmöglichkeiten einschließlich der hypothetischen Auswirkungen auf Netzhautprothesen zu diskutieren.

Welches Hauptziel verfolgt das Projekt?

 
SEEBETTER hat ein vierfaches Ziel: es will die funktionelle Rolle der Hauptklassen von retinalen Ganglienzellen besser verstehen, die retinale Verarbeitung des Sehens mathematisch und rechnerisch aus der Sicht der Biologie, des maschinellen Sehens und zukünftiger Netzhautprothesen modellieren, eine hochleistungsfähige Siliziumnetzhaut mit einer heterogenen Anordnung von Pixeln entwerfen und bauen, die auf die räumliche und zeitliche visuelle Verarbeitung spezialisiert ist, und Siliziumrückseiten-Prozesstechnologie verwenden, um die Empfindlichkeit des Sensors zu steigern.

Jeder der Projektpartner ist ein Experte, um diese vier Ziele zu erreichen.

Das künstliche Sehen hat in letzter Zeit eine gewisse Dynamik erhalten. Was sind Ihrer Ansicht nach die wichtigsten Vorteile Ihrer Technologie im Vergleich zu anderen bestehenden Lösungen?

Wir müssen zunächst sehr vorsichtig hinsichtlich der Nomenklatur sein. Unsere Siliziumnetzhaut ist ein in Silizium gefertigter Bildsensor, der ähnlich wie eine biologische Netzhaut funktioniert. Daher unterscheidet sie sich von einer Siliziumnetzhaut, die als Netzhautprothese bei einem Patienten implantiert wird.

Während unser „Siliziumnetzhautsensor“ in der Tat als eine solche implantierbare „künstliche“ Netzhaut verwendet werden könnte, ist unser Projekt nicht direkt auf dieses Anwendungsgebiet ausgerichtet. Ich kann jedoch sagen, dass der Hauptvorteil für ein solches Einsatzszenario wäre, dass der Sensor in ähnlicher Weise wie eine biologische Retina funktioniert und es somit einfacher sein könnte, diesen mit dem Sehnerv zu verbinden. Aber das geht weit über mein Fachgebiet hinaus, weshalb ich also nur spekulieren kann.

Wenn Sie sich mit „künstlichem Sehen“ auf Anwendungen von Bildsensoren für das sogenannte „maschinelle Sehen“ beziehen, dann besteht der Hauptvorteil unseres Sensors in seinem größeren Dynamikbereich im Vergleich zu Standardsensoren. Konkret kann der Dynamikbereich eines Bildsensors als die Differenz zwischen der niedrigsten Lichtmenge, die vor dem Erreichen des Grundrauschens des Systems erfasst werden kann, und der höchsten Lichtmenge vor der Pixelsättigung definiert werden. Bei Standardsensoren erfordert die Erhöhung des Dynamikbereichs einen hohen Aufwand und Kompromisse in Bezug auf das Photodetektionselement, die Pixelausleseelektronik und die Steuerung der Pixel. Bei unserem Sensor liegt die Haupteinschränkung in der Menge der Impulse, die verarbeitet werden können, d. h. der Geschwindigkeit der Elektronik. Da aber keine Daten generiert werden, wenn es keine Veränderungen im Bild gibt, führt dies zu einem geringeren Stromverbrauch und niedrigeren Datenraten, wovon viele Anwendungen profitieren könnten.

Wie funktioniert Ihre Siliziumnetzhaut?

Ein Siliziumnetzhautsensor funktioniert auf eine ganz andere Weise als die meisten existierenden CCD- oder CMOS-Bildsensoren. Standardbildsensoren erzeugen Daten proportional zu der Lichtmenge, die auf den Bildelementen des Sensors landet. Die Information steht in der „Amplitude“ des Pixelsignals und die Pixel sind aktiv und lesen in regelmäßigen Zeitabständen, die durch die Bildrate und/oder die Belichtungszeit definiert werden. Die für die Anwendung relevanten Daten werden aus diesen Pixelwerten für jedes Einzelbild extrahiert.

Unser Sensor aber stützt sich auf das Prinzip des „Dynamic Vision-Sensors“ (DVS), das sich an die Funktionsweise einer biologischen Netzthaut anlehnt. Anstatt Daten proportional zur Lichtmenge zu erzeugen, reagiert jedes Bildelement empfindlich auf zeitnahe Veränderungen, die diese Lichtmenge beeinflussen. Die erzeugten Daten bestehen aus asynchronen digitalen Impulsen und die Information liegt in der Zeitspanne zwischen diesen. Zum Beispiel erzeugt eine langsame Änderung der Lichtmenge auf einem bestimmten Pixel Impulse mit einer relativ niedrigen Geschwindigkeit, während plötzliche Änderungen zu schnellen Impulsen führen. Wenn es gleichzeitig in dem vom Sensor erfassten Bild zu keiner Veränderung kommt, werden keine Daten generiert.

Wie ähnlich sind Ihrer Meinung nach diese Sensoren der biologischen Netzhaut?

Nun natürlich ist eine echte biologische Retina komplexer, sie besteht aus vielen verschiedenen Arten von Pixeln (Zellen), die auch mit ihren Nachbarzellen kommunizieren. Es wäre sehr kompliziert bzw. Unmöglich, solche Eigenschaften mit Standard-CMOS-Technologie nachzuentwickeln. Mit unserem Projekt haben wir den Pixeln einige zusätzliche Funktionen im Hinblick auf die existierenden „Silizium-Netzhaut-Sensoren“ hinzugefügt, aber dies ist nur ein kleiner Schritt. Dennoch sind wir überzeugt, dass diese eingeschränkte Funktionalität im Vergleich zur realen Netzhaut für zahlreiche Anwendungen im Bereich des Sehens sehr nützlich sein könnte.

Natürlich ist nichts umsonst und diese zusätzlichen Funktionalitäten erfordern größere Pixel: Abstände zwischen 10 und 20 Mikrometer abhängig vom Technologieknoten und der auf dem Pixel enthaltenen Funktionalität. Im Gegensatz dazu sind moderne Bildstandardsensoren derzeit mit Pixeln von zwei bis fünf Mikrometern ausgestattet, wobei einige Hersteller bereits Pixelabstände von fast einem Mikrometer anbieten.

Was wäre die bahnbrechendste Entdeckung, die Sie bisher bei Ihren Forschungsarbeiten gemacht haben?

In Bezug auf die bahnbrechenden Entdeckungen kann unser Biologiepartner, das Friedrich-Miescher-Institut, die meisten sichtbaren Ergebnisse vorlegen, die unser Verständnis davon, wie die Zapfenzellen in der Netzhaut funktionieren, erweitert haben. Das hat zu mehreren Publikationen in einflussreichen Zeitschriften wie Science and Cell geführt. In Bezug auf den Sensor selbst hat die Universität Zürich den ersten Siliziumnetzhautsensor mit eingebetteten „Standard“-Pixeln demonstriert, der eine komplexere visuelle Verarbeitung ermöglicht und damit die Verwendbarkeit dieser Sensoren erweitert. Das Imperial College entwickelte einen Hardware-Emulator eines Retinasensors mithilfe von Standardkameras. Imec entwickelte letztlich mit Erfolg einen Siliziumrückseitenprozess für Bildsensoren, der für Anwendungen mit hohen Volumen verwendet werden kann, und implementierte diesen.

Wie weit sind Sie bei der Herstellung von Hochleistungssiliziumnetzhaut?

Wir stellen unsere Sensoren in einer großen Siliziumfertigungsanlage her. Wenn der Sensor in großen Mengen verwendet werden würde, wäre bereits alles für seine Massenproduktion vorbereitet.

Was sind die nächsten Schritte für das Projekt und wie geht es nach Projektende weiter?

Wir befinden uns in den letzten Monaten des Projekts. Das endgültige Bauelement wurde gefertigt und die Tests werden demnächst beginnen. Das aktuelle Konsortium hat derzeit keine Pläne, dieses Projekt weiter zu verfolgen, aber alle Mitglieder werden weiterhin an den im Laufe dieses Projekts entwickelten Technologien und Entdeckungen arbeiten.

Weitere Informationen sind abrufbar unter:

SEEBETTER
http://projects.imec.be/seebetter

Länder

Belgien