CORDIS - Forschungsergebnisse der EU
CORDIS

INFORMATION-THEORETIC LIMITS FOR DEEP NEURAL NETWORKS

Projektbeschreibung

Auf dem Weg zu einem umfassenderen Verständnis tiefer neuronaler Netzwerke

Tiefe neuronale Netzwerke basieren auf einem Netz mehrerer, durch mathematische Funktionen verbundener Einheiten, die Lernvorgänge möglich machen. In den vergangenen Jahrzehnten haben diese Algorithmen zum maschinellen Sehen, der Sprach- und Audioerkennung sowie der natürlichen Sprachverarbeitung beigetragen. Ein häufiger Kritikpunkt bleibt jedoch die Tatsache, dass Deep-Learning-Algorithmen häufig als Black Box eingesetzt werden, was für alle Anwendungen unbefriedigend ist, für die Leistungsgarantien unerlässlich sind. Das EU-finanzierte Projekt IT-DNN zielt darauf ab, das Verständnis tiefer neuronaler Netzwerke zu verbessern. Das soll durch die Entwicklung neuartiger informationstheoretischer Schranken für den durch tiefe neuronale Netzwerke erreichbaren Verallgemeinerungsfehler sowie durch das Aufzeigen geschehen, wie entsprechende Schranken bei der Gestaltung solcher Netzwerke in Betracht gezogen werden können.

Ziel

Over the last decade, deep-learning algorithms have dramatically improved the state of the art in many machine-learning problems, including computer vision, speech recognition, natural language processing, and audio recognition. Despite their success, however, there is no satisfactory mathematical theory that explains the functioning of such algorithms. Indeed, a common critique is that deep-learning algorithms are often used as black box, which is unsatisfactory in all applications for which performance guarantees are critical (e.g. traffic-safety applications).

The purpose of this project is to increase our theoretical understanding of deep neural networks (DNN). This will be done by developing novel information-theoretic bounds on the generalization error attainable using DNN and by demonstrating how such bounds can guide the design of such network.

Koordinator

CHALMERS TEKNISKA HOGSKOLA AB
Netto-EU-Beitrag
€ 203 852,16
Adresse
-
412 96 GOTEBORG
Schweden

Auf der Karte ansehen

Region
Södra Sverige Västsverige Västra Götalands län
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Gesamtkosten
€ 203 852,16