INFORMATION-THEORETIC LIMITS FOR DEEP NEURAL NETWORKS

Información del proyecto

IT-DNN

Identificador del acuerdo de subvención: 893082

DOI

10.3030/893082

Proyecto cerrado

Fecha de la firma de la CE 23 Marzo 2020

Fecha de inicio 1 Abril 2020

Fecha de finalización 31 Marzo 2022

Financiado con arreglo a

• EXCELLENT SCIENCE - Marie Skłodowska-Curie Actions

Coste total

€ 203 852,16

Aportación de la UE

€ 203 852,16

Coordinado por

CHALMERS TEKNISKA HOGSKOLA AB
Sweden

Descripción del proyecto

Hacia una mayor comprensión de las redes neuronales profundas

Las redes neuronales profundas (DNN, por sus siglas en inglés) se basan en un entramado de varias unidades vinculadas por funciones matemáticas que posibilitan el aprendizaje. En los últimos decenios, estos algoritmos han contribuido a la visión artificial, al reconocimiento de voz y audio y al procesamiento del lenguaje natural. Con todo, la crítica más común sigue siendo que los algoritmos de aprendizaje profundo suelen utilizarse como una caja negra, lo que no es nada satisfactorio en las aplicaciones para las que es fundamental garantizar su ejecución. El proyecto IT-DNN, financiado con fondos europeos, tiene por objeto mejorar la comprensión de las DNN. Para lograrlo establecerá unos novedosos límites teóricos de la información relativos al error de generalización que se pueden obtener usando DNN y demostrará cómo dichos límites pueden orientar el diseño de dichas redes.

Objetivo

Over the last decade, deep-learning algorithms have dramatically improved the state of the art in many machine-learning problems, including computer vision, speech recognition, natural language processing, and audio recognition. Despite their success, however, there is no satisfactory mathematical theory that explains the functioning of such algorithms. Indeed, a common critique is that deep-learning algorithms are often used as black box, which is unsatisfactory in all applications for which performance guarantees are critical (e.g. traffic-safety applications).

The purpose of this project is to increase our theoretical understanding of deep neural networks (DNN). This will be done by developing novel information-theoretic bounds on the generalization error attainable using DNN and by demonstrating how such bounds can guide the design of such network.

Ámbito científico (EuroSciVoc)

• ciencias naturales › informática y ciencias de la información › ciencia de datos › procesamiento del lenguaje natural
• ciencias naturales › informática y ciencias de la información › inteligencia artificial › visión artificial
• ciencias naturales › informática y ciencias de la información › inteligencia artificial › aprendizaje automático › aprendizaje profundo
• ciencias naturales › informática y ciencias de la información › inteligencia artificial › inteligencia computacional

Palabras clave

• Information theory
• deep neural network
• generalization error

Programa(s)

• H2020-EU.1.3. - EXCELLENT SCIENCE - Marie Skłodowska-Curie Actions PROGRAMA PRINCIPAL
  
• H2020-EU.1.3.2. - Nurturing excellence by means of cross-border and cross-sector mobility
  

Tema(s)

• MSCA-IF-2019 - Individual Fellowships
  

Régimen de financiación

MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)

Convocatoria de propuestas

H2020-MSCA-IF-2019

Coordinador

CHALMERS TEKNISKA HOGSKOLA AB

• Aportación neta de la UEn: € 203 852,16
• Dirección: - ; 412 96 GOTEBORG ; Suecia
• Región: Södra Sverige › Västsverige › Västra Götalands län
• Tipo de actividad: Higher or Secondary Education Establishments
• Coste total: € 203 852,16