Descripción del proyecto
Una nueva teoría describe el aprendizaje de las redes neuronales profundas a partir de correlaciones de orden superior
Al igual que los humanos, las redes neuronales profundas (DNN, por sus siglas en inglés) pueden aprender de interrelaciones complejas y detalladas entre múltiples puntos de datos (las llamadas correlaciones de orden superior o HOC, por sus siglas en inglés) extrayendo características específicas de los datos. Sin embargo, con los marcos teóricos existentes no se refleja esta capacidad. El equipo del proyecto beyond2, financiado por el CEI, pretende desarrollar una teoría que explique cómo y qué aprenden las DNN de las HOC. Para superar la suposición poco realista de entradas gaussianas en las teorías actuales, en el proyecto se ampliarán los métodos de la física estadística y la estadística de alta dimensión para gestionar distribuciones de entrada no gaussianas. El equipo entrenará las DNN mediante el descenso de gradiente estocástico para revelar cómo aprenden de las HOC de forma eficiente e investigar la relación de los llamados componentes principales de las HOC con las propiedades fundamentales de los datos.
Objetivo
Deep neural networks (DNNs) have revolutionised how we learn from data. Rather than requiring careful engineering and domain knowledge to extract features from raw data, DNNs learn the relevant features for a task automatically from data. In particular, high-order correlations (HOCs) of the data are crucial for both the performance of DNNs and the type of features they learn. However, existing theoretical frameworks cannot capture the impact of HOCs – they either study “lazy” regimes where DNNs do not learn data-specific features, or they rely on the unrealistic assumption of Gaussian inputs devoid of non-trivial HOCs.
beyond2 will develop a theory for how and what neural networks learn from the high-order correlations of their data. We break the problem into two parts:
(i) *How?* We analyse the learning dynamics of neural networks trained by stochastic gradient descent to unveil the mechanism by which they learn from HOCs efficiently (in terms of the minimum amount of training data / learning time required to attain satisfactory predictive performance).
(ii) *What?* Our preliminary research suggests that neural filters are primarily determined by the “principal components” of HOCs. We investigate how these principal components relate to fundamental data properties, such as symmetries of the inputs.
We attack these problems by extending methods from statistical physics and high-dimensional statistics to handle non-Gaussian input distributions. Studying the interplay between data structure and learning dynamics will allow understanding how specific learning mechanisms, like attention or recursion, are able to unwrap HOCs.
By shifting the focus from unstructured to non-Gaussian data models, beyond2 will yield new insights into the inner workings of neural networks. These insights will bring theory closer to practice and might facilitate the safe deployment of neural networks in high-stakes applications.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
- ciencias naturales informática y ciencias de la información inteligencia artificial inteligencia computacional
Para utilizar esta función, debe iniciar sesión o registrarse
Le pedimos disculpas, pero se ha producido un error inesperado durante la ejecución.
Necesita estar autentificado. Puede que su sesión haya finalizado.
Gracias por su comentario. En breve recibirá un correo electrónico para confirmar el envío. Si ha seleccionado que se le notifique sobre el estado del informe, también se le contactará cuando el estado del informe cambie.
Palabras clave
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-ERC - HORIZON ERC Grants
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) ERC-2024-STG
Ver todos los proyectos financiados en el marco de esta convocatoriaInstitución de acogida
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
34136 Trieste
Italia
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.