Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español es
CORDIS - Resultados de investigaciones de la UE
CORDIS

Foundations of Generalization

Descripción del proyecto

Mejorar la comprensión de la generalización en la teoría del aprendizaje

Uno de los principales retos del aprendizaje automático y la inteligencia artificial es comprender la generalización: cómo un agente de aprendizaje infiere sobre una población a partir de datos limitados. En la actualidad, la mejor práctica consiste en utilizar modelos sobreparametrizados en conjuntos de datos pequeños que, curiosamente, proporcionan resultados sorprendentes, en contra de los conocimientos convencionales. En el proyecto FoG, financiado por el Consejo Europeo de Investigación, se ampliará y mejorará nuestra comprensión de esta práctica y del papel que desempeñan estos algoritmos en el aprendizaje. El equipo del proyecto investigará dos modelos matemáticos de aprendizaje automático que podrían ayudar a explicar este problema básico. El primer modelo consistirá en la optimización estocástica convexa, y el segundo abordará la generación de datos sintéticos, que se sitúa entre los conceptos clave de generalización y memorización.

Objetivo

Arguably, the most crucial objective of Learning Theory is to understand the basic notion of generalization: How can a learning agent infer from a finite amount of data to the whole population? Today's learning algorithms are poorly understood from that perspective. In particular, best practices, such as using highly overparameterized models to fit relatively few data, seem to be in almost contradiction to common wisdom, and classical models of learning seem to be incapable of explaining the impressive success of such algorithms. The objective of this proposal is to understand generalization in overparameterized models and understand the role of algorithms in learning. Toward this task, I will consider two mathematical models of learning that shed light on this fundamental problem.

The first model is the well-studied, yet only seemingly well-understood, model of Stochastic Convex optimization. My investigations, so far, provided a new picture that is much more complex than was previously known or assumed, regarding fundamental notions such as regularization, inductive bias as well as stability. These works show that even in this, simplistic setup of learning, understanding such fundamental principles may be a highly ambitious task. On the other hand, given the simplicity of the model, it seems that such an understanding is a prerequisite to any future model that will explain modern Machine Learning algorithms.

The second model considers a modern task of synthetic data generation. Synthetic data generation serves as an ideal model to further study the tension between concepts such as generalization and memorization. Here we with a challenge to model the question of generalization, and answer fundamental questions such as: when is synthetic data original and when is it a copy of the empirical data?

Ámbito científico (EuroSciVoc)

Este proyecto aún no se ha clasificado con EuroSciVoc.
Sugiera los ámbitos científicos que considere más relevantes y ayúdenos a mejorar nuestro servicio de clasificación.

Palabras clave

Programa(s)

Tema(s)

Régimen de financiación

HORIZON-ERC - HORIZON ERC Grants

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

(se abrirá en una nueva ventana) ERC-2023-STG

Ver todos los proyectos financiados en el marco de esta convocatoria

Institución de acogida

TEL AVIV UNIVERSITY
Aportación neta de la UEn
€ 1 419 375,00
Coste total
€ 1 419 375,00

Beneficiarios (1)