Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español es
CORDIS - Resultados de investigaciones de la UE
CORDIS

Learning Visual Foundation Models for Perceiving 3D Humans

Descripción del proyecto

Hacia una comprensión humana tridimensional generalizable en la inteligencia artificial de mundo abierto

El rápido crecimiento de la inteligencia artificial y la integración de las tecnologías de grandes modelos de lenguaje en una amplia variedad de servicios y aplicaciones han subrayado la necesidad de mejorar el aprendizaje visual y las soluciones de sensores para el futuro de la inteligencia artificial. La complejidad, el dinamismo y la profundidad de los entornos, así como el movimiento y el comportamiento humanos, dificultan enormemente esta tarea, lo que lleva a la mayoría de los métodos a tener dificultades en entornos de mundo abierto en los que necesitan generalizar más allá de los datos de entrenamiento específicos del dominio. El proyecto Human3D, financiado por el Consejo Europeo de Investigación, desarrollará e investigará representaciones visuales generalizables a partir de datos de entrenamiento a gran escala, seguidas de la creación de un modelo base para apoyar las tareas de análisis y modelado humano en entornos tridimensionales en escenarios de mundo abierto.

Objetivo

The world is entering the age of autonomy, where systems like self-driving cars and assistive robots face the challenge of perceiving and understanding human behavior in complex, dynamic environments through sensory inputs like images. While human motion and behavior have been studied extensively using visual data, existing methods often struggle in open-world settings due to their inability to generalize beyond domain-specific training data. The goal of this project is to learn generalizable visual representations from large-scale training data and create a foundational model that supports various human analysis and modeling tasks, grounded in 3D environments, in an open-world setting. Our key objectives include (1) Devising new human-centric representations and algorithms for accurate 3D human motion and appearance reconstruction from in-the-wild videos. (2) Developing advanced generative models synthesizes large-scale, realistic virtual humans, emphasizing controllability and efficiency. (3) Designing physics-guided methods for long-duration human-scene interaction capture using embodied devices. (4) Studying efficient learning algorithms and unified model architectures for 3D human foundation models that enable efficient fine-tuning and generalization across various human-centric computer vision tasks. We aim to establish the computational and algorithmic groundwork for human-centric visual foundation models, with advancement in generative modeling, human-centric representation learning, and visual data simulation. Our work will facilitate the development of autonomous AI agents for various sectors, including autonomous driving, extended reality, education, and manufacturing. Ultimately, this project is committed to advancing human-centric AI technologies, fostering more robust and effective human-AI interaction, and paving the way for practical applications that significantly improve everyday life and industrial processes.

Ámbito científico (EuroSciVoc)

CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..

Para utilizar esta función, debe iniciar sesión o registrarse

Palabras clave

Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).

Programa(s)

Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.

Tema(s)

Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.

Régimen de financiación

Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.

HORIZON-ERC - HORIZON ERC Grants

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.

(se abrirá en una nueva ventana) ERC-2025-STG

Ver todos los proyectos financiados en el marco de esta convocatoria

Institución de acogida

EIDGENOESSISCHE TECHNISCHE HOCHSCHULE ZUERICH
Aportación neta de la UEn

Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.

€ 1 500 000,00
Dirección
Raemistrasse 101
8092 Zuerich
Suiza

Ver en el mapa

Región
Schweiz/Suisse/Svizzera Zürich Zürich
Tipo de actividad
Higher or Secondary Education Establishments
Enlaces
Coste total

Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.

€ 1 500 000,00

Beneficiarios (1)

Mi folleto 0 0