Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski polski
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Learning to Create Virtual Worlds

Opis projektu

Automatycznie tworzona zawartość 3D dla różnorodnych zastosowań

Ostatnie postępy w dziedzinie metod generowania obrazu, takich jak generatywne sieci przeciwstawne i modele dyfuzyjne, znacznie poprawiają realizm grafiki. Modelowanie 3D na potrzeby grafiki komputerowej i immersyjnych doświadczeń pozostaje słabiej rozwinięte. Zespół finansowanego przez ERBN projektu Gen3D ma na celu wypełnienie tej luki poprzez automatyczne generowanie treści 3D dla wirtualnych światów, co umożliwi elastyczne renderowanie z różnych punktów widzenia przy jednoczesnym zachowaniu wierności wizualnej rzeczywistego świata. Zespół będzie zajmował się różnymi zastosowaniami, w tym grami wideo, filmami, rzeczywistością rozszerzoną (AR), rzeczywistością wirtualną (VR), projektowaniem wspomaganym komputerowo (CAD), wizualizacją architektoniczną i obrazowaniem medycznym. Skupi się on na opracowaniu generatywnych modeli 3D umożliwiających tworzenie siatek wielokątów z teksturami i właściwościami materiałów, przy jednoczesnym zwiększeniu kontroli i możliwości edycji poprzez warunkowe generowanie zarówno dla początkujących, jak i przeszkolonych użytkowników.

Cel

In recent years, we have seen a revolution of learning methods that generate highly-realistic images, such as generative adversarial neural networks, autoregressive methods, or diffusion models (e.g. DALL-E, Stable Diffusion, Runway, etc). Unfortunately, the vast majority of these methods are tailored towards the 2D image domain, while their respective 3D counterparts 3D models that fuel computer graphics applications, and enable visually immersive experiences remain in their infancy.

In this proposal, we tackle the challenge of automatic generation of 3D content for virtual worlds. Such 3D generated content enables versatility, with flexible rendering from arbitrary viewpoints that match the visual fidelity of the real world. We focus on 3D content creation for visually immersive experiences for a much wider audience in myriad applications, such as video games, movies, AR/VR scenarios, CAD modeling, architectural & industrial design, and medical applications. We believe that the key towards automated, high-fidelity content creation lies in developing new machine learning techniques to transform 3D content generation.

(A) We will develop 3D Generative Models that output 3D polygon meshes, along with their surface textures and material properties, highlighting generation of 3D content that can be directly consumed by modern graphics pipelines.

(B) To train our 3D generative models to reflect the complexity and diversity of real data, we will devise methods for Supervision from Images and Videos. The key challenge here is that such collections of images and videos are by nature incomplete projections of the underlying 3D world, thus requiring learning paradigms that generalize across partial instances.

(C) We will research techniques that provide Control and Editability through Conditional Generation. In particular, we will focus on conditional input from both novice (e.g. text-based editing) and expert (e.g. based on existing authoring tools) users alike.

Dziedzina nauki (EuroSciVoc)

Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.

Aby użyć tej funkcji, musisz się zalogować lub zarejestrować

Program(-y)

Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.

Temat(-y)

Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.

System finansowania

Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.

HORIZON-ERC - HORIZON ERC Grants

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.

(odnośnik otworzy się w nowym oknie) ERC-2024-COG

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Instytucja przyjmująca

TECHNISCHE UNIVERSITAET MUENCHEN
Wkład UE netto

Kwota netto dofinansowania ze środków Unii Europejskiej. Suma środków otrzymanych przez uczestnika, pomniejszona o kwotę unijnego dofinansowania przekazanego powiązanym podmiotom zewnętrznym. Uwzględnia podział unijnego dofinansowania pomiędzy bezpośrednich beneficjentów projektu i pozostałych uczestników, w tym podmioty zewnętrzne.

€ 2 750 000,00
Koszt całkowity

Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.

€ 2 750 000,00

Beneficjenci (1)

Moja broszura 0 0