Opis projektu
Nowe możliwości rozumienia i przetwarzania języka
W ostatnich latach modele uczenia głębokiego oparte na transformatorach, takie jak BERT i GPT-3, zaskoczyły społeczeństwo możliwościami w zakresie przetwarzania języka naturalnego oraz nauki na podstawie nielicznych przykładów. Modele te często zawodzą, gdy zostaną zmuszone do wyjścia ze strefy komfortu – brakuje im bowiem możliwości adaptacji do wymogów innych domen, umiejętności zrozumienia kontekstu, kalibracji i identyfikowalnej pamięci. Zespół finansowanego ze środków Europejskiej Rady ds. Badań Naukowych projektu DECOLLAGE stawi czoła wszystkim tym wyzwaniom. Badacze opracują metody kontrolowanego generowania treści na podstawie użyteczności z szacunkami niepewności, a także uwzględnią informacje kontekstowe i opracują modele pamięci. Prace w ramach projektu DECOLLAGE pozwolą na realizację świadomego przetwarzania na podstawie opisowych reprezentacji oraz umożliwią płynną komunikację między modułami i agentami. Skupiając się na obszarach zastosowań takich jak tłumaczenie maszynowe, rozmowy oraz generowanie treści, zespół projektu DECOLLAGE stanie na czele rewolucji w zakresie przetwarzania języka naturalnego.
Cel
In recent years, transformer-based deep learning models such as BERT or GPT-3 have led to impressive results in many natural language processing (NLP) tasks, exhibiting transfer and few-shot learning capabilities.
However, despite faring well in benchmarks, current deep learning models for NLP often fail badly in the wild: they are bad at out-of-domain generalization, they do not exploit contextual information, they are poorly calibrated, and their memory is not traceable. These limitations stem from their monolithic architectures, which are good for perception, but unsuitable for tasks requiring higher-level cognition.
In this project, I attack these fundamental problems by bringing together tools and ideas from machine learning, sparse modeling, information theory, and cognitive science, in an interdisciplinary approach. First, I will use uncertainty and quality estimates for utility-guided controlled generation, combining this control mechanism with the efficient encoding of contextual information and integration of multiple modalities. Second, I will develop sparse and structured memory models, together with attention descriptive representations towards conscious processing. Third, I will build mathematical models for sparse communication (reconciling discrete and continuous domains), supporting end-to-end differentiability and enabling a shared workspace where multiple modules and agents can communicate.
I will apply the innovations above to highly challenging language generation tasks, including machine translation, open dialogue, and story generation. To reinforce interdisciplinarity and maximize technological impact, collaborations are planned with cognitive scientists and with a scale-up company in the crowd-sourcing translation industry.
Słowa kluczowe
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Program(-y)
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
-
HORIZON.1.1 - European Research Council (ERC)
GŁÓWNY PROGRAM
Wyświetl wszystkie projekty finansowane w ramach tego programu
Temat(-y)
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
System finansowania
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
HORIZON-ERC - HORIZON ERC Grants
Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania
Zaproszenie do składania wniosków
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
(odnośnik otworzy się w nowym oknie) ERC-2022-COG
Wyświetl wszystkie projekty finansowane w ramach tego zaproszeniaInstytucja przyjmująca
Kwota netto dofinansowania ze środków Unii Europejskiej. Suma środków otrzymanych przez uczestnika, pomniejszona o kwotę unijnego dofinansowania przekazanego powiązanym podmiotom zewnętrznym. Uwzględnia podział unijnego dofinansowania pomiędzy bezpośrednich beneficjentów projektu i pozostałych uczestników, w tym podmioty zewnętrzne.
3810-193 GLORIA E VERA CRUZ
Portugalia
Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.