Projektbeschreibung
Maschinen beibringen, die Welt zu sehen
Die Erfindung von Deep Learning mit neuronalen Netzen hat den Horizont von Prozessen im Bereich des maschinellen Lernens erweitert. Computer können jetzt nicht nur natürliche Sprache und natürliches Sehen verarbeiten, sondern sogar Modelle erlernen, die Sicht und Sprache (Vision & Language (V&L)) kombinieren. Das EU-finanzierte Projekt IMAGINE verbindet das Wissen der Welt mit natürlicher Sprachgenerierung und V&L-Modellen. Anders gesagt, die Maschine wird Algorithmen anwenden, die unter Verwendung von Wissen, das in maschinenfreundlichen multimodalen Wissensdatenbanken verfügbar ist, unsere Fähigkeiten zu deduktivem Denken in Bezug auf diese Aufgaben nachahmen.
Ziel
Deep neural networks have caused lasting change in the fields of natural language processing and computer vision. More recently, much effort has been directed towards devising machine learning models that bridge the gap between vision and language (V&L). In IMAGINE, I propose to lead this even further and to integrate world knowledge into natural language generation models of V&L. Such knowledge is easily taken for granted and is necessary to perform even simple human-like reasoning tasks. For example, in order to properly answer the question “What are the children doing?” about an image which shows parents with children playing in a park, a model should be able to (a) tell children from parents (e.g. children are considerably shorter), and infer that (b) because they are in a park, laughing, and with other children, they are very likely playing.
Much of this knowledge is presently available in large-scale machine-friendly multi-modal knowledge bases (KBs) and I will leverage these to improve multiple natural language generation (NLG) tasks that require human-like reasoning abilities. I will investigate (i) methods to learn representations for KBs that incorporate text and images, as well as (ii) methods to incorporate these KB representations to improve multiple NLG tasks that reason upon V&L. In (i) I will research how to train a model that learns KB representations (e.g. learning that children are young adults and likely do not work) jointly with the component that understands the image content (e.g. identifies people, animals, objects and events in an image). In (ii) I will investigate how to jointly train NLG models for multiple tasks together with the KB entity linking, so that these models benefit from one another by sharing parameters (e.g. a model that answers questions about an image benefits from the training data of a model that describes the contents of an image), and also benefit from the world knowledge representations in the KB.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
- Naturwissenschaften Informatik und Informationswissenschaften Datenwissenschaften Verarbeitung natürlicher Sprache
- Naturwissenschaften Informatik und Informationswissenschaften künstliche Intelligenz maschinelles Sehen
- Naturwissenschaften Informatik und Informationswissenschaften Wissensverarbeitung
- Naturwissenschaften Informatik und Informationswissenschaften künstliche Intelligenz maschinelles Lernen
- Naturwissenschaften Informatik und Informationswissenschaften künstliche Intelligenz Computational Intelligence
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Wir bitten um Entschuldigung ... während der Ausführung ist ein unerwarteter Fehler aufgetreten.
Sie müssen sich authentifizieren. Ihre Sitzung ist möglicherweise abgelaufen.
Vielen Dank für Ihr Feedback. Sie erhalten in Kürze eine E-Mail zur Übermittlungsbestätigung. Wenn Sie sich für eine Benachrichtigung über den Berichtsstatus entschieden haben, werden Sie auch im Falle einer Änderung des Berichtsstatus benachrichtigt.
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
-
H2020-EU.1.3. - EXCELLENT SCIENCE - Marie Skłodowska-Curie Actions
HAUPTPROGRAMM
Alle im Rahmen dieses Programms finanzierten Projekte anzeigen -
H2020-EU.1.3.2. - Nurturing excellence by means of cross-border and cross-sector mobility
Alle im Rahmen dieses Programms finanzierten Projekte anzeigen
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
MSCA-IF - Marie Skłodowska-Curie Individual Fellowships (IF)
Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
(öffnet in neuem Fenster) H2020-MSCA-IF-2018
Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigenKoordinator
Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.
1012WX Amsterdam
Niederlande
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.