Projektbeschreibung
Bilder und Sprache in der menschlichen Kommunikation
Seit jeher werden Bildfolgen in der menschlichen Kommunikation als überaus wichtig angesehen. Aber erst kürzlich hat die Wissenschaft damit begonnen, diese visuellen Narrative zu untersuchen, da man erkannt hat, dass sie eine wertvolle Ressource für die Untersuchung der Kognition der sequentiellen Entscheidungsfindung darstellen. Folglich hat die Forschung Ähnlichkeiten zwischen sequentiellen Bildern und Sprache festgestellt, was Untersuchungen der Ähnlichkeiten zwischen der Struktur und Verarbeitung visueller Narrative und Sprache nach sich zieht. Das EU-finanzierte Projekt TINTIN schlägt vor, sich dieser Frage mit Hilfe der psychologischen und linguistischen Wissenschaften anzunähern. Da es keine Datenbanken für visuelle narrative Systeme gibt, wird das Projekt innovative visuelle Annotationsinstrumente erschaffen und eine Sammlung von 1 500 Comics aus der ganzen Welt erstellen. Zusätzlich wird es untersuchen, ob visuelle Narrative in ihren Eigenschaften variieren, ob Abweichungen dieser Art deren Verständnis beeinflussen und ob bei derartigen Variationen ein Zusammenhang mit verbalen Sprachen existiert.
Ziel
Drawn sequences of images are a fundamental aspect of human communication, appearing from instruction manuals and educational material to comics. Despite this, only recently have scholars begun to examine these visual narratives, making this an untapped resource to study the cognition of sequential meaning-making. The emerging field analysing this work has implicated similarities between sequential images and language, which raises the question: Just how similar is the structure and processing of visual narratives and language? I propose to explore this query by drawing on interdisciplinary methods from the psychological and linguistic sciences. First, in order to examine the structural properties of visual narratives, we need a large-scale corpus of the type that has benefited language research. Yet, no such databases exist for visual narrative systems. I will thus create innovative visual annotation tools to build a corpus of 1,500 annotated comics from around the world (Stage 1). With such a corpus, I will then ask, do visual narratives differ in their properties around the world, and does such variance influence their comprehension (Stage 2)? Next, we might ask why such variation appears, particularly: might differences between visual narratives be motivated by patterns in spoken languages, thereby implicating cognitive processes across modalities (Stage 3)? Thus, this proposal aims to investigate the domain-specific (Stage 2) and domain-general (Stage 3) properties of visual narratives, particularly in relation to language, by analysing both production (corpus analyses) and comprehension (experimentation). This research will be ground-breaking by challenging our knowledge about the relations between drawing, sequential images, and language. The goal is not simply to create tools to explore a limited set of questions, but to provide resources to jumpstart a budding research field for visual and multimodal communication in the linguistic and cognitive sciences.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht.
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Schlüsselbegriffe
Programm/Programme
Thema/Themen
Finanzierungsplan
ERC-STG - Starting GrantGastgebende Einrichtung
5037 AB Tilburg
Niederlande