Visual narratives as a window into language and cognition

Descrizione del progetto

Immagini e linguaggio nella comunicazione umana

Le sequenze di immagini sono sempre state considerate centrali nella comunicazione umana. Tuttavia, è solo di recente che gli studiosi hanno iniziato a esaminare queste narrazioni visive, riconoscendo che rappresentano una risorsa preziosa nello studio della cognizione della costruzione sequenziale di significato. Di conseguenza, gli studiosi hanno individuato somiglianze tra immagini sequenziali e linguaggio, il che ha portato a indagini sulle somiglianze tra la struttura e l’elaborazione delle narrazioni visive e del linguaggio. Il progetto TINTIN, finanziato dall’UE, propone di affrontare la questione utilizzando le scienze psicologiche e linguistiche. Poiché non esistono banche dati per i sistemi di narrazione visiva, il progetto stabilirà strumenti di annotazione visiva innovativi costruendo una raccolta di 1 500 fumetti da tutto il mondo. Inoltre, esaminerà se le narrazioni visive variano nelle loro proprietà, se tali variazioni influenzano la loro comprensione e se sono collegate ai linguaggi verbali.

Obiettivo

Drawn sequences of images are a fundamental aspect of human communication, appearing from instruction manuals and educational material to comics. Despite this, only recently have scholars begun to examine these visual narratives, making this an untapped resource to study the cognition of sequential meaning-making. The emerging field analysing this work has implicated similarities between sequential images and language, which raises the question: Just how similar is the structure and processing of visual narratives and language? I propose to explore this query by drawing on interdisciplinary methods from the psychological and linguistic sciences. First, in order to examine the structural properties of visual narratives, we need a large-scale corpus of the type that has benefited language research. Yet, no such databases exist for visual narrative systems. I will thus create innovative visual annotation tools to build a corpus of 1,500 annotated comics from around the world (Stage 1). With such a corpus, I will then ask, do visual narratives differ in their properties around the world, and does such variance influence their comprehension (Stage 2)? Next, we might ask why such variation appears, particularly: might differences between visual narratives be motivated by patterns in spoken languages, thereby implicating cognitive processes across modalities (Stage 3)? Thus, this proposal aims to investigate the domain-specific (Stage 2) and domain-general (Stage 3) properties of visual narratives, particularly in relation to language, by analysing both production (corpus analyses) and comprehension (experimentation). This research will be ground-breaking by challenging our knowledge about the relations between drawing, sequential images, and language. The goal is not simply to create tools to explore a limited set of questions, but to provide resources to jumpstart a budding research field for visual and multimodal communication in the linguistic and cognitive sciences.