Natural Language Understanding for non-standard languages and dialects

Projektinformationen

DIALECT

ID Finanzhilfevereinbarung: 101043235

DOI

10.3030/101043235

EK-Unterschriftsdatum 7 Juli 2022

Startdatum 1 Oktober 2022

Enddatum 30 September 2027

Finanziert unter

• European Research Council (ERC)

Gesamtkosten

€ 1 997 815,00

EU-Beitrag

€ 1 997 815,00

Koordiniert durch

LUDWIG-MAXIMILIANS-UNIVERSITAET MUENCHEN
Germany

CORDIS bietet Links zu öffentlichen Ergebnissen und Veröffentlichungen von HORIZONT-Projekten.

Links zu Ergebnissen und Veröffentlichungen von RP7-Projekten sowie Links zu einigen Typen spezifischer Ergebnisse wie Datensätzen und Software werden dynamisch von OpenAIRE abgerufen.

Leistungen

Data Management Plan (1)

Data Management Plan

Veröffentlichungen

Conference proceedings (91)

Human-centered LLMs for Inclusive Language Technology: The Need to Embrace Variation Holistically in NLP

Autoren: Barbara Plank
Veröffentlicht in: Annals of Computer Science and Information Systems, Proceedings of the 20th Conference on Computer Science and Intelligence Systems (FedCSIS), Ausgabe 43, 2025
Herausgeber: Polish Information Processing Society
DOI: 10.15439/2025F4610

Liar, Liar, Logical Mire: A Benchmark for Suppositional Reasoning in Large Language Models

Autoren: Philipp Mondorf, Barbara Plank
Veröffentlicht in: Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2024.EMNLP-MAIN.404

LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks

Autoren: Anna Bavaresco, Raffaella Bernardi, Leonardo Bertolazzi, Desmond Elliott, Raquel Fernández, Albert Gatt, Esam Ghaleb, Mario Giulianelli, Michael Hanna, Alexander Koller, Andre Martins, Philipp Mondorf, Vera Neplenbroek, Sandro Pezzelle, Barbara Plank, David Schlangen, Alessandro Suglia, Aditya K Surikuchi, Ece Takmaz, Alberto Testoni
Veröffentlicht in: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.ACL-SHORT.20

Revisiting Active Learning under (Human) Label Variation

Autoren: Cornelia Gruber, Helen Alber, Bernd Bischl, Göran Kauermann, Barbara Plank, Matthias Aßenmacher
Veröffentlicht in: Proceedings of the The 4th Workshop on Perspectivist Approaches to NLP, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.NLPERSPECTIVES-1.7

IndirectQA: Understanding Indirect Answers to Implicit Polar Questions in French and Spanish

Autoren: Christin Müller, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: ELRA and ICCL

Findings of the VarDial Evaluation Campaign 2023

Autoren: Aepli, Noëmi; Cöltekin, Çağrı; Van Der Goot, Rob; Jauhiainen, Tommi; Kazzaz, Mourhaf; Ljube\vić, Nikola; North, Kai; Plank, Barbara; Scherrer, Yves; Zampieri, Marcos
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.5167/uzh-233792

KARRIEREWEGE: A large scale Career Path Prediction Dataset

Autoren: Elena Senger, Yuri Campbell, Rob van der Goot, Barbara Plank
Herausgeber: Association for Computational Linguistics

MaiNLP at SemEval-2024 Task 1: Analyzing Source Language Selection in Cross-Lingual Textual Relatedness

Autoren: Shijia Zhou, Huangyan Shan, Barbara Plank, Robert Litschko
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2024.semeval-1.259

“My Answer is C”: First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models

Autoren: Xinpeng Wang, Bolei Ma, Chengzhi Hu, Leon Weber-Genzel, Paul Röttger, Frauke Kreuter, Dirk Hovy, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2024.findings-acl.441

Pragmatics in the Era of Large Language Models: A Survey on Datasets, Evaluation, Opportunities and Challenges

Autoren: Bolei Ma, Yuting Li, Wei Zhou, Ziwei Gong, Yang Janet Liu, Katja Jasinskaja, Annemarie Friedrich, Julia Hirschberg, Frauke Kreuter, Barbara Plank
Herausgeber: ArXiv
DOI: 10.48550/ARXIV.2502.12378

MaiBaam: A Multi-Dialectal Bavarian Universal Dependency Treebank

Autoren: Verena Blaschke, Barbara Kovačić, Siyao Peng, Hinrich Schütze, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: ELRA and ICCL

Stop Measuring Calibration When Humans Disagree

Autoren: Baan, J.; Aziz, W.; Plank, B.; Fernández, R.
Veröffentlicht in: 2022
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2210.16133

The “Problem” of Human Label Variation: On Ground Truth in Data, Modeling and Evaluation

Autoren: Barbara Plank
Veröffentlicht in: 2022
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2022.EMNLP-MAIN.731

SemEval-2023 Task 11: Learning with Disagreements (LeWiDi)

Autoren: Leonardelli, Elisa; Uma, Alexandra; Abercrombie, Gavin; Almanea, Dina; Basile, Valerio; Fornaciari, Tommaso; Plank, Barbara; Rieser, Verena; Poesio, Massimo
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2023.semeval-1.314

Lost in Inference: Rediscovering the Role of Natural Language Inference for Large Language Models

Autoren: Lovish Madaan, David Esiobu, Pontus Stenetorp, Barbara Plank, Dieuwke Hupkes
Veröffentlicht in: Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers), 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.NAACL-LONG.466

A Multi-Dialectal Dataset for German Dialect ASR and Dialect-to-Standard Speech Translation

Autoren: Verena Blaschke, Miriam Winkler, Constantin Förster, Gabriele Wenger-Glemser, Barbara Plank
Herausgeber: ArXiv
DOI: 10.21437/INTERSPEECH.2025-318

Exploring the Robustness of Task-oriented Dialogue Systems for Colloquial German Varieties

Autoren: Artemova, Ekaterina; Blaschke, Verena; Plank, Barbara
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics

Evidence \textgreater Intuition: Transferability Estimation for Encoder Selection

Autoren: Elisa Bassignana, Max Müller-Eberstein, Mike Zhang, Barbara Plank
Veröffentlicht in: 2022
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2022.emnlp-main.283

Donkii: Can Annotation Error Detection Methods Find Errors in Instruction-Tuning Datasets?

Autoren: Weber-Genzel, Leon; Litschko, Robert; Artemova, Ekaterina; Plank, Barbara
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics

Donkii: Characterizing and Detecting Errors in Instruction-Tuning Datasets

Autoren: Leon Weber, Robert Litschko, Ekaterina Artemova, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics

Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models – A Survey

Autoren: Mondorf, Philipp; Plank, Barbara
Veröffentlicht in: 2024
Herausgeber: Conference on Language Modeling

Boosting Zero-shot Cross-lingual Retrieval by Training on Artificially Code-Switched Data

Autoren: Litschko, Robert; Artemova, Ekaterina; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2305.05295

Does Manipulating Tokenization Aid Cross-Lingual Transfer? A Study on POS Tagging for Non-Standardized Languages

Autoren: Blaschke, Verena; Schütze, Hinrich; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2304.10158

Make Every Letter Count: Building Dialect Variation Dictionaries from Monolingual Corpora

Autoren: Robert Litschko, Verena Blaschke, Diana Burkhardt, Barbara Plank, Diego Frassinelli
Veröffentlicht in: Findings of the Association for Computational Linguistics: EMNLP 2025, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.FINDINGS-EMNLP.762

Reason to Rote: Rethinking Memorization in Reasoning

Autoren: Yupei Du, Philipp Mondorf, Silvia Casola, Yuekun Yao, Robert Litschko, Barbara Plank
Veröffentlicht in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.EMNLP-MAIN.437

What Do Dialect Speakers Want? A Survey of Attitudes Towards Language Technology for German Dialects

Autoren: Blaschke, Verena; Purschke, Christoph; Schütze, Hinrich; Plank, Barbara
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2402.11968

The Validation Gap: A Mechanistic Analysis of How Language Models Compute Arithmetic but Fail to Validate It

Autoren: Leonardo Bertolazzi, Philipp Mondorf, Barbara Plank, Raffaella Bernardi
Veröffentlicht in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.EMNLP-MAIN.1495

BlackboxNLP-2025 MIB Shared Task: Exploring Ensemble Strategies for Circuit Localization Methods

Autoren: Philipp Mondorf, Mingyang Wang, Sebastian Gerstner, Ahmad Dawar Hakimi, Yihong Liu, Leonor Veloso, Shijia Zhou, Hinrich Schuetze, Barbara Plank
Veröffentlicht in: Proceedings of the 8th BlackboxNLP Workshop: Analyzing and Interpreting Neural Networks for NLP, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.BLACKBOXNLP-1.31

The Potential and Challenges of Evaluating Attitudes, Opinions, and Values in Large Language Models

Autoren: Bolei Ma, Xinpeng Wang, Tiancheng Hu, Anna-Carolina Haensch, Michael A. Hedderich, Barbara Plank, Frauke Kreuter
Veröffentlicht in: Findings of the Association for Computational Linguistics: EMNLP 2024, 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2024.FINDINGS-EMNLP.513

MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs

Autoren: Raoyuan Zhao, Beiduo Chen, Barbara Plank, Michael A. Hedderich
Veröffentlicht in: Findings of the Association for Computational Linguistics: EMNLP 2025, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.FINDINGS-EMNLP.1256

Deep Learning-based Computational Job Market Analysis: A Survey on Skill Extraction and Classification from Job Postings

Autoren: Elena Senger, Mike Zhang, Rob van der Goot, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics

Fine-grained Sexism Detection in Italian Newspapers

Autoren: Federica Manzi, Leon Weber-Genzel, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: CEUR Workshop Proceedings

How to Distill your BERT: An Empirical Study on the Impact of Weight Initialisation and Distillation Objectives

Autoren: Wang, Xinpeng; Weissweiler, Leonie; Schütze, Hinrich; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2305.15032

Circuit Compositions: Exploring Modular Structures in Transformer-Based Language Models

Autoren: Philipp Mondorf, Sondre Wold, Barbara Plank
Veröffentlicht in: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.ACL-LONG.727

ActiveAED: A Human in the Loop Improves Annotation Error Detection

Autoren: Weber, Leon; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2305.20045

What’s wrong with your model? A Quantitative Analysis of Relation Classification

Autoren: Elisa Bassignana, Rob van der Goot, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2024.starsem-1.20

“Seeing the Big through the Small”: Can LLMs Approximate Human Judgment Distributions on NLI from a Few Explanations?

Autoren: Beiduo Chen, Xinpeng Wang, Siyao Peng, Robert Litschko, Anna Korhonen, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2024.findings-emnlp.842

Disentangling Subjectivity and Uncertainty for Hate Speech Annotation and Modeling using Gaze

Autoren: Özge Alacam, Sanne Hoeken, Andreas Säuberli, Hannes Gröner, Diego Frassinelli, Sina Zarrieß, Barbara Plank
Veröffentlicht in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.EMNLP-MAIN.1460

What’s the Difference? Supporting Users in Identifying the Effects of Prompt and Model Changes Through Token Patterns

Autoren: Michael A. Hedderich, Anyi Wang, Raoyuan Zhao, Florian Eichin, Jonas Fischer, Barbara Plank
Veröffentlicht in: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.ACL-LONG.985

Tracing Multilingual Factual Knowledge Acquisition in Pretraining

Autoren: Yihong Liu, Mingyang Wang, Amir Hossein Kargaran, Felicia Körner, Ercong Nie, Barbara Plank, François Yvon, Hinrich Schuetze
Veröffentlicht in: Findings of the Association for Computational Linguistics: EMNLP 2025, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.FINDINGS-EMNLP.113

Evaluating Large Language Models for Cross-Lingual Retrieval

Autoren: Longfei Zuo, Pingjun Hong, Oliver Kraus, Barbara Plank, Robert Litschko
Veröffentlicht in: Findings of the Association for Computational Linguistics: EMNLP 2025, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.FINDINGS-EMNLP.612

Through the Lens of Split Vote: Exploring Disagreement, Difficulty and Calibration in Legal Case Outcome Classification

Autoren: Shanshan Xu, Santosh T.y.s.s, Oana Ichim, Barbara Plank, Matthias Grabmair
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2024.acl-long.13

A Survey of Corpora for Germanic Low-Resource Languages and Dialects

Autoren: Blaschke, Verena; Schütze, Hinrich; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: University of Tartu Library

Silver Syntax Pre-training for Cross-Domain Relation Extraction

Autoren: Bassignana, Elisa; Ginter, FIlip; Pyysalo, Sampo; van der Goot, Rob; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2305.11016

Slot and Intent Detection Resources for Bavarian and Lithuanian: Assessing Translations vs Natural Queries to Digital Assistants

Autoren: Miriam Winkler, Virginija Juozapaityte, Rob van der Goot, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: ELRA and ICCL

To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity

Autoren: Anastasiia Sedova, Robert Litschko, Diego Frassinelli, Benjamin Roth, Barbara Plank
Veröffentlicht in: Findings of the Association for Computational Linguistics: EMNLP 2024, 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2024.FINDINGS-EMNLP.1003

EEVEE: An Easy Annotation Tool for Natural Language Processing

Autoren: Sorensen, Axel; Peng, Siyao; Plank, Barbara; van der Goot, Rob
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics

Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning

Autoren: Philipp Mondorf, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2024.acl-long.508

Surgical, Cheap, and Flexible: Mitigating False Refusal in Language Models via Single Vector Ablation

Autoren: Xinpeng Wang, Chengzhi Hu, Paul Röttger, Barbara Plank
Herausgeber: ArXiv
DOI: 10.48550/ARXIV.2410.03415

Algorithmic Fidelity of Large Language Models in Generating Synthetic German Public Opinions: A Case Study

Autoren: Bolei Ma, Berk Yoztyurk, Anna-Carolina Haensch, Xinpeng Wang, Markus Herklotz, Frauke Kreuter, Barbara Plank, Matthias Aßenmacher
Veröffentlicht in: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.ACL-LONG.90

Experimental Standards for Deep Learning in Natural Language Processing Research

Autoren: Ulmer, Dennis; Bassignana, Elisa; Müller-Eberstein, Max; Varab, Daniel; Zhang, Mike; van der Goot, Rob; Hardmeier, Christian; Plank, Barbara
Veröffentlicht in: 2022
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2204.06251

What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability

Autoren: Giulianelli, Mario; Baan, Joris; Aziz, Wilker; Fernández, Raquel; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2023.emnlp-main.887

ACTOR: Active Learning with Annotator-specific Classification Heads to Embrace Human Label Variation

Autoren: Wang, Xinpeng; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2310.14979

Low-resource Bilingual Dialect Lexicon Induction with Large Language Models

Autoren: Artemova, Ekaterina; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: University of Tartu Library

To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity

Autoren: Anastasiia Sedova, Robert Litschko, Diego Frassinelli, Benjamin Roth, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2024.findings-emnlp.1003

NNOSE: Nearest Neighbor Occupational Skill Extraction

Autoren: Zhang, Mike; van der Goot, Rob; Kan, Min Yen; Plank, Barbara
Veröffentlicht in: Zhang , M , van der Goot , R , Kan , M Y & Plank , B 2024 , NNOSE : Nearest Neighbor Occupational Skill Extraction . in Y Graham , M Purver & M Purver (eds) , EACL 2024 - 18th Conference of the European Chapter of the Association for Computational Linguistics, Proceedings of the Conference . Association for Computational Linguistics, ACL Anthology , EACL 2024 - 18th Conference of the European Chapter of the Association for Computational Linguistics, Proceedings of the Conference , vol. 1 , pp. 589-608 , 18th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2024 , St. Julian�s , Malta , 17/03/2024 ., 2024
Herausgeber: Association for Computational Linguistics

Dialetto, ma Quanto Dialetto? Transcribing and Evaluating Dialects on a Continuum

Autoren: Ryan Soh-Eun Shim, Barbara Plank
Veröffentlicht in: Findings of the Association for Computational Linguistics: NAACL 2025, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.FINDINGS-NAACL.48

“Seeing the Big through the Small”: Can LLMs Approximate Human Judgment Distributions on NLI from a Few Explanations?

Autoren: Beiduo Chen, Xinpeng Wang, Siyao Peng, Robert Litschko, Anna Korhonen, Barbara Plank
Veröffentlicht in: Findings of the Association for Computational Linguistics: EMNLP 2024, 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2024.FINDINGS-EMNLP.842

Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training

Autoren: Müller-Eberstein, Max; van der Goot, Rob; Plank, Barbara; Titov, Ivan
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2310.16484

VariErr NLI: Separating Annotation Error from Human Label Variation

Autoren: Leon Weber-Genzel, Siyao Peng, Marie-Catherine De Marneffe, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/v1/2024.acl-long.123

ESCOXLM-R: Multilingual Taxonomy-driven Pre-training for the Job Market Domain

Autoren: Zhang, Mike; van der Goot, Rob; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2305.12092

JOBSKAPE: A Framework for Generating Synthetic Job Postings to Enhance Skill Matching

Autoren: Magron, Antoine; Dai, Anna; Zhang, Mike; Montariol, Syrielle; Bosselut, Antoine
Veröffentlicht in: Magron , A , Dai , A , Zhang , M , Montariol , S & Bosselut , A 2024 , JOBSKAPE : A Framework for Generating Synthetic Job Postings to Enhance Skill Matching . in E Hruschka , T Lake , N Otani & T Mitchell (eds) , NLP4HR 2024 - 1st Workshop on Natural Language Processing for Human Resources, Proceedings of the Workshop . Association for Computational Linguistics, ACL Anthology , NLP4HR 2024 - 1st Workshop on Natural Language Processing for Human Resources, Proceedings of the Workshop , pp. 43-58 , 1st Workshop on Natural Language Processing for Human Resources, NLP4HR 2024 , St. Julian's , Malta , 22/03/2024 ., 2024
Herausgeber: Association for Computational Linguistics

Mind the Uncertainty in Human Disagreement: Evaluating Discrepancies between Model Predictions and Human Responses in VQA

Autoren: Jian Lan, Diego Frassinelli, Barbara Plank
Herausgeber: ArXiv
DOI: 10.48550/ARXIV.2410.02773

Establishing Trustworthiness: Rethinking Tasks and Model Evaluation

Autoren: Litschko, Robert; Müller-Eberstein, Max; van der Goot, Rob; Weber-Genzel, Leon; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2310.05442

Aligning NLP Models with Target Population Perspectives using PAIR: Population-Aligned Instance Replication

Autoren: Stephanie Eckman, Bolei Ma, Christoph Kern, Rob Chew, Barbara Plank, Frauke Kreuter
Veröffentlicht in: Proceedings of the The 4th Workshop on Perspectivist Approaches to NLP, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.NLPERSPECTIVES-1.9

From Dissonance to Insights: Dissecting Disagreements in Rationale Construction for Case Outcome Classification

Autoren: Xu, Shanshan; T.y.s.s, Santosh; Ichim, Oana; Risini, Isabella; Plank, Barbara; Grabmaier, Matthias
Veröffentlicht in: 2023
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2310.11878

Interpreting Predictive Probabilities: Model Confidence or Human Label Variation?

Autoren: Joris Baan, Raquel Fernández, Barbara Plank, Wilker Aziz
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics

How to Encode Domain Information in Relation Classification

Autoren: Elisa Bassignana, Viggo Unmack Gascou, Frida Nøhr Laustsen, Gustav Kristensen, Marie Haahr Petersen, Rob van der Goot, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: ELRA and ICCL

Sebastian, Basti, Wastl?! Recognizing Named Entities in Bavarian Dialectal Data

Autoren: Siyao Peng, Zihang Sun, Huangyan Shan, Marie Kolm, Verena Blaschke, Ekaterina Artemova, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: ELRA and ICCL

LiTEx: A Linguistic Taxonomy of Explanations for Understanding Within-Label Variation in Natural Language Inference

Autoren: Pingjun Hong, Beiduo Chen, Siyao Peng, Marie-Catherine de Marneffe, Barbara Plank
Veröffentlicht in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.EMNLP-MAIN.1728

Different Tastes of Entities: Investigating Human Label Variation in Named Entity Annotations

Autoren: Peng, Siyao; Sun, Zihang; Loftus, Sebastian; Plank, Barbara
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics

Evaluating Pixel Language Models on Non-Standardized Languages

Autoren: Alberto Muñoz-Ortiz, Verena Blaschke, Barbara Plank
Herausgeber: Association for Computational Linguistics

CrossRE: A Cross-Domain Dataset for Relation Extraction

Autoren: Bassignana, Elisa; Plank, Barbara
Veröffentlicht in: 2022
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2210.09345

Improving Dialectal Slot and Intent Detection with Auxiliary Tasks: A Multi-Dialectal Bavarian Case Study

Autoren: Xaver Maria Krückl, Verena Blaschke, Barbara Plank
Herausgeber: Association for Computational Linguistics

Look at the Text: Instruction-Tuned Language Models are More Robust Multiple Choice Selectors than You Think

Autoren: Wang, Xinpeng; Hu, Chengzhi; Ma, Bolei; Röttger, Paul; Plank, Barbara
Veröffentlicht in: 2024
Herausgeber: Conference on Language Modeling

Threading the Needle: Reweaving Chain-of-Thought Reasoning to Explain Human Label Variation

Autoren: Beiduo Chen, Yang Janet Liu, Anna Korhonen, Barbara Plank
Veröffentlicht in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.EMNLP-MAIN.1682

What Media Frames Reveal About Stance: A Dataset and Study about Memes in Climate Change Discourse

Autoren: Shijia Zhou, Siyao Peng, Simon M. Luebke, Jörg Haßler, Mario Haim, Saif M. Mohammad, Barbara Plank
Veröffentlicht in: Findings of the Association for Computational Linguistics: EMNLP 2025, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.FINDINGS-EMNLP.286

A Rose by Any Other Name: LLM-Generated Explanations Are Good Proxies for Human Explanations to Collect Label Distributions on NLI

Autoren: Beiduo Chen, Siyao Peng, Anna Korhonen, Barbara Plank
Veröffentlicht in: Findings of the Association for Computational Linguistics: ACL 2025, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.FINDINGS-ACL.562

Probing LLMs for Multilingual Discourse Generalization Through a Unified Label Set

Autoren: Florian Eichin, Yang Janet Liu, Barbara Plank, Michael A. Hedderich
Veröffentlicht in: Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.ACL-LONG.915

Cross-Dialect Information Retrieval: Information Access in Low-Resource and High-Variance Languages

Autoren: Robert Litschko, Oliver Kraus, Verena Blaschke, Barbara Plank
Herausgeber: Association for Computational Linguistics

References Matter: Investigating the Impact of Reference Set Variation on Summarization Evaluation

Autoren: Silvia Casola, Yang Janet Liu, Siyao Peng, Oliver Kraus, Albert Gatt, Barbara Plank
Herausgeber: Association for Computational Linguistics

Refusal Direction is Universal Across Safety-Aligned Languages

Autoren: Xinpeng Wang, Mingyang Wang, Yihong Liu, Hinrich Schütze, Barbara Plank
Herausgeber: Curran Associates, Inc.
DOI: 10.48550/ARXIV.2505.17306

Entity Linking in the Job Market Domain

Autoren: Zhang, Mike; van der Goot, Rob; Plank, Barbara
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics

Rethinking Skill Extraction in the Job Market Domain using Large Language Models

Autoren: Nguyen, Khanh Cao; Zhang, Mike; Montariol, Syrielle; Bosselut, Antoine
Veröffentlicht in: Nguyen , K C , Zhang , M , Montariol , S & Bosselut , A 2024 , Rethinking Skill Extraction in the Job Market Domain using Large Language Models . in E Hruschka , T Lake , N Otani & T Mitchell (eds) , NLP4HR 2024 - 1st Workshop on Natural Language Processing for Human Resources, Proceedings of the Workshop . Association for Computational Linguistics, ACL Anthology , NLP4HR 2024 - 1st Workshop on Natural Language Processing for Human Resources, Proceedings of the Workshop , pp. 27-42 , 1st Workshop on Natural Language Processing for Human Resources, NLP4HR 2024 , St. Julian's , Malta , 22/03/2024 ., 2024
Herausgeber: Association for Computational Linguistics

Multi-CrossRE A Multi-Lingual Multi-Domain Dataset for Relation Extraction

Autoren: Bassignana, Elisa; Ginter, Filip; Pyysalo, Sampo; van der Goot, Rob; Plank, Barbara
Veröffentlicht in: 2023
Herausgeber: University of Tartu Library

M-ABSA: A Multilingual Dataset for Aspect-Based Sentiment Analysis

Autoren: ChengYan Wu, Bolei Ma, Yihong Liu, Zheyu Zhang, Ningyuan Deng, Yanshu Li, Baolan Chen, Yi Zhang, Yun Xue, Barbara Plank
Veröffentlicht in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.EMNLP-MAIN.128

Better Aligned with Survey Respondents or Training Data? Unveiling Political Leanings of LLMs on U.S. Supreme Court Cases

Autoren: Shanshan Xu, Santosh T.y.s.s, Yanai Elazar, Quirin Vogel, Barbara Plank, Matthias Grabmair
Veröffentlicht in: Proceedings of the First Workshop on Large Language Model Memorization (L2M2), 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.L2M2-1.16

Neural Text Normalization for Luxembourgish Using Real-Life Variation Data

Autoren: Anne-Marie Lutgen, Alistair Plum, Christoph Purschke, Barbara Plank
Herausgeber: Association for Computational Linguistics

More Labels or Cases? Assessing Label Variation in Natural Language Inference

Autoren: Cornelia Gruber, Katharina Hechinger, Matthias Assenmacher, Göran Kauermann, Barbara Plank
Veröffentlicht in: 2024
Herausgeber: Association for Computational Linguistics

Spectral Probing

Autoren: Müller-Eberstein, Max; van der Goot, Rob; Plank, Barbara
Veröffentlicht in: Müller-Eberstein , M , van der Goot , R & Plank , B 2022 , Spectral Probing . in Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing . Association for Computational Linguistics , Abu Dhabi, United Arab Emirates , pp. 7730-7741 ., 2022
Herausgeber: Association for Computational Linguistics
DOI: 10.48550/arxiv.2210.11860

RAcQUEt: Unveiling the Dangers of Overlooked Referential Ambiguity in Visual LLMs

Autoren: Alberto Testoni, Barbara Plank, Raquel Fernández
Veröffentlicht in: Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025
Herausgeber: Association for Computational Linguistics
DOI: 10.18653/V1/2025.EMNLP-MAIN.1206

Peer reviewed articles (1)

Using natural language processing to analyse text data in behavioural science

Autoren: Stefan Feuerriegel, Abdurahman Maarouf, Dominik Bär, Dominique Geissler, Jonas Schweisthal, Nicolas Pröllochs, Claire E. Robertson, Steve Rathje, Jochen Hartmann, Saif M. Mohammad, Oded Netzer, Alexandra A. Siegel, Barbara Plank, Jay J. Van Bavel
Veröffentlicht in: Nature Reviews Psychology, Ausgabe 4, 2025, ISSN 2731-0574
Herausgeber: Springer Science and Business Media LLC
DOI: 10.1038/S44159-024-00392-Z