Human collaboration with AI agents in national health governance: organizational circumstances under which data analysts and medical experts follow or deviate from AI.

Description du projet

Pour des algorithmes équitables dans les soins de santé nationaux

Si les avantages potentiels de l’utilisation des mégadonnées, des algorithmes et de l’intelligence artificielle (IA) dans la gouvernance nationale de la santé peuvent être importants, des préoccupations d’ordre éthique ont été soulevées. Les recherches existantes se sont généralement concentrées sur des perspectives juridiques ou théoriques plutôt que sur les contextes socioculturels dans lesquels ces systèmes sont développés et utilisés. Financé par le Conseil européen de la recherche, le projet Health-AI examinera les processus décisionnels des personnes travaillant avec l’IA, dans six contextes nationaux différents, afin de mieux comprendre quand et pourquoi les humains adoptent l’IA ou résistent à son utilisation. En utilisant des méthodes anthropologiques innovantes, le projet vise à développer une théorie sur les facteurs qui déterminent l’utilisation éthique de l’IA dans les soins de santé. La recherche mettra également en relation les connaissances anthropologiques avec l’expertise des développeurs d’IA, des décideurs en matière de santé et des institutions politiques afin de faire progresser le développement d’une IA équitable.

Objectif

This project will study a multi-sited ethnography of a currently evolving revolution in global health systems: big data/AI-informed national health governance. With health data being considered countries’ ‘future oil’, public and scholarly concerns about ‘algorithmic ethics’ rise. Research has long shown that datasets in AI (re)produce social biases, discriminate and limit personal autonomy. This literature, however, has merely focused on AI design and institutional frameworks, examining the subject through legal, technocratic and philosophical perspectives, whilst overlooking the socio-cultural context in which big data and AI systems are embedded, most particularly organizations in which human agents collaborate with AI. This is problematic, as frameworks for ‘ethical AI’ currently consider human oversight crucial, assuming that humans will correct or resist AI when needed; while empirical evidence for this assumption is extremely thin. Very little is known about when and why people intervene or resist AI. Research done consists of single, mostly Western studies, making it impossible to generalize findings. The innovative force of our research is fourfold: 1) To empirically analyze decisive moments in which data-analysts follow or deviate AI: moments deeply impacting national health policies and individual human lives. 2) To do research in six national settings with various governmental frameworks and in different organizational contexts, enabling us to contrast findings, eventually leading to a theory on the contextual, organizational factors underlying ethical AI. 3) To use innovative anthropological methods of future-scenarioing, which will enrich the anthropological discipline by developing and finetuning future-focused research. 4) The research connects anthropological insights with the expertise of AI-developers, and partners with relevant health decisionmakers and policy-institutions, allowing to both analyze and contribute to fair AI.