Opis projektu
Uzasadnianie decyzji podejmowanych przez systemy SI
Zautomatyzowane systemy decyzyjne bardzo często wykorzystują algorytmy sztucznej inteligencji działające na zasadzie czarnej skrzynki, a także technologie uczenia maszynowego. Tego rodzaju systemy pozwalają na łatwą obsługę dużych ilości danych oraz szybkie podejmowanie decyzji, jednak wybory podejmowane przez algorytmy mogą być stronnicze ze względu na informacje zawarte wśród przetworzonych danych, a podejmowane przez nie decyzje mogą być niesprawiedliwe. Co więcej, ich wybory są niemożliwe do wyjaśnienia i całkowicie nieprzejrzyste, co odbiera klientom prawo do uzyskania powodu podjęcia danej decyzji. Celem finansowanego przez Unię Europejską projektu XAI jest opracowanie rozwiązań pozwalających na uzyskiwanie wyjaśnień decyzji podejmowanych przez algorytmy sztucznej inteligencji/uczenia maszynowego. Realizowane w ramach projektu badania skupiają się na sposobach uwzględnienia przejrzystości w modelach uczenia maszynowego, tworzenia wyjaśnień decyzji podejmowanych przez czarne skrzynki, ujawniania algorytmów oraz danych wykorzystanych w procesie, a także na problemie niesprawiedliwości i związkach przyczynowo-skutkowych występujących w procesach. W ramach projektu zostaną również sformułowane normy etyczne oraz prawne dotyczące SI.
Cel
A wealthy friend of mine asks for a vacation credit card to his bank, to discover that the credit he is offered is very low. The bank teller cannot explain why. My stubborn friend continues his quest for explanation up to the bank executives, to discover that an algorithm lowered his credit score. Why? After a long investigation, it turns out that the reason is: bad credit by the former owner of my friend’s house.
Black box AI systems for automated decision making, often based on ML over (big) data, map a user’s features into a class or a score without explaining why. This is problematic for lack of transparency, but also for possible biases inherited by the algorithms from human prejudices and collection artefacts hidden in the training data, which may lead to unfair or wrong decisions.
I strive for solutions of the urgent challenge of how to construct meaningful explanations of opaque AI/ML systems, introducing the local-to-global framework for black box explanation, articulated along 3 lines: a) the language for explanations in terms of expressive logic rules, with statistical and causal interpretation; b) the inference of local explanations for revealing the decision rationale for a specific case; c), the bottom-up generalization of many local explanations into simple global ones. An intertwined line of research will investigate both causal explanations, i.e. models that capture the causal relationships among the features and the decision, and mechanistic/physical models of complex system physics, that capture the data generation mechanism behind specific deep learning models.
I will also develop: an infrastructure for benchmarking, for the users' assessment of the explanations and the crowdsensing of observational decision data; an ethical-legal framework, for compliance and impact of our results on legal standards and on the “right of explanation” provisions of the GDPR; case studies in explanation-by-design, with a priority in health and fraud detection.
Dziedzina nauki
Słowa kluczowe
Program(-y)
Temat(-y)
System finansowania
ERC-ADG - Advanced GrantInstytucja przyjmująca
56126 Pisa
Włochy