Description du projet
Quand un logiciel en supervise un autre
À l’heure de l’informatique en nuage et des systèmes cyber-physiques tels que la conduite assistée par ordinateur, la complexité des logiciels croît plus vite que le taux d’amélioration des techniques d’assurance de la qualité correspondantes. Le projet VAMOS, financé par le CER, développera un logiciel de surveillance destiné à identifier les vulnérabilités, les erreurs et les décisions inéquitables potentielles dans l’environnement d’exécution. Plus précisément, le projet développera une ressource quantitative et une théorie d’approximation pour la surveillance des logiciels qui permet de faire des compromis entre le coût et la précision. Ses moniteurs seront par exemple capables de suivre la sécurité des systèmes ainsi que l’équité des algorithmes, les politiques de sécurité et les propriétés statistiques des logiciels. Une attention particulière sera accordée à la surveillance automatisée des logiciels difficiles à vérifier, tels que les calculs effectués par les réseaux neuronaux.
Objectif
We propose a theoretical basis and systems support needed to turn algorithmic monitoring from a runtime tool in the arsenal of formal methods into a pervasive and trusted engineering paradigm for the deployment of software. The ever-growing number of computational resources (many-core processors, data centers) allows software algorithms–decision makers–to be paired up with software monitors–decision checkers–where each monitor watches an algorithm in real time and provides warnings or intervenes when anything undesirable is observed. In order to be trusted, monitors are designed and linked independently of the monitored software. Monitoring is fundamentally a “best-effort” endeavor: it does not require complete specifications, nor perfect accuracy, but its widespread adoption requires a theory for the analysis of cost-precision trade-offs. Compared to the mature theories of computability and complexity (what can be computed? at what cost?), the theory of monitorability (what can be monitored, at what precision and cost?) is underdeveloped. We develop a quantitative, fine-grained resource and approximation theory for monitoring which supports the synthesis of monitors with desired cost-precision profiles. Our monitors can track the safety of systems as well as the fairness of algorithms (i.e. the absence of bias), security policies, and statistical properties of software. In addition, we facilitate the engineering paradigm of algorithmic monitoring by implementing systems support for the automated monitoring of software that is difficult to verify, such as algorithms that rely on neural networks, computations that happen in the cloud, and electronic systems that interface with the physical world (e.g. software for controlling medical and transportation devices). In all of these domains, the systematic and independent monitoring of critical requirements and sensitive statistics will significantly enhance trust in algorithmic decisions and digital systems.
Champ scientifique (EuroSciVoc)
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: https://op.europa.eu/en/web/eu-vocabularies/euroscivoc.
CORDIS classe les projets avec EuroSciVoc, une taxonomie multilingue des domaines scientifiques, grâce à un processus semi-automatique basé sur des techniques TLN. Voir: https://op.europa.eu/en/web/eu-vocabularies/euroscivoc.
Vous devez vous identifier ou vous inscrire pour utiliser cette fonction
Mots‑clés
Programme(s)
Thème(s)
Appel à propositions
(s’ouvre dans une nouvelle fenêtre) ERC-2020-ADG
Voir d’autres projets de cet appelRégime de financement
ERC-ADG - Advanced GrantInstitution d’accueil
3400 Klosterneuburg
Autriche