Descripción del proyecto
Cuando el «software» supervisa el «software»
En una época de computación en nube y sistemas ciberfísicos como la conducción asistida por ordenador, la complejidad del «software» aumenta con mayor rapidez que el ritmo de mejora de las técnicas de control de calidad asociadas. El proyecto financiado por el Consejo Europeo de Investigación VAMOS desarrollará «software» de supervisión para identificar posibles vulnerabilidades, errores y decisiones injustas en el tiempo de ejecución. En concreto, el equipo del proyecto desarrollará un recurso cuantitativo y una teoría de aproximación para la supervisión de «software» que permita alcanzar un compromiso entre costes y precisión. Por ejemplo, sus monitores podrán efectuar el seguimiento de la seguridad de los sistemas, así como de la equidad de los algoritmos, las políticas de seguridad y las propiedades estadísticas del «software». Se prestará especial atención a la supervisión automatizada del «software» que es difícil de verificar, como los cálculos realizados por redes neuronales.
Objetivo
We propose a theoretical basis and systems support needed to turn algorithmic monitoring from a runtime tool in the arsenal of formal methods into a pervasive and trusted engineering paradigm for the deployment of software. The ever-growing number of computational resources (many-core processors, data centers) allows software algorithms–decision makers–to be paired up with software monitors–decision checkers–where each monitor watches an algorithm in real time and provides warnings or intervenes when anything undesirable is observed. In order to be trusted, monitors are designed and linked independently of the monitored software. Monitoring is fundamentally a “best-effort” endeavor: it does not require complete specifications, nor perfect accuracy, but its widespread adoption requires a theory for the analysis of cost-precision trade-offs. Compared to the mature theories of computability and complexity (what can be computed? at what cost?), the theory of monitorability (what can be monitored, at what precision and cost?) is underdeveloped. We develop a quantitative, fine-grained resource and approximation theory for monitoring which supports the synthesis of monitors with desired cost-precision profiles. Our monitors can track the safety of systems as well as the fairness of algorithms (i.e. the absence of bias), security policies, and statistical properties of software. In addition, we facilitate the engineering paradigm of algorithmic monitoring by implementing systems support for the automated monitoring of software that is difficult to verify, such as algorithms that rely on neural networks, computations that happen in the cloud, and electronic systems that interface with the physical world (e.g. software for controlling medical and transportation devices). In all of these domains, the systematic and independent monitoring of critical requirements and sensitive statistics will significantly enhance trust in algorithmic decisions and digital systems.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural.
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural.
Para utilizar esta función, debe iniciar sesión o registrarse
Palabras clave
Programa(s)
Régimen de financiación
ERC-ADG - Advanced GrantInstitución de acogida
3400 Klosterneuburg
Austria