Opis projektu
Cyberbezpieczeństwo i budowa zabezpieczeń przed atakami opartymi na sztucznej inteligencji
Bezpieczeństwo systemów cyfrowych jest niezwykle ważne, jednak cały czas istnieje zagrożenie kolejnymi atakami. Jednym ze sposobów poprawy cyberbezpieczeństwa jest przewidywanie, w jaki sposób hakerzy mogą wykorzystywać nowe technologie w celu włamywania się do istniejących systemów. Dotychczas niewiele wiadomo o sposobach, w jakie cyberprzestępcy mogą wykorzystać rozwijającą się dziedzinę uczenia maszynowego. Finansowany przez Europejską Radę ds. Badań Naukowych projekt MALFOY ma na celu określenie, w jaki sposób algorytmy uczenia maszynowego mogą być wykorzystywane w celu odkrywania słabych punktów zabezpieczeń i automatycznego przeprowadzania ataków na systemy komputerowe. Dzięki wejściu w rolę napastników w celu zbadania ofensywnych technik bezpieczeństwa zespół projektu będzie mógł skonstruować skuteczne mechanizmy obronne.
Cel
Despite a long series of research, computer attacks still pose a major threat to the security of digital systems. Different malicious actors, such as cybercriminals and intelligence agencies, continuously develop new offensive techniques to evade and outsmart existing defenses. As a result, security research is in a constant arms race and needs to anticipate novel developments as early as possible. However, one of the key technologies of the last years, machine learning, has received very little attention in offensive security so far. The simple question — ''how would a hacker use machine learning?'' — is largely unexplored and there is a striking gap in current research that hinders the anticipation of forthcoming threats. The project Malfoy closes this gap and systematically explores how machine learning can be applied for offensive computer security. By adopting the position of an adversary, we investigate how learning algorithms can be used to find security flaws, generate exploits, and construct computer attacks. To this end, we combine offensive security techniques with modern concepts for discriminative, generative, and reinforcement learning. Our goal is to assess how these techniques can interface with each other and improve their performance through learning. Based on this analysis, we become able to devise completely novel defenses that account for the presence of machine learning in the toolchain of attackers. Despite its offensive nature, the project thus strengthens computer security: First, it explores an uncharted area of research and hence will substantially expand our knowledge about modern computer attacks. Second, the project gives rise to novel and disruptive protection mechanisms, which enable us to move one step ahead of attack development. Finally, the project links two disconnected areas (offensive security and machine learning) and thereby establishes a new branch of joint research.
Dziedzina nauki
Program(-y)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Temat(-y)
System finansowania
ERC - Support for frontier research (ERC)Instytucja przyjmująca
10623 Berlin
Niemcy