Logic-Driven Efficient Computing and Analysis of Deep Neural Networks on Hardware

Description du projet

Passer d’approches basées sur le calcul à des approches basées sur la logique pour les réseaux de neurones profonds

Les systèmes d’intelligence artificielle alimentés par des réseaux de neurones profonds (DNN) sont confrontés à deux défis majeurs: une consommation d’énergie élevée et une transparence limitée dans la prise de décision. Les méthodes actuelles se concentrent sur l’accélération des calculs plutôt que sur la compréhension du fonctionnement interne des DNN. Le projet LogiNet, financé par le CER, concentrera ses recherches sur les fonctions logiques des DNN plutôt que sur les méthodes de calcul traditionnelles. Le projet intégrera directement des poids pré-entraînés dans les circuits des opérations MAC de manière à réduire les déplacements de données et la complexité de calcul. LogiNet explore l’analyse des propriétés des DNN telles que la fiabilité du matériel et l’équité dans la prise de décision à l’aide d’expressions de haut niveau. La recherche ouvre la voie à des systèmes d’IA économes en énergie et renforce la confiance dans leur prise de décision, ce qui profite à divers applications allant des dispositifs périphériques aux grands centres de données.

Objectif

Deep neural networks (DNNs) have achieved great breakthroughs in many fields. However, DNNs require massive multiply-accumulate (MAC) operations and their execution on digital hardware causes formidable energy consumption. State-of-the-art solutions are still focusing on simply accelerating MAC operations in DNNs instead of examining their actual logic functions after training. The blind execution of massive MAC operations in inference, however, poses critical risks to performance and energy sustainability of AI systems. It also misses the opportunity of examining internal decision-making processes of DNNs for their verification in reliability-critical systems. To address these challenges, LogiNet explores a new perspective to study the execution of DNNs on hardware with their logic representations and high-level expressions, thus opening a new door for design methodologies to realize high-performance and low-energy DNN computing for a wide range of scenarios from edge devices to data centers. The high-level expressions of DNNs can also be used to analyze the properties of DNNs and thus contribute to the understanding of their actual functions. Specifically, LogiNet extracts logic representations of DNNs by embedding pretrained weights into the circuits of MAC operations to reduce data movement and computational complexity. This also constructs a bridge between MAC operations and their high-level expressions, which can be compiled and executed by CPUs and thus enable a flexible scheduling of DNN operations in modern heterogeneous computing systems. Furthermore, LogiNet explores the analysis of DNN properties such as hardware reliability and fairness in decision-making using high-level expressions. In short, LogiNet not only develops new solutions for green AI to benefit economy and environment but also lays the foundation for new directions such as logic-based DNN validation in the era of large-scale models that have started to influence our society fundamentally.