Skip to main content

Designing and Enabling E-infrastructures for intensive Processing in a Hybrid DataCloud

Article Category

Article available in the folowing languages:

Les services en nuage soutiennent le développement d’applications d’apprentissage automatique

La programmation de logiciels ordinaires est complexe. Mais programmer des applications d’apprentissage automatique pour super-ordinateurs est tellement difficile que même les experts ont besoin d’aide.

Économie numérique

Les groupes de recherche européens espèrent de plus en plus pouvoir utiliser des services en nuage pour le traitement ou pour le stockage, ou pour une combinaison des deux. Mais cela nécessiterait normalement de gérer une configuration machine de bas niveau, un processus long et difficile qui exige du personnel spécialisé. Le projet DEEP-HybridDataCloud, financé par l’UE, propose une solution alternative. Alors que les autres services en nuage fournissent essentiellement un accès aux ressources matérielles, ce projet a développé des services de haut niveau facilitant les recherches. Ceux-ci comprennent des composants logiciels qui permettent le développement, l’exploitation et le partage d’applications de sciences des données intensives en calcul. Ces composants simplifient le cycle de vie de développement pour les applications intégrant l’intelligence artificielle, l’apprentissage automatique ou l’apprentissage profond. Les services prévoient également un accès transparent aux infrastructures électroniques de l’UE et des composants matériels spécialisés (tels que des accélérateurs), tout en dissimulant la complexité sous-jacente. Ce projet s’appuie sur les travaux d’un de ses prédécesseurs, INDIGO-DataCloud. Les retours des clients suite à cette initiative ont permis aux chercheurs de DEEP-HybridDataCloud de développer la technologie nécessaire pour satisfaire aux attentes des utilisateurs. «Nous exploitons le modèle de service en nuage hybride», explique Álvaro López García, coordinateur du projet, «afin de rassembler de manière fluide les ressources de différents fournisseurs de services en nuage à la fois publics et privés, avec l’objectif qu’elles puissent être exploitées de façon transparente pour les utilisateurs.»

Cibler différents types d’utilisateurs

L’équipe du projet a identifié trois types d’utilisateurs en fonction de leurs connaissances de la science, de l’apprentissage automatique et de la technologie. La première catégorie possède une bonne connaissance de son domaine d’étude, et son problème peut être résolu à l’aide de modèles de couches de nuage pour l’apprentissage automatique, auxquels le projet permet d’accéder. Ces utilisateurs interagissent avec un service de type boîte noire, uniquement pour accéder à la fonctionnalité nécessaire, et n’ont pas besoin de savoir comment les modèles sont exécutés. Un second groupe d’utilisateurs connait bien son domaine scientifique ainsi que l’apprentissage automatique. Il s’agira généralement d’experts en mégadonnées développant une application d’apprentissage profond. Ce groupe sait de quel matériel accélérateur il a besoin mais ne veut pas se soucier de l’obtenir ou de le configurer. Le projet propose à ces utilisateurs des outils au niveau plate-forme, avec lesquels ils peuvent spécifier leurs besoins matériels ou de formation. La dernière catégorie d’utilisateurs connait bien les trois domaines. Ils vont eux aussi développer des applications d’apprentissage automatique scientifiques, mais ils possèdent suffisamment d’atouts technologiques pour connaître leurs besoins en infrastructures. Le projet leur octroie donc un accès personnalisé à l’ensemble des fonctions en nuage.

Plusieurs applications scientifiques testées

Plusieurs groupes de recherche ont utilisé ces services avec succès. Les composants logiciels déjà développés sont disponibles sur le catalogue du projet: DEEP Open Catalog. Ils portent sur de nombreux domaines scientifiques, y compris la surveillance de la biodiversité et l’identification des espèces reposant sur la science participative ainsi que la reconnaissance des schémas connexes via les images satellites. Parmi les autres thèmes, citons la cybersécurité ainsi que le suivi et la détection des menaces sur les réseaux, des modules de test du cadre DEEP et des composants polyvalents. «Notre résultat final majeur est l’inclusion de nos services dans le portail du nuage européen pour la science ouverte, EOSC», ajoute Álvaro López García, «cela nous a permis de devenir le fournisseur de services d’apprentissage automatique de l’EOSC.» L’équipe continuera à soutenir les services existants, tout en développant les nouvelles fonctionnalités attendues par les utilisateurs, et à rechercher des opportunités commerciales. Les travaux en cours faciliteront le développement d’applications d’apprentissage automatique qui soutiendront la recherche scientifique européenne.

Mots‑clés

DEEP-HybridDataCloud, apprentissage automatique, applications, scientifique, service en nuage, hybride, experts en mégadonnées, nuage européen pour la science ouverte

Découvrir d’autres articles du même domaine d’application