Optimiser l'informatique dématérialisée
Les utilisateurs d'ordinateurs doivent de plus en plus trouver comment stocker de très grandes quantités de données. Ils peuvent certes utiliser de plus gros disques durs, mais de plus en plus ils se tournent vers le stockage sur un site extérieur, spécialisé. En à peine quelques années, les entreprises ont ainsi délaissé le matériel pour ce genre de services sur le nuage. L'avènement des infrastructures dématérialisées a aussi permis d'analyser de très gros ensembles de données, grâce à un traitement parallèle intégré au nouvel environnement virtuel. Le projet CLOUDIX(s’ouvre dans une nouvelle fenêtre) («Cloud-based indexing and query processing») a ainsi utilisé MapReduce pour générer et traiter de gros ensembles de données. Les recherches de pointe conduites pendant ses deux années ont notablement amélioré les performances de MapReduce. MapReduce est un modèle de programmation très utilisé pour certains calculs spécialisés impliquant de grandes quantités de données, comme les journaux de requêtes en ligne. Il sert aussi pour générer divers types de données, comme les index inversés. Une fonction «map» est appliquée à chaque enregistrement logique pour calculer un ensemble de clés intermédiaires. Ensuite, un processus «reduce» identifie toutes les valeurs qui partagent la même clé, afin d'associer adéquatement les données dérivées. Les chercheurs de CLOUDIX ont proposé des méthodes permettant d'accéder à un sous-ensemble des données d'entrée, au lieu d'en balayer la totalité. En fait, leurs algorithmes arrêtent le traitement lorsqu'ils ont utilisé assez de données pour produire un résultat correct. Les chercheurs ont aussi commencé à intégrer des méthodes efficaces de classement pour trier les résultats en fonction de leur pertinence. Durant le projet, les scientifiques ont associé diverses approches pour régler les limitations du principal cadre de traitement parallèle des requêtes en informatique dématérialisée. Il apporte aussi l'évolutivité, la tolérance de panne, l'équilibrage de la charge, et, le plus important, la simplicité. Les résultats de CLOUDIX ont été publiés dans des revues révisées par des pairs. Ils devraient aider les scientifiques et les professionnels à économiser des heures de travail lors de l'analyse de gros ensembles de données.
