CORDIS - Resultados de investigaciones de la UE
CORDIS

Serverless Data Analytics Platform

Article Category

Article available in the following languages:

Democratizar los datos masivos con una nueva plataforma de informática en la nube

Desarrollar código para aplicaciones de análisis de datos masivos en la nube resulta complejo y caro, por eso CloudButton ha creado una plataforma sin servidor de amplia capacidad, que asigna los recursos informáticos en función de la demanda.

Economía digital icon Economía digital

Las plataformas de análisis de datos sin servidor permiten a los usuarios realizar el procesamiento de datos masivos, sin necesidad de tener conocimientos de programación en la nube. Son ampliables y ofrecen recursos informáticos y de almacenamiento masivos para el procesamiento paralelo de terabytes de datos, a diferencia de la capacidad limitada de los grupos de informática de alto rendimiento (HPC, por sus siglas en inglés). También son de pago por uso, ya que los usuarios solo pagan por los recursos utilizados, facturados en milisegundos, sin necesidad del apoyo informático experto que requieren los grupos de HPC. «Básicamente, la tecnología sin servidor puede democratizar el análisis de datos masivos; cualquier persona con un portátil y una conexión wifi puede aprovechar recursos informáticos casi infinitos», explica el coordinador del proyecto CloudButton Pedro García López, de la Universidad Rovira i Virgili (URV), entidad anfitriona del proyecto. El equipo de CloudButton ha creado Lithops, una plataforma que funciona con el mismo código no modificado en diferentes proveedores de la nube, lo cual evita que los usuarios queden bloqueados en un único proveedor. El socio del proyecto, IBM, ya comercializa Lithops entre sus clientes, y dos empresas derivadas de proyectos biotecnológicos adoptarán Lithops. SpaceM del Laboratorio Europeo de Biología Molecular (LEBM), destinado al descubrimiento de fármacos, y la nube DATOMA de la URV (prevista para 2023), que ofrecerá servicios informáticos en la nube para los datos ómicos, ya están en fase de incubación.

Pruebas de la herramienta

El equipo de CloudButton demostró el potencial de Lithops con enormes volúmenes de datos a partir de tres fuentes: genómica, metabolómica y geoespacial. Los datos genómicos incluían texto comprimido, mientras que los metabolómicos (el estudio de las moléculas) y los geoespaciales comprendían imágenes de gran tamaño. Para la labor de metabolómica, en el LEBM, se trasladó una plataforma basada en la nube denominada METASPACE, un proyecto anterior de la Unión Europea (UE), para que funcionara en Lithops. «Demostramos terabytes de datos metabolómicos procesados de forma eficiente en un entorno de producción, al cual acceden cientos de usuarios de todo el mundo, incluso el personal de organizaciones como AstraZeneca», añade López. En colaboración con el socio del proyecto, el Instituto James Hutton, el equipo demostró que Lithops podía mejorar el rendimiento del procesamiento de datos genómicos a un coste reducido, en comparación con la ejecución de los mismos análisis mediante un grupo de HPC. «Ejecutamos un procedimiento analítico denominado Variant Call, con un gran conjunto de datos tanto en Lithops como en Illumina, una alternativa comercial. Superamos en gran medida los treinta minutos que tardó Illumina, en comparación con nuestros tres minutos», afirma López. Lithops mostró las mismas ventajas al procesar datos geoespaciales, frente a la ejecución del mismo código en un entorno de HPC. Asimismo, Lithops ofrece soporte a una amplia gama de tipos de datos genómicos, metabolómicos y geoespaciales. También ofrece un marco MapReduce, optimizado para procesar datos masivos en paralelo. A fin de ampliar la disponibilidad del sistema, el equipo ha desarrollado el conjunto de herramientas CloudButton, una serie de recursos de código abierto para ayudar a los usuarios a migrar sus aplicaciones a la nube en diferentes lenguajes de programación como Python, Java o C++.

Crecimiento instantáneo

La informática en la nube es una parte fundamental de la estrategia de digitalización de la UE y repercutirá en muchas aplicaciones de la vida diaria. La metodología de CloudButton podría ayudar a simplificar esta transición de forma rentable. «Las pymes o los investigadores que no pueden permitirse sus propios grupos o expertos en la nube para ejecutar el código, pueden aprovechar de forma barata miles de ordenadores paralelos que analizan gigabytes de datos. Con nuestro sistema, que oculta la red distribuida de fondo, los usuarios solo tienen que conectarse y usarlo», concluye López. Probablemente, las ventajas se notarán sobre todo en ámbitos como la biotecnología y la agrotecnología. El conjunto de herramientas de CloudButton podría ayudar a las empresas de biotecnología a diseñar nuevos medicamentos, mientras que las empresas emergentes de agrotecnología podrían aprovechar los análisis geoespaciales de datos del satélite Sentinel 2, por ejemplo, para la gestión del agua. Lithops también será una tecnología clave en tres futuros proyectos financiado con fondos europeos: NEARDATA (datos ómicos extremos), CloudSkin (computación en el borde) y EXTRACT (datos geoespaciales extremos), asegurando así su desarrollo continuo.

Palabras clave

CloudButton, datos masivos, informática en la nube, genómica, geoespacial, metabolómica, código, programación, HPC

Descubra otros artículos del mismo campo de aplicación