El equipo de Sistemas Cognitivos del centro tecnológico Itainnova ha presentado en Dublín (Irlanda) una plataforma que integra el diseño, desarrollo y despliegue de modelos de datos analíticos con motivo de la celebración del XI Spark Summit Europe.

El evento irlandés es, junto con el celebrado en Estados Unidos, representa uno de los encuentros más importantes entre investigadores, empresas y expertos de Spark, informa el ejecutivo aragonés.

Se trata de un conjunto de tecnologías open source que permiten el desarrollo y despliegue de aplicaciones Big Data utilizando sus capacidades de computación distribuida.

Bajo el título 'Hiding Apache Spark Complexity for Fast Prototyping of Big Data Applications', Rosa Montañés y Francisco José Lacueva, han presentado Moriarty, una plataforma que integra el diseño, desarrollo y despliegue de modelos de datos analíticos.

En concreto, han hablado de everisMoriarty (eM), una versión desarrollada junto con la empresa everis dentro del marco de colaboración establecido entre el Instituto y la consultora con sede y raíces en Zaragoza.

eM es el resultado de más de 10 años de trabajo en el Instituto Tecnológico de Aragón cuyo objetivo inicial fue facilitar la reutilización de componentes software desarrollados en proyectos concretos.

En la actualidad, eM favorece el desarrollo ágil de aplicaciones de Inteligencia Artificial en entornos multidisciplinares, facilitando la comunicación entre los desarrolladores software y los científicos de datos en el desarrollo de aplicaciones de Big Data.

eM provee un interfaz web que facilita el desarrollo de modelos de datos analíticos. El interfaz facilita la integración de los más de 100 WorkItems(WI), las unidades básicas de computación, en Workflows(WF) que implementan los modelos analíticos creados por los científicos de datos.

Los WIs pueden desarrollarse en Java (preferido por los desarrolladores) o Python (preferido por los científicos de datos) e implementan funcionalidades que abstraen las dificultades técnicas de acceder a los datos, el uso de funcionalidades de terceros, los detalles de bajo nivel requeridos para la implementación de algoritmos de IA, como algoritmos de Machine Learning, Deep Learning o Procesado del Lenguaje Natural entre otros, e incluso el uso de streaming de datos.

eM puede desplegarse en infraestructuras físicas, los servidores de un cliente, o virtuales, en infraestructuras en la nube (como las provistas por el Bifi, Amazon o Azure).

Esto permite que eM pueda escalar verticalmente para cubrir sus necesidades de cálculo. Sin embargo, esta escalabilidad es limitada, y en un momento dado no permitió cubrir las necesidades de cálculo requeridas en algunos proyectos.

Para solventarlo, se desarrollaron una serie de funcionalidades que permiten integrar y desplegar Moriarty en entornos Apache Spark permitiendo aprovechar las capacidades de distribución de computación y de escalado horizontal que este tipo de herramientas proveen, mejorando sustancialmente la prestaciones y resultados obtenidos.