En la actualidad, la recogida y el tratamiento de un gran número de datos permite tener una visión clara del mercado. A través del Big Data, las empresas comprenden mejor el comportamiento de sus clientes, optimizan sus procesos de negocio y anticipan las tendencias, tomando acciones proactivas.
Os contamos cómo estamos trabajando en hacer que Ferrovial, una de las principales compañías del sector de las infraestructuras y transporte, sea más inteligente en sus procesos. Y cómo hemos puesto en marcha una plataforma de información normalizada para todas las concesionarias que se han sumado al proyecto.
Conseguimos que la información sobre el tráfico de determinadas autopistas españolas llegue en tiempo real para poder realizar cálculos mucho más precisos.
Ferrovial tenía varias necesidades al poner en marcha este proyecto con nuestro equipo de Data&Analytics:
- Normalizar la información de todas las autopistas. Tanto los datos como las métricas, en este caso, el IMD, el cálculo con el que determinan su rentabilidad.
- Que cualquier persona de la organización pudiera disponer de cualquier dato en cualquier momento.
- Los datos, una vez generados en origen, deben estar disponibles a toda la organización. Esto es una disposición del dato en tiempo real.
- Definición de una jerarquía del dato, ya que, entre las concesionarias, por lo general, no deben compartir la información a este nivel.
- Eliminar los diferentes orígenes de información. Diferentes formatos, diferentes orígenes y diferentes concesionarias crean un entorno de difícil gestión y confusión en el caso dese produzca un descuadre de los datos.
- Que los datos sean veraces.
- Que la información esté securizada.
- Predecir información faltante de los dispositivos de aforo de la concesionaria, ya que son dispositivos que pueden tener fallos, pero donde el dato es necesario para los análisis.
EL RETO
¿Cómo podíamos normalizar la información proveniente de diferentes sistemas, con diferentes criterios de organización de los datos y cumplir los requisitos organizativos? ¿Podíamos obtener la información requerida de todos esos sistemas en tiempo real, en un entorno tolerante a fallos, validando al mismo tiempo que la información recibida era correcta?
LA SOLUCIÓN
La decisión sobre la solución a implementar vino empujada por la disponibilidad del cliente. El equipo de Ferrovial quería implementar una solución en Microsoft Azure, ya que es el producto corporativo y se inclinaban por utilizar el servicio Databricks, que por experiencias pasadas había sido con el que habían quedado más satisfechos.
Y con esos “ingredientes”, se cocinó la plataforma de tráficos, basada en una suscripción de Azure, con una batería de Eventhubs que reciben los datos de los sistemas de origen.
CÓMO LO HEMOS HECHO
Sesiones design thinking para crear un roadmap de datos
El proyecto comenzó con unas sesiones de “design thinking” donde estaban representadas dos de las concesionarias más importantes del grupo, la gestora del negocio y nuestro equipo de Data&Analytics, con el fin de analizar el caso de negocio, la problemática y los objetivos, primero particulares y finalmente compartidos
En un artículo anterior os explicábamos cómo habíamos adaptado la metodología Design Thinking en un Sprint 0 para crear un Roadmap de Datos. Design Thinking es una herramienta de diseño de soluciones, de co-creación y prototipado en la que implicamos directamente al cliente, de esa forma podremos validar nuestras nuevas ideas y propuestas más rápidamente que con un proceso unidireccional. En este proyecto propusimos una serie de dinámicas (prácticas) que nos permitieron definir un Roadmap de integración de datos en solo 2 sesiones. Entremos en detalle en estas dinámicas.
Analizando los datos y la estructura de la información
Una vez fijados los objetivos, se inició un proceso de obtención del conocimiento del negocio y de análisis de los datos disponibles. La arquitectura, el modelo de datos normalizado y la metodología de desarrollo vino luego.
Esta primera parte o fase de lanzamiento ocupó 2 meses de intenso trabajo con el «product owner», con los arquitectos de infraestructura de Azure y las propias concesionarias de las autopistas. A partir de ese momento, entramos en la parte más cíclica del desarrollo para cada una de las concesionarias y cada uno de los orígenes de datos que se han ido incorporando a la plataforma de tráficos.
Una parte del desarrollo se realiza en los sistemas de origen. El análisis de la estructura de la información, el reconocimiento del entorno, sus sistemas, con el fin de adaptarnos a él, y la creación de unos servicios que ejecuten el envío de los datos a los Eventhub en la nube de Azure. Estos sistemas disponen de inteligencia para poder recuperarse en casos de interrupción del servicio, bien sea por un motivo de fuerza bruta o por un motivo de perdida de flujo temporal.
Ahora, con los datos en un Blob Storage Gen V2 de Azure se implementan en Databricks procesos ELT (extract, load and transform) necesarios para traducir y normalizar la información.
Los orígenes de datos que necesitan de procesos predictivos para suplir datos perdidos se implementan en Databricks con MlFlow. Primero se entrena el modelo y luego, este, se explota en el proceso.
En este punto ya disponemos de los datos para que PowerBI, Tableau o cualquier otro sistema de análisis, pueda explotar y analizar la información. Podemos consultar en tiempo real el tráfico, las métricas como el IMD o cualquier otra sectorización de la información. Aquí es donde entra el científico de datos.
Personalizaciones necesarias para las concesionarias
También, algunas concesionarias, nos piden algún tipo de personalización, como es el envío datos a alguna lista de correo, el cálculo de algunas métricas particulares… o algún informe para intentar analizar la influencia del COVID en el tráfico y viceversa.
Siempre enmarcados bajo una metodología ágil, como es scrum, con el fin de detectar desviaciones, bloqueos o nuevos requerimientos lo antes posible. Implicando, por supuesto a desarrollo, a las concesionarias y al gestor del negocio.
Nuestro equipo de desarrollo, en colaboración con el «product owner» y los diferentes “stakeholders” (TI & negocio), ha incorporado a la plataforma concesionarias de diferentes países, con diferentes tipologías de datos y métricas diferentes… en tiempo «record» gracias a la metodología empleada y al conocimiento del negocio. En algo más de 10 meses de desarrollo, se consiguió este objetivo.
Por otro lado, nuestro equipo de visualización, en colaboración con Cintra, ha diseñado cuadros de mando en PowerBI con los que analizar los datos de tránsitos, diferentes métricas de negocio, entre ellas el IMD, medios de pago, tipos de vehículos y aforadores. Tanto de históricos como en tiempo real.
Metodología SCRUM
Scrum nos ha permitido mantener una estrecha relación con el cliente, conocer el negocio y adaptarnos a las situaciones inesperadas que nos hemos ido encontrando.
La solución aplicada se ha integrado perfectamente con los sistemas de Ferrovial, que ya que disponía de un entorno cloud de Azure al que los usuarios estaban habituados y un servicio de Databricks que genera los datos en un almacenamiento Gen V2 al que es accesible desde infinidad de herramientas, como PowerBI, herramienta corporativa para el diseño de las visualizaciones.
Esta relación continua, y gracias a nuestro equipo de expertos en arquitectura Azure, nos ha permitido sugerir mejoras en la implementación de recursos, en el dimensionamiento de los servicios y en la configuración de las alertas.
Resultados
Hiberus ha puesto en marcha una plataforma de información normalizada para todas las concesionarias que se han sumado al proyecto y, sobre todo, para Cintra, donde consultar y analizar la información de los tránsitos, desde los datos históricos, hasta los datos que se están generando en ese mismo momento.
Cintra puede disponer de la información de todas las concesionarias, con los tránsitos o las métricas del IMD en un único documento. Saber que está pasando en las autopistas en el mismo momento y compararlo con otros periodos de tiempo. Todo desde un solo sitio, sin correos y sin documentos estáticos que van de un sitio:
- Información en tiempo real
- Mantenimiento de datos históricos
- Cálculo de la IMD de todas las autopistas en un único documento
- Acceso corporativo a la plataforma de tráficos, para la generación de análisis propios de los datos, desde distintas herramientas, como PowerBI.
- Creación de un workspace en PowerBI con los cuadros de mandos que maneja la organización de forma corporativa.
- Envío automatizado de informes.
- Mantener un consumo optimizado y un rendimiento activo.
Por supuesto, nuestro equipo de Data&Analytics continua trabajando con otros objetivos a futuro, como incorporar datos financieros, alertas e incidencias; incorporar datos de otras fuentes como Google o Aemet; modelos de Machine Learning para la predicción de tráfico, para la auto verificación de los datos o para la gestión de las incidencias en los procesos de la plataforma.
¿Quieres más información sobre nuestros servicios de Big Data?
Contacta con nuestro equipo de expertos en Data & Analytics
