Calidad de Datos: El pilar de la toma de decisiones

Los problemas de calidad de datos son sistémicos en las organizaciones y, de hecho, diferentes estudios llevan tiempo mostrando la magnitud del problema al que nos enfrentamos: 

• En el 2002, la baja calidad en los datos de los clientes supusieron pérdidas de 611 billones de dólares a las compañías de Estados Unidos (Eckerson, W. (2002) Data Quality and the Bottom line, TDWI). 
• En el 2004, se estimó que la calidad del dato suponía pérdidas de, al menos, el 10%, aunque posiblemente estaba más cerca del 20% (Redman, T. C. (2004) Data: An Unfolding Quality Disaster.DM Review Magazine.) 
• En el 2011, la baja calidad del dato se consideraba la principal razón por la que el 40% de las iniciativas de negocio fracasaban en conseguir los objetivos definidos (Friedman, T.; Smith, M. (2011) Measuring the Business Value of Data Quality. Gartner.) 
• En el 2014, el 59% de las empresas citaban la calidad de los datos como una barrera para la adopción de business intelligence (VV. AA. (2011) 2014 Analytics, BI, and Information Management Survey.Information Week.) 
• En el 2016, las organizaciones perdieron un promedio de 9,7 millones de dólares anualmente debido a la mala calidad de datos (Duncan, A. D.; Selvage, M.Y.; Judah, S. (2016). How a Chief Data Officer Should Drive a Data Quality Program. Gartner. 

Con esta nueva corriente de gestionar los datos como a cualquier otro activo de la organización, se comenzó a hacer foco en la calidad de los datos como potencial de buenas decisiones. 

¿Qué es la calidad de los datos?

La calidad de los datos es una medición del grado en que los datos se ajustan a su propósito.  

Las empresas cotidianas toman decisiones basadas en datos.  Imaginemos construir una casa sobre un terreno inestable. No importa cuán fuerte sea la construcción: si la base no es sólida, la casa no será confiable. De la misma manera, los análisis basados en datos de baja calidad pueden llevar a decisiones erróneas. 

Al iniciar algunas actividades básicas de calidad de datos, las empresas pueden asegurarse de que los datos sean adecuados para su uso. Así, a medida que se conoce, mejora y monitorea la calidad de los datos, su valor aumenta y más personas los utilizan. Cuando esto sucede, se toman mejores decisiones a nivel empresarial que impulsan el valor comercial de los datos y, por consiguiente, supone una ventaja competitiva en el mercado.  

¿Qué implicaciones directas se derivan de una mala calidad de datos?

La mala calidad de los datos afecta de diversas maneras la gestión empresarial:  

Una afectación primaria de la mala calidad de los datos la constituye su efecto sobre la toma de decisiones. Si los datos son de mala calidad, los procesos de toma de decisiones resultarán poco efectivos y, en última instancia, ineficientes. La ineficacia se materializa en el hecho de que, cuando los datos son erróneos, implican decisiones erróneas entre alternativas sobre las que se decide. Considerando que las decisiones que se toman en la empresa están relacionadas con una multitud de elementos (clientes, proveedores, productos, procedimientos de trabajo, colaboradores, etc.), se deduce a su vez la afectación que produce una inadecuada toma de decisiones.  

Por otra parte, la ineficiencia se debe al hecho de que muchas veces se logra tomar las decisiones con datos correctos, pero con un coste adicional en tiempo debido a la demora o falta de puntualidad de los datos. 

Otro resultado de la inadecuada calidad de los datos que resulta muy costoso es el efecto sobre los clientes de la empresa. Este se puede materializar en la insatisfacción de los clientes debido a nombres incorrectos, facturas con cantidades erróneas, envío de productos o cantidades equivocadas, etc.  Además, pudiera materializarse en costes que se generen en los clientes, por ejemplo, el tiempo que dedique el cliente a solucionar el problema creado por el error. Estas dificultades probablemente provocarán la pérdida del cliente, e incluso de otros clientes potenciales. 

Los costes en tiempo y demás recursos que las empresas dedican a la detección y corrección de errores en los datos es otra secuela de la baja calidad de los datos. En algunas empresas de producción, gran parte del personal administrativo e incluso parte del personal relacionado con la producción dedica un porcentaje no despreciable de su tiempo de trabajo a la corrección de errores en los datos. Esto genera desmotivación, insatisfacción y disminución en la producción laboral, aspecto particularmente negativo que poco se tiene en cuenta, así como tampoco el coste de reposición de un empleado que deja la empresa por esta situación.  

Para abordar estos inconvenientes y mitigar el riesgo asociado a la mala calidad de los datos, es fundamental comenzar con un proceso de medición, ya que, como decía William Thomson Kelvin (Lord Kelvin), físico y matemático británico (1824 – 1907): «Lo que no se define no se puede medir. Lo que no se mide, no se puede mejorar. Lo que no se mejora, se degrada siempre». 

Entonces, ¿cómo se mide la calidad de los datos?

Llevar a cabo una gestión de la calidad de datos adecuada depende de saber cómo medirla. El establecimiento de indicadores y la recogida de métricas permiten ganar en comprensión acerca de cada componente del ciclo de calidad de datos porque, aunque cada organización es única, existen una serie de medidas cuantitativas que son universales: 

• Completitud: es el grado en el que todos los atributos del dato están presentes. 
• Validez: representa el ajuste de un valor de datos a su conjunto de valores de referencia. 
• Unicidad: la medida en que todos los valores distintos de un elemento de datos aparecen sólo una vez. 
• Integridad: tiene que ver con el grado de conformidad con las reglas de relación de datos definidas. 
• Precisión: determina en qué medida los datos representan correctamente la verdad sobre un objeto del mundo real o se ajustan a lo establecido por una fuente autorizada. 
• Coherencia: representa el grado en que una pieza única de datos contiene el mismo valor a través de múltiples conjuntos de datos. 
• Oportunidad: este atributo de la calidad de datos permite conocer si estos están disponibles cuando se requiere. 
• Representación: tiene que ver con el formato, patrón, legibilidad y utilidad de los datos para su uso previsto. 

Además de estas medidas cuantitativas de calidad de datos, para adquirir una perspectiva real de la situación de la organización también deben considerarse las medidas cualitativas, como las que tienen que ver con la satisfacción de los clientes y usuarios de negocio, los índices de cumplimiento, la aparición de redundancias en los procesos o la identificación de oportunidades de negocio. 

Por último, ¿cómo se gestiona la calidad?

Una vez que tenemos el estado actual de la calidad de datos, es necesario gestionarla. Este proceso abarca desde la definición y designación de roles hasta el despliegue de funciones, de la definición de políticas y responsabilidades al establecimiento de procedimientos para la adquisición, mantenimiento, disposición y distribución de datos. 

Un enfoque eficaz de la gestión de la calidad de los datos comprende tanto elementos reactivos, que incluyen la gestión de problemas en los datos situados en bases de datos existentes, como elementos proactivos, que son los que tiene que ver con: 

• Establecimiento de la gobernanza. 
• Identificación de las funciones y responsabilidades. 
• Creación de las expectativas de calidad, así como de las estrategias empresariales de apoyo. 
• Implementación de una plataforma técnica que facilite estas prácticas empresariales. 

Para que una iniciativa de gestión de la calidad de los datos tenga éxito, debe garantizarse la cooperación entre las áreas de IT y negocio. Esta asociación es importante porque, si bien los perfiles técnicos se encargarán de la construcción y el control del entorno, los usuarios de negocio serán los propietarios de los datos y, a partir de la aceptación ese rol, asumirán una responsabilidad con la organización y sus activos informacionales. 

Algunos de los procesos específicos para realizar la gestión de la calidad son los siguientes: 

• Descubrimiento de datos: proceso de búsqueda, recopilación, organización y notificación de metadatos. 
• Perfilado de datos: proceso de analizar los datos en detalle, comparándolos con sus metadatos, calculando estadísticas de datos e informando de las medidas de calidad de los datos que se deben aplicar en cada momento. 
• Reglas de calidad de datos: se orientarán a optimizar el nivel de calidad de los activos informacionales de la organización y, para ello, se basarán en los requisitos de negocio aplicables, reglas comerciales y técnicas a las que deben adherirse los datos. 
• Monitorización de la calidad de los datos: la mejora continua requiere de un esfuerzo de seguimiento que permita comparar los logros con los umbrales de error definidos, la creación y almacenamiento de excepciones de calidad de datos y la generación de notificaciones asociadas. 
• Reporting de calidad de datos: está relacionado con los procedimientos y herramientas empleadas para informar, detallar excepciones y actualizar las medidas de calidad de datos en curso. 
• Corrección de datos: se ocupa de la corrección en curso de las excepciones y problemas de calidad de datos según son notificadas. 

En conclusión, la calidad de los datos es un pilar fundamental en la toma de decisiones informadas y en el desarrollo de estrategias empresariales efectivas en la era digital. A medida que las organizaciones se enfrentan a un crecimiento exponencial en la cantidad y la complejidad de los datos, es imperativo abordar la calidad desde su origen, implementando prácticas de recolección, almacenamiento y procesamiento rigurosas. Además, la adopción de tecnologías emergentes, como la inteligencia artificial y el aprendizaje automático, pueden ser poderosas aliadas en el mantenimiento y mejora continua de la calidad de los datos. Invertir en la calidad de los datos no sólo impulsa la eficiencia operativa y la satisfacción del cliente, sino que también fortalece la posición competitiva de una organización en un panorama empresarial cada vez más impulsado por los datos. 

En hiberus, contamos con una unidad especializada en servicios de Data & Analytics desde donde ofrecemos soluciones integrales de consultoría estadística y análisis de datos con especialización por áreas de conocimiento, donde se acompaña a nuestros clientes en cada proyecto integrándonos como parte de su equipo. Ponte en contacto con nosotros y estaremos encantados de ayudarte.