Calidad de Datos: el requisito invisible para que un espacio de datos funcione
Un espacio de datos puede tener el conector más seguro, el catálogo mejor organizado y los acuerdos de uso perfectamente definidos, y aun así fracasar si los datos que circulan por él no son fiables. Ningún responsable de gobernanza quiere descubrir, después de haber compartido un dataset con un socio, que faltaban registros, que había duplicados o que los valores no eran consistentes entre sí. En ese momento ya no se trata de un problema técnico menor: es un problema de confianza.
La calidad de datos es, precisamente, el requisito que casi nunca se ve pero que determina si un espacio de datos genera valor real o se convierte en una fuente de disputas entre proveedores y consumidores de información. Si eres chief data officer, responsable de gobernanza del dato o analista, sabes que la confianza en un dataset no se declara: se demuestra con controles verificables.
En este artículo repasamos las dimensiones clave de la calidad de datos, cómo se valida mediante reglas de negocio tanto en procesos batch como en flujos en tiempo real, y cómo un espacio de datos moderno automatiza este control antes de publicar cualquier dataset en su catálogo federado.
Por qué la calidad de datos es la base de la confianza
Cuando dos organizaciones acuerdan compartir datos a través de un espacio de datos, están asumiendo implícitamente que la información recibida es utilizable tal cual, o al menos que sus limitaciones están claramente documentadas. Sin controles de calidad de datos, esa confianza se sostiene únicamente en la buena fe, algo insuficiente cuando hay decisiones de negocio, indicadores públicos o modelos analíticos en juego.
La gobernanza de datos moderna no consiste en redactar políticas que nadie verifica, sino en incorporar controles automáticos que se ejecutan cada vez que un dato se genera, se transforma o se comparte. Esta es la diferencia entre un espacio de datos que funciona sobre el papel y uno que funciona en producción.
Las cuatro dimensiones de calidad que hay que vigilar
Existen muchas taxonomías de calidad de datos, pero cuatro dimensiones concentran la mayoría de los problemas reales que aparecen en entornos empresariales y administrativos.
Completitud
Mide si faltan valores donde deberían existir. Un ayuntamiento que publica datos de gestión de residuos con huecos en determinados meses del año está entregando una serie incompleta que puede llevar a conclusiones erróneas sobre la evolución real del servicio. La completitud se valida comprobando que los campos obligatorios están presentes y que no existen lagunas temporales inesperadas en series históricas.
Exactitud
Mide si el valor registrado corresponde a la realidad. Una cooperativa agroalimentaria que registra volúmenes de producción con errores de captura, por ejemplo unidades de medida mezcladas entre kilogramos y toneladas, está introduciendo un problema de exactitud que puede pasar desapercibido hasta que alguien cruza los datos con otra fuente.
Unicidad
Mide si existen registros duplicados que deberían ser uno solo. En una administración que gestiona expedientes de varias oficinas, es habitual que el mismo trámite quede registrado dos veces por errores de sincronización. Sin control de unicidad, cualquier análisis agregado sobrestima los volúmenes reales.
Consistencia
Mide si los datos son coherentes entre sí y con las reglas del dominio. Por ejemplo, que la fecha de fin de un contrato no sea anterior a su fecha de inicio, o que el código postal corresponda realmente a la provincia indicada en el mismo registro. Los problemas de consistencia son especialmente peligrosos porque suelen pasar los controles de completitud y exactitud individuales, y solo se detectan al cruzar campos.
Validación mediante reglas de negocio
Las dimensiones de calidad se convierten en controles operativos a través de reglas de negocio: condiciones concretas que un registro debe cumplir para considerarse válido dentro de un contexto determinado. A diferencia de una validación de formato genérica, una regla de negocio incorpora el conocimiento específico del sector o del proceso.
Algunos ejemplos de reglas de negocio aplicables en distintos contextos:
En un dataset de consumo energético: la lectura de un contador no puede ser inferior a la lectura anterior en la misma serie temporal, salvo que se haya registrado un cambio de equipo.
En un dataset de recursos humanos: la fecha de alta de un empleado no puede ser posterior a la fecha de su primera nómina registrada.
En un dataset de gestión municipal: todo expediente con estado "resuelto" debe tener asociada una fecha de resolución.
En un dataset de producción agroalimentaria: el volumen declarado no puede superar la capacidad máxima registrada de la instalación productora.
Estas reglas no son universales: cada organización y cada dataset requieren su propio conjunto, definido idealmente junto con quienes conocen el proceso de negocio, no solo con el equipo técnico.
Validación en procesos batch frente a validación en tiempo real
No todos los flujos de datos se comportan igual, y el control de calidad debe adaptarse al ritmo con el que llega la información.
Calidad de datos en procesos batch
Cuando los datos se cargan por lotes, por ejemplo una exportación mensual de indicadores de una administración, el control de calidad puede ejecutarse de forma exhaustiva sobre todo el conjunto antes de publicarlo. Esto permite aplicar reglas complejas que requieren comparar registros entre sí, calcular estadísticos agregados o detectar valores atípicos por comparación con el histórico completo.
Un caso habitual: una empresa de distribución que consolida cada semana los datos de inventario de varios almacenes. El proceso batch de calidad de datos puede comprobar que la suma de existencias por almacén cuadra con el total corporativo antes de que el dataset consolidado se incorpore al catálogo del espacio de datos.
Calidad de datos en tiempo real
Cuando los datos llegan como flujo continuo, por ejemplo lecturas de sensores o eventos transaccionales, no es viable esperar a tener todo el conjunto para validarlo. Aquí el control de calidad de datos debe aplicarse registro a registro o en microlotes, con reglas que puedan evaluarse con la información disponible en ese instante: rangos válidos, coherencia con el último valor conocido o detección de valores fuera de umbral.
Por ejemplo, una instalación que transmite datos de consumo energético en streaming puede aplicar una regla que descarte o marque como sospechosa cualquier lectura que suponga una variación superior a un umbral razonable respecto a la lectura anterior, evitando que un error de sensor contamine el dataset compartido en tiempo real.
La clave está en que ambos enfoques, batch y streaming, compartan el mismo catálogo de reglas de negocio siempre que sea posible, de forma que un dato no pase controles distintos según el canal por el que haya llegado.
Cómo automatizar el control de calidad antes de publicar en el catálogo
En un espacio de datos moderno, el control de calidad se resuelve mediante una data app específica que se integra en el flujo de transferencia, de forma similar a como lo hace la anonimización. El proceso, a grandes rasgos, funciona así:
Se definen las reglas de negocio aplicables a un dataset o a una familia de datasets, junto con los responsables funcionales del dato.
Antes de que un dataset se registre en el catálogo federado exportable en formato DCAT-AP-ES, la data app de calidad evalúa el conjunto de reglas configuradas.
Los registros que no cumplen las reglas quedan marcados, corregidos automáticamente si existe una regla de corrección definida, o excluidos según la política establecida.
Se genera un informe de calidad asociado al dataset, que queda disponible para el proveedor y, si así se acuerda, para el consumidor de los datos.
Este último punto es especialmente valioso desde la perspectiva de gobernanza de datos: contar con un informe de calidad asociado a cada dataset publicado permite a los consumidores decidir con criterio si ese dato es adecuado para su caso de uso, en lugar de descubrir sus limitaciones después de haberlo integrado en sus propios sistemas.
Beneficios de automatizar frente a revisar manualmente
Automatizar la validación con reglas de negocio, en lugar de depender de revisiones manuales puntuales, aporta ventajas claras:
Consistencia: las mismas reglas se aplican siempre de la misma forma, sin depender de quién revisa el dato ese día.
Rapidez: los datasets pueden validarse y publicarse en el catálogo sin esperar a un ciclo de revisión manual.
Trazabilidad: cada dataset lleva asociado un historial de qué reglas ha superado y cuáles no, útil ante cualquier disputa entre proveedor y consumidor.
Escalabilidad: a medida que crece el número de datasets y de flujos en tiempo real, la validación automática es la única forma realista de mantener el control.
Construye confianza desde la calidad del dato
La confianza en un espacio de datos no se declara en un documento de gobernanza: se construye dataset a dataset, regla a regla, con controles que se ejecutan de forma automática antes de compartir cualquier información. Si tu organización quiere publicar o consumir datos con garantías reales de calidad de datos, busca un socio tecnológico con experiencia en espacios de datos que te ayude a diseñar las reglas de negocio y los flujos de validación que necesitas.