Espacio de datos o data lake: por qué compartir no es centralizar
Cuando una organización decide invertir en una nueva arquitectura de datos, es habitual que la conversación empiece y termine en el mismo sitio: "necesitamos un data lake". Y en muchos casos tiene sentido, pero en otros esconde una confusión de fondo que conviene aclarar antes de escribir una sola línea de código: centralizar datos dentro de una organización y compartir datos entre organizaciones son problemas distintos, y requieren arquitecturas distintas. El debate espacio de datos vs data lake no es una cuestión de moda tecnológica, sino de para qué sirve cada herramienta.
Un data lake resuelve muy bien el problema de tener toda la información de una empresa en un mismo lugar, accesible y analizable. Pero en el momento en que esa empresa necesita compartir parte de esos datos con un proveedor, un cliente o una administración, manteniendo el control sobre quién accede, a qué y durante cuánto tiempo, el data lake deja de ser suficiente. No porque sea una mala tecnología, sino porque no fue diseñado para eso.
En este artículo repasamos las diferencias reales entre un espacio de datos y un data lake, qué papel juega el data mesh en esta conversación, y cómo saber cuál de estas arquitecturas conviene a tu organización, o si necesitas ambas trabajando juntas.
Qué es un data lake y para qué sirve realmente
Un data lake es un repositorio centralizado donde una organización almacena grandes volúmenes de datos, estructurados y no estructurados, procedentes de sus distintos sistemas internos: ERP, CRM, sensores, logs de aplicaciones, ficheros de todo tipo. Su gran ventaja es que permite guardar datos en bruto sin necesidad de definir de antemano su estructura final, y aplicar después distintos análisis según las necesidades de cada momento.
Un data warehouse es un pariente cercano, más estructurado: almacena datos ya procesados y organizados para consultas analíticas concretas, normalmente de negocio. Ambos comparten una característica de fondo: están pensados para que una sola organización centralice y explote sus propios datos internos.
Esto los convierte en herramientas excelentes para el análisis interno, el business intelligence o el entrenamiento de modelos con datos propios. Pero no incorporan, de forma nativa, mecanismos para que un tercero externo acceda a una parte concreta de esos datos bajo condiciones negociadas, ni para verificar quién ha sido ese tercero, ni para dejar constancia de en qué términos se produjo el acceso.
Qué es un espacio de datos y en qué se diferencia
Un espacio de datos no es un repositorio de almacenamiento, es una infraestructura de intercambio. Su función no es guardar los datos de una organización, sino permitir que distintas organizaciones compartan datos entre sí manteniendo cada una el control sobre los suyos.
Esta diferencia se traduce en componentes muy distintos a los de un data lake:
Un conector que autentica de forma segura a cada participante antes de permitir cualquier transferencia.
Un motor de políticas que decide, de forma automática, quién puede acceder a qué dato, con qué finalidad y durante cuánto tiempo.
Un catálogo federado, donde cada organización publica qué datos ofrece sin necesidad de moverlos ni copiarlos de su sistema de origen.
Mecanismos de trazabilidad y registro de acuerdos, que dejan constancia verificable de cada intercambio realizado.
En un espacio de datos moderno, por ejemplo, los datos no tienen por qué salir de los sistemas de origen de cada participante hasta el momento exacto en que se autoriza y ejecuta una transferencia concreta. El dato permanece bajo el control de quien lo genera; lo que se comparte es el acceso, bajo condiciones explícitas, no una copia descontrolada.
Los problemas que un data lake no resuelve
Centralizar datos de varias organizaciones en un único data lake compartido puede parecer, a primera vista, una forma rápida de colaborar. En la práctica, suele generar tres problemas que un espacio de datos evita por diseño.
Soberanía del dato. Cuando varios participantes vuelcan su información en un repositorio común gestionado por un tercero, pierden el control directo sobre esos datos: quién los usa después, con qué finalidad o si se combinan con otras fuentes sin su conocimiento. Un espacio de datos mantiene esa soberanía porque el dato se comparte bajo condiciones definidas por su propietario, no por quien gestiona el repositorio.
Confianza entre participantes. Un data lake no resuelve por sí mismo cómo saber que la organización que solicita acceso es quien dice ser, ni cómo verificar que cumple las condiciones acordadas. Un espacio de datos incorpora mecanismos de identidad y credenciales verificables que permiten confirmar la identidad de cada participante antes de autorizar cualquier intercambio.
Gobernanza granular. En un data lake compartido, las políticas de acceso suelen ser generales y difíciles de ajustar caso por caso. Un espacio de datos, mediante un motor de políticas como Open Policy Agent, permite definir reglas de acceso específicas para cada conjunto de datos y cada solicitante, sin depender de accesos genéricos de todo o nada. Esto es especialmente valioso cuando conviven distintos niveles de sensibilidad: una misma organización puede ofrecer un conjunto de datos agregados en abierto y, al mismo tiempo, restringir el acceso a los datos desagregados a un número reducido de socios verificados, algo que un data lake tradicional no distingue por diseño.
Pensemos en dos cooperativas agrarias de Castilla y León que quieren compartir datos de rendimiento de cultivos con una empresa de análisis para mejorar sus previsiones. Si vuelcan toda su información histórica en un data lake común gestionado por un tercero, pierden visibilidad sobre qué se hace después con esos datos. Si en cambio usan un espacio de datos, cada cooperativa decide exactamente qué conjunto de datos comparte, con qué empresa y bajo qué condiciones, sin ceder el control del resto de su información.
Qué aporta el data mesh a esta conversación
El data mesh introduce una idea intermedia interesante: en lugar de centralizar todos los datos de una organización en un único equipo o plataforma, propone que cada dominio de negocio (ventas, producción, logística) sea responsable de sus propios datos y los ofrezca como un producto de datos bien documentado al resto de la organización.
Esta filosofía descentralizada tiene puntos en común con un espacio de datos: ambos rechazan la idea de que toda la información deba pasar por un único repositorio central para ser útil. La diferencia es de alcance. El data mesh organiza la descentralización dentro de una misma organización, entre sus distintos departamentos. Un espacio de datos organiza la descentralización entre organizaciones distintas, que ni siquiera comparten una misma estructura corporativa ni los mismos sistemas.
De hecho, ambas arquitecturas pueden convivir: una empresa puede aplicar principios de data mesh internamente para organizar sus dominios de datos, y a la vez participar en un espacio de datos para compartir determinados productos de datos con proveedores, clientes o administraciones externas.
Cuándo conviene cada arquitectura
No se trata de elegir una arquitectura en detrimento de la otra, sino de identificar qué problema se quiere resolver:
Si el objetivo es analizar y explotar datos internos de una organización, un data lake o un data warehouse siguen siendo la herramienta adecuada.
Si el objetivo es compartir datos con terceros manteniendo control, trazabilidad y condiciones de acceso, un espacio de datos es la infraestructura que resuelve ese problema.
Si la organización es grande y quiere descentralizar la responsabilidad de sus datos internos por dominios de negocio, el enfoque de data mesh aporta orden sin necesidad de un espacio de datos.
En la práctica, muchas organizaciones necesitan las dos cosas: un data lake bien gestionado puede ser precisamente la fuente desde la que un espacio de datos ofrece, de forma controlada, determinados conjuntos de datos a terceros autorizados. Uno organiza el dato puertas adentro, el otro gestiona su salida puertas afuera.
Encuentra la arquitectura adecuada para compartir tus datos
Si tu organización ya tiene resuelto el análisis interno de sus datos pero necesita compartir información con proveedores, clientes o administraciones sin perder el control sobre ella, un espacio de datos es la pieza que probablemente te falta. Un espacio de datos moderno está diseñado precisamente para ese escenario: compartir sin centralizar y sin ceder soberanía.
Si quieres valorar cómo encaja esta arquitectura con tus sistemas actuales, busca un socio tecnológico con experiencia en espacios de datos que pueda ayudarte a analizar tu caso concreto.