Agile Consulting & BI
Agile BI - DataVault
Sistemas y consultoría apoyados en tecnología informática en los sectores de gobierno, financieros, investigación, comercio e industria.
AgileBI es una asociación estratégica entre consultores con una larga experiencia planeando sistemas informáticos avanzados.
Contacto Directo:
Act. Eduardo Hernández Albin
eduardo.hernandez@tecnofin.com
Tel. (55) 5457-1189
Data Vault
Un modelo ágil para resguardar la historia de los datos de una empresa.
Vault significa bóveda, en este caso la bóvedade la historia de la empresa
Data Vault es un patrón de diseño de estructuras de datos propuesto por Dan Linstedt.
-
Este patrón permite almacenar en detalle la historia de datos que provienen de diferentes sistemas.
-
Mantiene tanto los datos originales como modelos de negocio derivados de los mismos.
-
Provee servicios de auditoría y trazabilidad.
-
Permite procesos paralelos de alta velocidad.
-
Soporta cambios profundos tanto de estructura como de información descriptiva.
-
Nuestras soluciones se basan en este patrón de diseño para dar resultados en el corto plazo y adaptabilidad a las cambiantes necesidades de las empresas modernas.
Registro de la historia
El Data Vault describe información de una o varias
áreas de negocio para diferentes momentos en el
tiempo.
Los cambios pueden ser de contenido o de estructura: cambios de valor de los atributos, nuevos atributos, eliminación de atributos, relacionamientos entre tablas, cambios en los términos de dichas relaciones, nuevas tablas, eliminación de tablas.
El nivel del detalle temporal dependerá de los parámetros
de extracción y de replicación de información que defina el operador.
El modelo Data Vault es una
máquina del tiempo, permite
registrar el desarrollo histórico de los datos de una empresa.
Casi tiempo real
Para poder lograr lo anterior, debe poder recibir información casi en tiempo real. Como los sistemas, en general, no pueden garantizar que la información fluya a través de los diferentes canales de comunicación en estricto orden histórico, el data Vault debe poder recibir información en desorden. Debe también tener la capacidad de recuperarse automáticamente de caídas de comunicación, de fallas de los sistemas y de reprocesos.
Ajustes al modelo de datos
El modelo Data Vault ajusta los modelos de datos de los sistemas que retrata (filma) para poder reflejar la dinámica de los cambios y no perder integridad ante cambios en el orden de llegada de la información.
Todas las relaciones 1 a 1 o 1 amuchos se sustituyen por relaciones (Links) muchos a
muchos (alguien puede tener sólo una esposa … a la vez).
El contenido se guarda en tablas separadas (Satélites) a las de las llaves de negocio (Hubs) con el fin de poder agrupar atributos por frecuencia de cambio y sistema de origen (en su caso).
Se establece una red conectada por llaves subrogadas que permite una navegación altamente eficiente para
reconstruir estados de información.
Hubs
-
Cada tabla Hub representa un tipo de entidad (factura, cliente).
-
Cada registro una instancia. A cada registro se le asigna una llave única (llave subrogada).
-
Campos adicionales identifican la entidad, su origen y datosadministrativos de su creación.
Satélites
-
Un Hub puede tener asociados una o varias tablas satélite. Los satélites almacenan atributos que describen a la entidad. El registro de un satélite contiene el estado de un subconjunto de atributos para un intervalo de tiempo determinado.
-
El sistema asigna una llave única a cada registro satélite así como la llave subrogada que apunta a una instancia del Hub. Si hay cambios en los atributos de una entidad en el tiempo, el sistema genera varios registros con las diferentes fotografías de los mismos.
-
Para reducir el espacio de almacenamiento se pueden asignar atributos con diferente frecuencia de cambio a diferentes satélites
Links
-
Las relaciones se establecen únicamente entre Hubs, nunca entre satélites.
-
Los links describen el relacionamiento entre dos Hubs en el tiempo. El modelo de Linstedt es más general pues permite links entre 2 o más Hubs y puede tener satélites asociados directamente al link.
Referencia:
Funcionamiento
-
Cada vez que se quiere agregar información al Data Vault se verifica si los Hubs y Links asociados ya existen.
-
Aquellos que no existan se crean. Posteriormente se busca información de contenido previo en los satélites. Si no hay información previa o la información cambió, se generan nuevos registros de satélite donde proceda.
-
La información puede llegar en desorden o repetida y el resultado final es el mismo.
-
Procesos de auditoría pueden validar la integridad de los datos fácilmente.
-
Los campos administrativos pueden servir para detectar problemas y corregirlos.
-
Se establece una red conectada por llaves subrogadas que permite una navegación altamente eficiente para reconstruir estados de información.
Bus de Datos
Resultados en corto plazo, adaptabilidad y escalabilidad automatizando la aplicación del modelo Data Vault al almacén datos bajo la arquitectura DW 2.0
El modelo de Bus de Datos permite solucionar el problema de coordinar sistemas con diferentes modelos de datos.
La aplicación de los patrones de Data Vault al diseño de Bus de datos permite agilizar la construcción automática de los procesos de entrada, de almacenamiento, de modelado y de publicación de información, así como los de monitoreo de la calidad e integridad de los datos.
Nuestras soluciones y enfoques se basan en la Arquitectura DW 2.0 y los patrones de diseño Data Vault.
El Bus de Datos es un medio de coordinación
entre sistemas con modelos de datos diferentes
Modelo orgánico
El modo natural de crecimiento de los sistemas de las empresas fue través de interfaces entre
aplicaciones.
Con el advenimiento de las bases de datos, las aplicaciones simplificaron su problema de coordinación compartiendo la
misma base de información.
Sin embargo, también el modelo centrado en bases de datos está llegando a sus límites de crecimiento. Ya no es conveniente trabajar con un solo modelo de datos. Los requerimientos de sistemas en las empresas siguieron creciendo explosivamente. La disponibilidad de sistemas comerciales se hizo cada vez más prevalente. Las empresas crecieron a través de adquisiciones y asociaciones.
Cada vez es mayor la tendencia de integrar cadenas de procesos y de información a través de toda la empresa. Los requerimientos de cumplimiento regulatorio son cada vez más exigentes. El volumen de operaciones y los niveles de servicio requieren que no haya puntos únicos de falla. Los proveedores de aplicaciones proveen sus servicios con datos distribuidos en la red (nube).
Los centros de conmutación telefónica se encargaban de interconectar personas
Actualmente casi cualquier empresa de tamaño regular cuenta con centenas aplicaciones alrededor de decenas de bases de datos.
El problema de coordinarlas y de obtener información unificada es cada vez más complejo. Es muy difícil coordinar a todos los grupos de desarrollo.
Las fallas se pueden propagar entre aplicaciones. Los cambios pueden afectar a un gran número unidades organizacionales.
Bus de datos
El desarrollo de capas de integración para sincronizar grupos de aplicaciones y sistemas es ahora la dirección tecnológica que se está tomando.
El enfoque de Bus de Datos permite integrar sistemas que trabajan de manera independiente con sus propios modelos de datos.
El Bus de Datos asume la tarea de llevar un registro histórico oficial, de asegurar que la información de las diferentes bases de datos esté sincronizada y de proveer una versión única de la verdad a sistemas de minería de datos e inteligencia de negocio.
Automatización
El manejo de la diversidad de los ecosistemas de datos modernos es a través de herramientas automáticas.
Inspectores de datos
Analizan los diccionarios de datos de los sistemas fuente y los describen en los metadatos
del Bus de Datos: tablas, sus atributos, sus llaves, susrelaciones con otras tablas.
El analista complementa la información faltante en las bases de origen.
Generadores de objetos de almacenamiento
Generan tablas, atributos, relaciones, triggers y objetos de soporte en las bases de datos
del Bus de Datos.
El modelo Data Vault facilita la automatización, especialmente la incorporación de cambios de las fuentes de origen.
El analista ajusta reglas de transformación de la representación de datos y preferencias de almacenaje.
Generadores de distribución de datos
Generan código para sincronizar información con los sistemas de destino que se suscriban.
Generadores de cubos de información
Generan cubos o estrellas bajo el modelo dimensional para alimentar sistemas de inteligencia de negocio.
El modelo Data Vault se presta para generar dimensiones y hechos de manera natural y automática.
Generadores de código de ciclo de vida
Generan código para migrar información entre las zonas de almacenaje del modelo DW 2.0.
Referencias:
Migrando aplicaciones
El esquema DW 2.0/DV facilita integrar nuevas aplicaciones o versiones sin parar los sistemas de entorno.
La arquitectura DW 2.0 sobre el modelo Data Vault permite instalar nuevos sistemas o actualizar versiones de sistemas existentes sin la necesidad de afectar innecesariamente a los sistemas de entorno con los que tiene que intercambiar información.
Este boletín describe los pasos y las características de la arquitectura propuesta para lograr lo anterior.
Nuestras soluciones y enfoques se basan en la Arquitectura DW 2.0. sobre Data Vault.
La arquitectura AgileBI crea entornos (mundos) completos y seguros para
apoyar el desarrollo y hacer pruebas controladas.
Bases sincronizadas
Secuencias de prueba
Comparación de resultados
Repetición de las pruebas
La capacidad de recrear momentos históricos permite popular las bases de datos de los sistemas en desarrollo o adquiridos con datos reales y congruentes.
Los modelos de transformación de datos se atienden en el Bus de Datos. No se afectan a las demás aplicaciones.
El Bus puede recrear las secuencias de eventos que afectarían a las nuevas aplicaciones para mandárselas en orden y completas. La aplicación en proceso establece interfaces únicamente con el Bus de Datos. No es necesario mantener activas versiones de las demás aplicaciones para llevar a cabo pruebas de comunicación.
El desarrollo y configuración de sistemas requiere crear mundos paralelos. De esa manera se pueden realizar pruebas apegadas a la dinámica real de las operaciones.
Si la aplicación a implementar tiene una arquitectura aplicativa moderna que separe las interfaces de usuarios con la capa de procesos, las secuencias podrán alimentar directamente a dichas capas de proceso y simular la captura en paralelo de operaciones.
El Bus guarda en detalle tanto los movimientos de datos de la aplicación en implantación como las afectaciones simuladas a las demás aplicaciones, sin tocarlas.
Con base en estos datos se pueden construir procesos de comparación exhaustiva con los movimientos reales (después de aplicar las reglas de homologación y enmascaramiento pertinentes).
Estos mecanismos permiten repetir pruebas exhaustivas fácilmente.
Procesos de monitoreo se pueden encargar de comparar resultados de manera sistemática hasta llegar al nivel de calidad deseado.
Seguridad
El canalizar todos los flujos a través del Bus permite instrumentar políticas de seguridad y enmascarar datos sensibles consistentemente. No es necesario abrir al acceso de los desarrolladores a todas las bases de datos operativas.
Cada equipo de desarrolladores tendrá su propio entorno (mundo) aislado de los demás.
Fases de instrumentación
Registro histórico
El registro histórico contendrá información con la misma granularidad y estructura que la de la información original. Su consulta deberá poder recrear cualquier momento en el pasado. La información contendrá datos administrativos para identificar en que momento fue modificada.
Este registro permitirá satisfacer requerimientos de auditoría y de cumplimiento, apoyar procesos de mejora continua, recrear información en caso de contingencia (real o por errores de operación) y crear bases de datos de prueba para el mantenimiento y desarrollo de aplicaciones.
Modelo
La información del modelo proveerá visiones integradas de la verdad. Las aplicaciones se coordinarán a través de estos modelos. Los sistemas de inteligencia de negocio partirán de estos modelos.
Se aplicarán modelos de corrección y homologación para pasar de los datos de registro a los datos de modelo. Podrá haber varios modelos para reflejar las necesidades de negocio de diferentes departamentos o de diferentes proyectos de análisis.
Metadatos
Son datos sobre los datos. Los metadatos describen las estructuras de información, su origen, los procesos de conversión aplicados, su significado, su destino, los procesos para extraerla. Los metadatos son activos cuando son los que gobiernan los procesos del almacén de datos.
El modelo DW 2.0 propone que los metadatos se almacenen junto con la información. De esa manera se reduce el riesgo de no poder interpretar los datos almacenados en casos de contingencia.
La Arquitectura AgileBI permite el administrar la operación paralela y traspasar la funcionalidad por módulos si es conveniente para minimizar riesgos.
Conversor Contable
El motor de reglas del Conversor Contable facilita la integración contable de múltiples sistemas con esquemas contables diferentes
La integración contable entre sistemas diferentes está en constante flujo. Si las reglas se plasman directamente en código, se requiere que el área de sistemas esté constantemente modificando los programas.
Nuestras soluciones y enfoques se basan en la Arquitectura DW 2.0. sobre Data Vault.
Motor de reglas
El corazón de la arquitectura es el motor de reglas o de inferencia. Las reglas constan de tres partes:
1. Condiciones para disparar la regla
2. Acciones que se derivan de la regla disparada
3. Prioridad para diferenciar cuando dos o más reglas disparan la misma acción pero con diferentes valores.
El motor de reglas puede estar conformado por varios grupos de reglas (engranes) cuyos resultados pueden estar conectados entre sí – lo que se conoce como “back chaining” (engranes interconectados).
Modificación de reglas
El motor permite fácilmente agregar nuevos grupos de reglas (engranes), interconectarlos y agregar o modificar reglas dentro del mismo grupo (engrane). Personal técnico administrativo con el mínimo conocimiento de sistemas y bases de datos puede llevar a cabo estas labores.
El papel del DWH
El Conversor puede trabajar directamente con archivos generados por los sistemas fuente y alimentar directamente a los sistemas objetivo. Sin embargo, la arquitectura propuesta para un ambiente corporativo es canalizar el flujo de información a través de un DWH modelado con nuestras herramientas de Data Vault.
De esta manera el DWH almacena tanto todas las versiones de la información recibida de los sistemas fuente como la de los resultados generados. Para pruebas y conciliaciones dicha información es muy valiosa.
El Conversor Contable es un módulo totalmente independiente, por lo que puede instrumentarse de manera aislada.
Sin embargo, en combinación con nuestra plataforma de DWH/DataVault ofrece muchísimas ventajas
Conciliaciones
Si además el DWH almacena la información transaccional de los sistemas fuente, se pueden construir procesos de comparación exhaustiva con los movimientos reales (después de aplicar las reglas de homologación y enmascaramiento pertinentes).
Manejo de versiones
El tener la información en el DWH/Data Vault permite también rehacer corridas del pasado con diferentes versiones de las reglas. El DWH tiene la capacidad de diferenciar las fechas asociadas a los eventos originales y las fechas de los procesos.
Entender
En el caso de los sistemas contables, entender a la empresa y sus procesos contables actuales es un factor crítico de éxito. En general, cuando las empresas llevan mucho tiempo operando sistemas contables introducen una serie de atajos y excepciones. Si bien estas ajustes de urgencia se podrían modelar con el motor de reglas el resultado final quedaría también difícil de entender y se desperdiciaría una oportunidad para revisar y simplificar las reglas.
Análisis de dependencias
Las matrices de reglas pueden estar conectadas. Por ejemplo: la Cuenta de Grupo se deriva de la Cuenta de Empresa que es diferente para cada empresa y puede servir de entrada para derivar el Código de Costo Corporativo. En el ejemplo, el default es que el Código de Costo de la Empresa pase a ser el del Grupo – la regla asociada tiene menor prioridad (es mayor), a menos que haya una regla que indique lo contrario.
Estructura de motores
El Conversor registra en tablas de metadatos que motores existen, que grupos de reglas tienen asociadas y en que orden se deben ejecutar, cuales son las condiciones y cuales las acciones de cada grupo.
Carga de reglas
La carga de reglas se puede llevar de dos maneras. Se pueden hacer cargas masivas de reglas a partir de catálogos y hojas Excel con apoyo de instrucciones SQL.
Se pueden hacer cargas manuales, especialmente para insertar excepciones, expresiones (como la del Código de Costo en la tabla a la izquierda), u otros ajustes menores.
Conexión con DWH/DataVault
El último paso es conectar el Conversor contable con el DWH/Data Vault. Para ello se accede a los metadatos del DWH y se establecen las reglas de extracción y publicación. (Ver documentación asociada).
Modelos Homologados de Datos
Heading 4
Resultados en el corto plazo, adaptabilidad y escalabilidad automatizando la aplicación del modelo Data Vault/ DW 2 para modelar datos del negocio.
Integrar diferentes plataformas es uno de los mayores desafíos técnicos hoy en día. Dado que cada departamento suele adquirir sus propios sistemas de forma aislada, es común que funcionen de manera separada. Para resolver esto, un modelo de negocio unificado es fundamental si se desea facilitar la colaboración y tomar mejores decisiones tácticas. Nuestro enfoque profesional ofrece una visión integral de su organización. Utilizamos la arquitectura DW 2.0 y el diseño Data Vault para proporcionar la rapidez y flexibilidad necesarias frente a las exigencias del mercado actual, permitiéndole reaccionar con agilidad a cualquier cambio en el entorno empresarial global.
La integración es uno de los retos críticos para el desarrollo de sistemas. Para satisfacer necesidades particulares de los diferentes departamentos o empresas de un grupo, los sistemas generalmente se desarrollan o se adquieren por separado y en tiempos distintos. Un modelo homologado de negocio es clave para la interoperación de sistemas y soportar la toma de decisiones operativas y estratégicas.
Nuestras soluciones y enfoques proponen una visión holística de la empresa y se basan en la arquitectura DW 2.0 y los patrones de diseño Data Vault para darles el alcance y la agilidad requeridas para responder a las necesidades del nuevo entorno interconectado de negocios.
Un modelo de datos debe ser suficientemente abstracto para adaptarse a posibles escenarios de evolución
El papel de la abstracción
Definir entidades con el nivel de abstracción apropiado es clave para diseñar un modelo de datos para el largo plazo. Por ejemplo, un modelo poco abstracto puede concebir como entidades diferentes a “empleados”, “clientes” y “contratistas”. Con el tiempo estos modelos se vuelven muy confusos y poco ágiles.
Un modelo más abstracto podría modelar la entidad general “parte” con la posibilidad de asignarle varios roles y relacionamientos entre dichos roles. El rol de empleado sería una relación entre dos partes – una “parte” con el rol de persona y otra con el rol de empleador. Una sola “parte” podría asumir diferentes roles.
La diferenciación y la definición de nuevos tipos de entidades se logra definiendo nuevas categorías. Este enfoque de modelación permite crear modelos de negocio que tienen validez universal, tanto a nivel general como por tipo de industria.
Patrones Data Vault
Los patrones de diseño DataVault son especialmente conducentes a este tipo de modelación: los hubs son las entidades abstractas y los satélites reflejan los atributos para diferentes niveles de abstracción.
Los patrones Data Vault también facilitan la evolución de los modelos de industria pues pueden acceder a los cambios históricos para complementar los modelos sin la necesidad de recurrir nuevamente a los sistemas transaccionales, los cuales además no guardan los cambios históricos.
Modelos universales
Nuestro enfoque de modelación de datos sigue la propuesta de Len Silverston (ver referencia abajo a la derecha) de asegurar que los datos reflejen 7 aspectos de negocio (ver diagrama arriba).
A medida que procede a analizar tipos de industria mantiene la misma estructura de análisis.
Nosotros proponemos mantener dicho enfoque cuando se baja a nivel de empresa o hasta departamental.
Eso quiere decir, que aún en el nivel más bajo hay que ver aspectos de “personas”, “productos”, “esfuerzos”, etc.
Modelos por tipo de industria
Len Silverston también propone un desglose por tipo de industria: manufactura, telecomunicaciones, salud, seguros, servicios financieros, servicios profesionales, viajes, comercio (electrónico).
Cada tipo de industria se analiza bajo cada uno de los aspectos de análisis propuestos a nivel universal. En su caso, les agrega entidades y relaciones aplicables de manera exclusiva.
Es decir, por ejemplo, analiza el aspecto de “productos” para la industria de seguros. Este esquema de análisis lo repite a niveles de más detalle.
Por ejemplo, en el caso de la industria de seguros, analiza los requerimientos específicos de seguros de salud, accidentes, propiedad y vida.
Modelos de empresa
Nuestro enfoque consiste, por ejemplo en el caso de un grupo corporativo, en repetir dicho esquema de análisis a nivel de grupo, de empresa y hasta de departamento, si es necesario.
Cada nivel de análisis se soporta en los resultados más abstractos del nivel anterior y agrega detalles y relaciones exclusivas del nuevo nivel.
Los patrones Data Vault
Los patrones Data Vault que usamos para describir los modelos de negocio aplican de manera natural para apoyar el crecimiento y la adaptación de este enfoque de modelación. De manera natural facilitan agregar subclases con información de mayor detalle.
El agregar una nueva empresa o expandirse a una nueva área de negocio requerirá extender las entidades originales (hubs), las interrelaciones entre tablas (links) y las tablas de detalles (satélites).
La modelación de negocio consiste en ir refinando modelos universales a las necesidades específicas de los casos en cuestión.
Metodología Ágil de Datos
[ 01 ]
Descubrimiento
Identificación de necesidades críticas y auditoría completa de fuentes de información existentes.
[ 02 ]
Diseño DataVault
Estructuración de bóvedas de datos escalables bajo patrones de diseño de clase mundial.
[ 03 ]
Implementación
Ejecución ágil de procesos de carga y modelos de negocio con trazabilidad total.
[ 04 ]
Evolución
Adaptación continua ante los cambios en las necesidades de información de la organización.
¿Por qué elegir nuestro enfoque?
Auditoría Completa
Transparencia y trazabilidad garantizada en cada dato procesado.
Escalabilidad
Infraestructuras preparadas para el crecimiento masivo de información.
Adaptación
Respuesta rápida ante cambios estructurales o de negocio.
Sobre AGILEBI
Con más de una década de trayectoria, AGILEBI se ha consolidado como un referente en consultoría de datos, especializándonos en las metodologías AgileBI y DataVault. Nuestra experiencia abarca sectores críticos como el gubernamental, financiero, de investigación, comercio e industria, transformando la información en un activo estratégico de bóveda segura.
- Misión de Confianza: Salvaguardar la integridad histórica de sus datos mediante arquitecturas de bóveda resistentes y escalables.
- Enfoque AgileBI: Entregamos resultados tangibles en ciclos iterativos, asegurando que cada etapa del proyecto aporte valor directo al negocio.
- Experiencia Multisectorial: Comprendemos los retos regulatorios del sector financiero y la agilidad requerida en el comercio actual.
Eduardo Hernández Albin
Consultor Senior y Contacto Clave
eduardo.hernandez@tecnofin.com
Tel. (55) 5457-1189
Nuestro Equipo
Somos consultores senior especializados en BI Ágil y DataVault, enfocados en aportar valor estratégico a organizaciones en sectores como gobierno, finanzas, investigación, comercio e industria.
Eduardo Hernández Albin
Socio Estratégico y Consultor Senior
Más de 20 años planeando sistemas avanzados con foco en auditoría y trazabilidad de datos críticos.
Consultor Senior BI
Arquitecto DataVault
Experto en implementación de bóvedas escalables para el sector financiero con alto rendimiento.
Líder de Proyecto
Especialista BI Ágil
Especializado en transformar datos complejos en activos estratégicos para la industria moderna.
Diagnóstico de madurez ágil
Realiza este autodiagnóstico rápido para entender el punto de partida de tu organización. Identifica las brechas críticas y evalúa tu capacidad para transformar los datos en activos estratégicos.
• ¿Tienes dificultades para trazar el origen exacto de los datos en tus reportes?
• ¿Los tiempos de reporting son excesivos y afectan la toma de decisiones ágil?
• ¿Existen silos de información que impiden una visión 360 del negocio?
• ¿Te preocupa el cumplimiento de auditorías por falta de trazabilidad histórica?
Evalúa tu capacidad de respuesta y agenda un diagnóstico gratuito.
Sectores a los que ayudamos
En AGILEBI aplicamos metodologías de BI Ágil y DataVault para transformar la gestión de datos en organizaciones de alto impacto, garantizando escalabilidad y confianza.
[ 01 ]
Gobierno y Sector Público
Optimizamos la transparencia y el reporting regulatorio mediante arquitecturas de bóveda de datos de alta seguridad.
[ 02 ]
Banca y Finanzas
Implementamos soluciones de auditoría y trazabilidad total para entornos financieros de alto rendimiento.
[ 03 ]
Investigación y Universidades
Integramos grandes volúmenes de datos complejos para facilitar el análisis y la generación de conocimiento ágil.
[ 04 ]
Retail y Comercio
Mejoramos la visión 360 del cliente y la agilidad comercial mediante integración de datos de múltiples canales.
[ 05 ]
Industria y Manufactura
Resolvemos retos de eficiencia operativa y control histórico de procesos mediante modelos de datos evolucionables.
[ 06 ]
Salud y Seguros
Garantizamos la integridad de la información sensible y el cumplimiento de normativas de trazabilidad histórica.