PDF de programación - Bases de datos Masivas

Bases de Datos Masivas

Data Warehouse
Bases de Datos Multidimensionales

Banchero, Santiago

Septiembre 2015



Introducción a Data Warehouse (DW)

Concepto de DW. Definición según W. H. Inmon:

“A data warehouse is a subject-oriented, integrated, time-variant, and
nonvolatile collection of data in support of management’s decision making
process.”

Características de un DW:

● Orientado a un tema
● Integración
● Variante en el tiempo
● No volátil



Introducción a Data Warehouse (DW)
Data Warehouse — Subject-Oriented

● Organizado en torno a grandes temas, como: clientes, productos,

ventas (Otros ejemplos...)

● Centrándose en el modelado y análisis de los datos para los
tomadores de decisiones, no en las operaciones diarias o
procesamiento de transacciones.

● Provee una visión simple y concisa sobre cuestiones temáticas
particulares por exclusión de los datos que no son útiles en el proceso
de apoyo a las decisiones.



Introducción a Data Warehouse (DW)
Data Warehouse — Integrated

● Construido por la integración de múltiples y heterogeneas fuentes de

● Bases de datos relacionales, archivos planos, XML, hojas de

datos

cálculo, etc.

● Técnicas de integración de datos y de limpieza de datos son aplicadas.
● Garantizar la coherencia en las convenciones de nomenclatura, las

estructuras de codificación, medidas de atributos, etc. entre las
diferentes fuentes de datos

● Todas las conversiones se realizan cuando los datos son movidos al

DW.



Introducción a Data Warehouse (DW)
Data Warehouse — Integrated



Introducción a Data Warehouse (DW)
Data Warehouse — Time Variant
El horizonte de tiempo en el DW es significativamente más largo que el
de los sistemas de bases de datos operacionales.

● DB transaccionales: datos con valores actuales, recientes.
● Los datos en el DW: proveen información de una perspectiva

histórica. (Ej. 2,3,..,10 años)

Cada clave en la estructura del DW

● Contiene un elemento de tiempo, explicito o implícito.
● Pero una clave en datos operacionales, pueden o no tener un

“elemento tiempo” asociado

La información es útil sólo cuando es estable.

Los datos operacionales cambian sobre una base momento a momento.

La perspectiva más grande, esencial para el análisis y la toma de

decisiones, requiere una base de datos estable.



Introducción a Data Warehouse (DW)
Data Warehouse — Nonvolatile
Se trata de un almacenamiento físicamente separado, de datos
transformados desde el ambiente operativo.

La actualización de los datos no se produce en el entorno data
warehouse.

● No se requieren mecanismos de control de concurrencia,

recuperación o proceso de transacciones. Requiere solo dos
operaciones:

● La carga inicial de los datos
● Acceso a los datos



Introducción a Data Warehouse (DW)
OLTP y OLAP
tradicionales (OLTP - On Line
Los sistemas
Transaction Processing) son inapropiados para el soporte a las
decisiones.

transaccionales

Los sistemas tradicionales de gestión suelen realizar tareas repetitivas
muy bien estructuradas e implican transacciones cortas y actualizaciones
generalmente.

Las Tecnologías de Data Warehouse se han convertido en una
importante herramienta para integrar fuentes de datos heterogéneas
y darle lugar a los sistemas de OLAP (On Line Analytic Processing)

Los sistemas de soporte a la decisión requieren la realización de consultas
complejas que involucran muchos datos e incluyen funciones de
agregación.

De hecho, las actualizaciones son operaciones poco frecuentes en este
tipo de aplicaciones, denominado genéricamente "procesamiento analítico"



Introducción a Data Warehouse (DW)
OLTP y OLAP



Introducción a Data Warehouse (DW)
¿Por qué tener un DW separado?

● Mantener el rendimiento en ambos sistemas

● DBMS están optimizados para OLTP. Métodos de acceso, indexación,

control de concurrencia, mecanismos de recuperación.

● DW está optimizado para OLAP. Resolver consultas complejas, vistas

multidimensionales, consolidación, etc.

● Diferentes funciones y diferentes datos:

● DSS requiere de datos históricos
● Consolidación de datos: DSS1 requieren consolidar (agregación,
sumarización) datos heterogéneos.

● Los OLTP se ocupan solo de las transacciones.



1 Decision Support System



Introducción a Data Warehouse (DW)
Arquitectura de múltiples capas de un DW

Introducción a Data Warehouse (DW)
Tres modelos de DW
DW Empresarial
recoge toda la información sobre temas que abarcan toda la
organización

Data Mart
un subconjunto de datos en toda la empresa que es de
valor para un grupo específico de usuarios. Por ejemplo el
data mart de marketing

Virtual warehouse
Un conjunto de vistas sobre un sistema de OLTP
Solamente algunas de las posibles sumarizaciones pueden
ser materializadas

Introducción a Data Warehouse (DW)
Extraction, Transformation, and Loading (ETL)

Las herramientas de Extraction–transformation–loading ETL son piezas
de software responsables de la extracción de datos desde varias
fuentes, su limpieza, puesta a punto, re formateo, integración e
inserción en un Data Warehouse.

Construir el proceso de ETL es una de las grandes tareas de la
implementación de un data warehouse.

La construcción de un data warehouse requiere enfocarse en entender tres
cuestiones:

● las fuentes de datos,
● quienes son los destinatarios
● y cómo mapear esos datos (proceso de ETL)

Introducción a Data Warehouse (DW)
Extraction, Transformation, and Loading (ETL)

Data extraction
get data from multiple, heterogeneous, and external sources
Data cleaning
detect errors in the data and rectify them when possible
Data transformation
convert data from legacy or host format to warehouse format
Load
sort, summarize, consolidate, compute views, check integrity, and
build indicies and partitions

Refresh
propagate the updates from the data sources to the warehouse

Introducción a Data Warehouse (DW)
Metadata Repository
Meta data son los datos que definen a los objetos en el DW.

En él se almacenan:

 Descripciones de la estructura del DW: schema, view, dimensions, hierarchies,

derived data defn, data mart locations and contents

 Operacional meta-data: el linaje de los datos (historial sobre los datos

migrados y las transformaciones), datos en circulación (active, archived, or
purged), información de monitoreo (warehouse usage statistics, error reports,
audit trails)

 Los algoritmos utilizados para la sumarización
 Cómo es el mapeo desde el OLTP al DW
 Datos relacionados con el rendimiento del sistema

– warehouse schema, view and derived data definitions

 Datos del negocio

– business terms and definitions, ownership of data, charging policies

Introducción a Data Warehouse (DW)
Modelo Multidimensional

● Las herramientas de DW y OLAP se basan en un modelo de datos multidimensional
● Este modelo ve los datos como “cubos”
● Un CUBO permite que los datos sean modelados y visualizados en múltiples

dimensiones.
Un cubo esta definido por 2 componentes:

● Tablas de dimensiones
● Tablas de Hechos

● Dimension Tables: tales como items (nombre, tipo, marca), o tiempo (días, semanas,

meses, años)

● Fact Table: Contiene las medidas (ej: ventas en pesos) y las claves para cada una de

las tablas de dimensiones relacionadas.

En la literatura de almacenamiento de datos, un cubo de base de n-D se
llama un cuboide de base. Más a la cima del esta el “cuboide” 0-D, que
tiene el más alto nivel de resumen, se llama el cuboides ápice.
El entramado de cuboides forma un cubo de datos.

Introducción a Data Warehouse (DW)
Modelo Multidimensional

Tablas de dimensiones
● Representa lo que se quiere guardar en relación a un problema.
● Cada tabla a su vez puede tener asociadas otras tablas.
● Las Tablas de Dimensión pueden ser especificadas por usuarios o por

expertos o generadas automáticamente y ajustadas a partir de la
distribución de los datos.

Claves Naturales vs Claves Subrogadas
Las claves existentes en los OLTP se denominan claves naturales;
Las claves subrogadas son aquellas que se definen artificialmente, son:

● de tipo numérico secuencial,
● no tienen relación directa con ningún dato
● y no poseen ningún significado en especial.

Introducción a Data Warehouse (DW)
Modelo Multidimensional: ¿Por qué usar claves subrogadas?
Fuentes heterogéneas. El DW suele alimentarse de diferentes fuentes,
cada una de ellas con sus propias claves, por lo que es arriesgado
asumir un código de alguna aplicación en particular.
Ejemplo: Dos sistemas con claves su propia tabla de localidades.. ¿Qué ID le ponemos
en el DW?
Cambios en las aplicaciones origen. Puede pasar que cambie la lógica
operacional de alguna clave que hubiésemos supuesto única, o que
ahora admite nulos.
Ejemplo: Algo raro... ¿Qué pasa si uno de los empleados no tiene nro de documento?
Rendimiento. Dado que un entero ocupa menos espacio que una
cadena y además se lee mucho más rápido.
El problema en si no es el espacio, sino el tiempo de lectura.
Las claves subrogadas forman parte de la tabla de hechos, cada código
se repite miles/millones de veces.
Será necesario optimizar todo lo posible.
Lo mejor es crear nuestras propias claves subrogadas desde el
inicio del proyecto.

Introducción a Data Warehouse (DW)
Modelo Multidimensional

Tabla de Hechos
● El modelo múltidimensional es organizado generalmente entorno a un

tema.



Ej: Ventas, Precipitaciones, etc.

● Ese tema tiene que estar representado en la Tabla de Hechos.
● Los hechos son medidas numéricas, que se expresan

generalmente en cantidades que van a permitir expresar las relaciones
entre las dimensiones.

● La TH contiene contiene los nombres de los hechos o las medidas y
también las claves para cada una de las Tablas de Dimensiones que
vamos a relacionar.

Introducción a Data Warehouse (DW)
Modelo Mu