PDF de programación - Data WareHouse

Data WareHouse

PROYECTO DATA WAREHOUSING

Que es un DataWareHouse?


Es un repositorio de datos de muy fácil
acceso, alimentado de numerosas fuentes,
transformadas en grupos de información
sobre temas específicos de negocios, para
permitir nuevas consultas, análisis,
reporteador y decisiones.

- Analisys services
-

Reporting services

SQL Server
Integratión services

-
-
- Analisys services

Data WareHouse

Proyecto Data WareHousing

Los objetivos fundamentales de un Data WareHouse son:


 Hace que la información de la organización sea accesible: los

contenidos del Data WareHouse son entendibles y navegables, y el
acceso a ellos son caracterizados por el rápido desempeño.



 Hacer que la información de la organización sea consistente: la

información de una parte de la organización puede hacerse coincidir
con la información de la otra parte de la organización. Si dos
medidas de la organización tienen el mismo nombre, entonces deben
significar la misma cosa. Y a la inversa, si dos medidas no significan la
misma cosa, entonces son etiquetados diferentes. Información
consistente significa, información de alta calidad. Significa que toda
la información es contabilizada y completada.

Data WareHouse

Proyecto Data WareHousing







Es información adaptable y elástica: el Data WareHouse esta
diseñado para cambios continuos. Cuando se le hacen nuevas
preguntas al Data WareHouse, los datos existentes y las tecnologías
no cambian ni se corrompen. Cuando se agregan datos nuevos al
Data WareHouse, los datos existentes y las tecnologías tampoco
cambian ni se corrompen.

Es la fundación de la toma de decisiones: el Data WareHouse tiene los
datos correctos para soportar la toma de decisiones. Solo hay una
salida verdadera del Data WareHouse: las decisiones que son hechas
después de que el Data WareHouse haya presentado las evidencias.
La original etiqueta que preside el Data WareHouse sigue siendo la
mejor descripción de lo que queremos construir: un sistema de
soporte a las decisiones.



Data WareHouse

Proyecto Data WareHousing

Los procesos básicos de un Data WareHouse (ETL)







Extracción: este es el primer paso de obtener la información hacia el
ambiente del Data WareHouse.

Transformación: una vez que la información es extraída hacia el área
de trafico de datos, hay posibles paso de transformación como;
limpieza de la información, tirar la basura que no nos sirve, seleccionar
únicamente los campos necesarios para el Data WareHouse,
combinar fuentes de datos, haciéndolas coincidir por los valores de
las llaves, creando nuevas llaves para cada registro de una
dimensión.

 Carga: al final del proceso de transformación, los datos están en

forma para ser cargados.



SQL Server

Proyecto Data WareHousing

Integratión Services

Proyecto Data WareHousing

Estructura de Data WareHousing

SQL Server 2008

En esta parte de la pantalla vemos la estructura de una BD ordinaria , en la cual vemos un solo
servidor, diferentes Bases de datos y tablas de información.

Estructura de Data WareHousing

SQL Server 2008

Una base de datos esta conformada por Tablas, Vistas y en la cual podemos también programar
eventos mediante el lenguaje Transact SQL que son Consultas o Query’s a las diferentes tablas y
Bases de datos que puedan existir en uno o varios servidores.

Estructura de Data WareHousing

SQL Server 2008

Una base de datos esta conformada por Tablas, Vistas y en la cual podemos también programar
eventos mediante el lenguaje Transact SQL que son Consultas o Query’s a las diferentes tablas y
Bases de datos que puedan existir en uno o varios servidores, así como también podemos
programas Job’s o Tareas para que estas se ejecuten en ciertas horas y días.

Estructura de Data WareHousing

Transact SQL

En una consulta SQL podemos realizar varios procesos a una BD por ejemplo, insert, update,
droptable, delete, select, createview, createtable, truncate, etc. y estos combinados en una sola
consulta, a esto se le llama transformación o tratamiento de la información.

Estructura de Data WareHousing

Transact SQL

El tratamiento de la información es importante ya que en este podemos agregar las uniones con otras tablas
ya sea del mismo servidor o de otra tabla que no pertenezca al mismo origen de datos, la consulta raíz
normalmente solo tiene los campos principales y los demás datos descriptivos los tomamos de catálogos que
cuentan con las llaves primarias y secundarias ya definidas y con las cuales se pueden hacer las uniones a
otras tablas y las descripciones de cada uno de los campos, cabe mencionar que para realizar una unión es
necesario tener el mismo tipo y tamaño en el campo de dato en las llaves.

Estructura de Data WareHousing

Transact SQL

En esta imagen vemos el ejemplo de una consulta a una tabla de información, la cual ya fue
tratada por varias consultas y en la cual se esta realizando unión a otras tablas para extraer los
campos de descripción y así poder formar una tabla con la información ya detallada de las
unidades de negocio.

Estructura de Data WareHousing

Jobs

El proceso de Extracción, Tratamiento y Carga de información (ETL), se puede automatizar creando
Jobs o trabajos en SQL server, aquí podemos programar a que horas y días queremos que sean
ejecutados los procedimientos almacenados (SP) sin que se tenga que correr manualmente estas
consultas.

Estructura de Data WareHousing

Integration Services

Integration Services es una plataforma para crear soluciones de integración de datos de alto
rendimiento, incluidos los paquetes de extracción, transformación y carga (ETL) para el
almacenamiento de datos. Integration Services incluye herramientas gráficas y asistentes para crear
y depurar paquetes; tareas para realizar funciones de flujo de trabajo tales como operaciones FTP,
ejecución de instrucciones; orígenes y destinos de datos para extraer y cargar datos;
transformaciones para limpiar, agregar, mezclar y copiar datos.

Flujo de datos

Flujo de Control

Estructura de Data WareHousing

Integratión Services

Integration Services es la herramienta para el inicio de desarrollo de un Data WareHouse ya que este
software nos ayuda a integrar los servidores y bases de datos en un solo origen y es la principal
herramienta para el desarrollo de un ETL, para acceder a este servicio se utiliza Visual Studio y SQL
Integration Services.

Estructura de Data WareHousing

ETL

Como resultado final del ETL podemos obtener ya un origen de información Dinámico ya que este
ante cualquier actualización ya sea en un a tabla o campo de cualquier base de datos que este
integrado en el ETL, será visualizado en nuestro Data WareHouse sin tener que realizar nada
manualmente o correr procesos independientes.

Estructura de Data WareHousing

Cubos de Información

Cuando ya tenemos un origen de datos en el cual extraemos información de diferentes orígenes se
puede proceder a incluir la misma en herramientas de diseño de cubos de información o
herramientas de Businnes Intelligence para el análisis de información.

Estructura de Data WareHousing

Cubos de Información

La función de las herramientas de desarrollo de cubos, es procesar la información que ya paso por
el proceso del ETL (Extracción, Transformación y Carga) y el cual nos va a permitir manejar o mover
la información de forma rápida y concisa.

Estructura de Data WareHousing

Cubos de Información

Finalmente ya terminado el procesamiento, da como resultado un cubo de información con un
origen de datos conectado a un Data WareHouse y que ante cualquier modificación o cambio en
cualquiera de las bases de datos, este se vera reflejado de inmediato en la próxima carga de
información.

Proyecto Data WareHousing

Universidad Insurgentes



Plantel Ciudad Azteca



Materia: Programación Orientada a Objetos I



Profesor:



Alumno: Raúl Valle Morales



Grupo: I9251



2do. Parcial