PDF de programación - Combinando en un mismo DBMS: Transacciones + Análisis de Rendimiento Extremo

Jun 9, 1011

Informix Ultimate Warehouse Edition

Combinando en un mismo DBMS:
Transacciones + Análisis de Rendimiento Extremo

Veronica Gomes ([email protected]) – IBM Informix Development

© 2011 IBM Corporation

Software Group – Information Management

Agenda

 Retos y Tendencias en la Industria de Data Warehouse

 Data Warehousing con Informix

 Informix Ultimate Warehouse Edition

 Informix Warehouse Accelerator

 Resultados en Rendimiento

 Información Adicional

 Q & A

2

© 2011 IBM Corporation

Software Group – Information Management

Agenda

 Retos y Tendencias en la Industria de Data Warehouse

 Data Warehousing con Informix

 Informix Ultimate Warehouse Edition

 Informix Warehouse Accelerator

 Resultados en Rendimiento

 Información Adicional

 Q & A

3

© 2011 IBM Corporation

Software Group – Information Management

Transacciones vs Análisis – Uso de la Base de Datos

Base de Datos para Transacciones (OLTP)

Data Warehouse para Análisis (OLAP)

Soporta las operaciones de misión crítica y día-a-día del negocio

Soporta la estrategia y toma de decisiones del negocio

Acceso a través de aplicaciones específicas

Acceso a través de herramientas de inteligencia de negocios

Diseño de BD a partir de la aplicación (Modelo Entidad-Relación)

Diseño multidimensional: métricas y perspectivas del negocio (Estrella)

Data actual, aislada a un sistema, detallada, normalizada

Data histórica, integrada, detallada/sumarizada a cierto nivel, duplicada

Muchos usuarios concurrentes (de niveles operativo e IT)

Pocos usuarios concurrentes (de niveles gerencial y ejecutivo)

Transacciones cortas y simples, lecturas y cambios aleatorios en línea

Queries complejos, joins, filtros, agregaciones; Delta de cargas (batch)

Acceso aleatorio a poco volumen de datos, operaciones sobre registros

Acceso secuencial a gran volumen de datos, operaciones sobre columnas

Uso repetitivo, SQL pre-definidos y pre-optimizados

Uso ad-hoc, queries no conocidos ni optimizados a priori

Métrica de rendimiento: Transaction Throughput

Métrica de rendimiento: Query Throughput & Respuesta

4

© 2011 IBM Corporation

Software Group – Information Management

Almacenamiento por Registro – Ventajas y Retos para OLAP

 Bases de datos con almacenamiento basado en registro (row-based / row-wise database)

 Características de este diseño:

– Usada en disco y memoria por los Sistemas para Manejo de Bases de Datos Relacionales (RDBMS)
– Se almacena un registro completo (tupla/fila) dentro de una página, seguido por el próximo registro
– Optimiza el almacenamiento de nuevos registros y posteriores cambios en ellos (loads, inserts, merge, update, delete)
– Es eficiente en I/O al obtener registros si el query necesita la mayoría de sus columnas
– Si la data es comprimida en el almacenamiento, el registro es descomprimido cuando se obtiene

 Ventajas:

– La tecnología de RDBMS ha evolucionado por décadas, a plataformas que satisfacen altas demandas empresariales
– Alto rendimiento en cargas de trabajo y transacciones en base a registros, como las de tipo OLTP
– Alto rendimiento en operaciones masivas de carga, inserción, merge y actualización, importantes en Data Warehouse

Informix aprovecha esta tecnología
para cargas OLTP y OLAP

5

5

© 2011 IBM Corporation

Software Group – Information Management

Almacenamiento por Registro – Ventajas y Retos para OLAP

 Retos de la carga de trabajo de tipo Warehousing/OLAP producida por consultas analíticas:

– Es inherentemente compleja para los RDBMS, ya que estos queries típicamente:

• Necesitan procesar sólo pocas columnas en millones/billones de registros a la vez
• Producen múltiples joins, scans, funciones de agregación, sorts y predicados
• Son queries ad-hoc, generados al momento desde herramientas de BI/OLAP
• El acceso es costoso: Los valores de la misma columna para cualesquiera dos

registros distintos se encuentran separados entre sí

– Todo esto en una base de datos que crece incrementalmente
– Los usuarios demandan cada vez por tiempos de respuesta rápidos y predecibles

Select col1 c, sum(col3) total
From …
Group by col1
Order by total desc;

6

6

© 2011 IBM Corporation

Software Group – Information Management

Almacenamiento por Registro – Ventajas y Retos para OLAP

 Algunas formas de superar estos retos en un RDBMS incluyen:

– Construcción de índices
– Particionamiento de datos (Fragmentación)
– Compresión de datos
– Construcción de Cubos (MOLAP/ROLAP/HOLAP)
– Creación y mantenimiento de Tablas de Agregados o Vistas Materializadas
– Entonación de la consulta SQL reescribiendo el query
– Actualización de las Estadísticas del Optimizador
– Ajuste de parámetros para optimizar carga de trabajo OLAP/DSS en el motor
– Appliances que agregan nueva capa de hardware y software optimizar el I/O al DBMS

 Tener un sistema con carga de trabajo mixta (OLTP/OLAP) es siempre un reto

– Ajustar y mantener el sistema para rendimiento tanto para OLTP como para OLAP
– La carga de trabajo OLAP afecta el rendimiento de la carga de trabajo OLTP y viceversa

7

7

© 2011 IBM Corporation

Software Group – Information Management

Almacenamiento por Columna – Ventajas y Retos para OLAP

 Bases de datos columnares (column-based / column-oriented / columnar databases)

 Características:

– La tecnología existe desde comienzos la década de los 1970’s y ha resurgido recientemente
– Se almacenan juntos los valores de cada columna, para todas las instancias (registros)

 Ventajas:

– Alto rendimiento en consultas analíticas y cualquier carga de trabajo basada en columna, donde

típicamente se necesitan todos los valores de unas pocas columnas

– Al guardar juntos todos valores de cada columna, se pueden obtener mejores niveles de compresión
– Combinada con tecnología de in-memory database, se alcanzan tiempos extremadamente bajos

Select col1 c, sum(col3) total
From …
Group by col1
Order by total desc;

8

© 2011 IBM Corporation

Software Group – Information Management

Almacenamiento por Columna – Ventajas y Retos para OLAP

 Retos:

– Lentitud en la carga completa e incremental del warehouse: Cada registro a insertar es separado en sus columnas,

cada una se almacena en forma comprimida junto con las otras instancias de valores de dicha columna

– Lentitud en operaciones basadas en registro u obtención de múltiples columnas: Cada vez que se requiere un registro

se obtienen y descomprimen separadamente los valores de sus columnas, y se agrupan para formar el registro

– Tienen necesidad de producir mecanismos internos para “imitar” un sistema relacional en varios aspectos
– Puede necesitarse: disponer de mucha memoria para escalar, crear índices apropiados, y reorganizar toda la data
– No apropiados para ambientes mixtos OLTP/OLAP
– Los datos pueden no estar disponibles durante las cargas/actualizaciones
– Dependiendo de la implementación, pueden ofrecer limitaciones adicionales en: el esquema y jerarquía de datos,

acceso a los datos, uso de estándarles y SQL, alta-disponibilidad, escalabilidad, concurrencia de usuarios, etc

Informix aprovecha esta
tecnología para queries OLAP

9

© 2011 IBM Corporation

Software Group – Information Management

Data Warehousing en 2011

DBMS Market in 2011:

 DBMS market at the close of 2009 was approximately $21.2 billion (2010 data not yet

available)

 Data Warehouse DBMS market was approximately 35% of the DBMS market or $7.42 billion

Key Findings:

 Data warehouse DBMSs have evolved to a broader analytics infrastructure supporting

operational analytics, corporate performance management and other new applications and
uses.

 Cost is driving interest in alternative architectures but performance optimization is driving

multi-tiered data architectures and a variety of deployment options - notably a strong interest
in in-memory data mart deployments.

10

10

© 2011 IBM Corporation

Software Group – Information Management

Data Warehousing en 2011

Market Dynamics for 2011:

 Today, smaller data warehouses, those less than 5 TB's of source system extracted data

(SSED) are the only "data warehouse" for the entire organization and are commonly solving
organizations' analytic needs. Gartner estimates that between 70% and 75% of all systems
referred to as EDW are actually single business departments in nature.

Analysis:

 Optimization techniques such as summaries, aggregates and indexes are simply the result
of performance restrictions inherent to normalized data and the way the RDBMS manages
rows and columns.

11

11

© 2011 IBM Corporation

Software Group – Information Management

Data Warehousing en 2011

A Glimpse Into the Future:

 Vendor solutions began to focus even more on the ability to isolate and prioritize workload

types including strategies for dual warehouse deployments and mixing OLTP and OLAP on
the same platform.

 In-memory DBMS solutions provide a technology which enables OLTP/OLAP combined
solutions. Organizations should increase their emphasis on financial viability during 2011
and even into 2012 as well as aligning their analytics strategies with vendor road maps when
choosing a solution.

12

12

© 2011 IBM Corporation

Software Group – Information Management

Tendencias de Data Warehouse para CIOs, 2011-2012

Data Warehouse Appliances:

 DW appliances are not a new concept. Most vendors have developed an appliance offering or promote

certified configurations. Main reason for consideration is simplicity.

The Resurgence of Data Marts:

 Data marts can be used to optimize DW by offloading part of the workload, returning greater performance

to the warehousing environment

Column-Store DBMSs:

 CIOs should be aware that their current DBMS vendor may offer a column-store solution. Don’t just buy a

column-store-only DBMS because a column store was recommended by your team.

In-Memory DBMSs:

 IMDBMS technology also introduces a higher probability that analytics and t