PDF de programación - Minería de datos

Minería de Datos

Vallejos, Sofia

Contenido

Introducción:

• Inteligencia de negocios (Business Intelligence).
• Descubrimiento de conocimiento en bases de datos (KDD).

Minería de Datos:

• Perspectiva histórica.
• Un proyecto genérico.
• Fuentes de datos.
• Funciones de minería.
• Modelos típicos de minería.

Ejemplos:

• Clustering.
• Asociación.
• Red neuronal como modelo predictivo.

Conclusiones.

Vallejos, Sofia

Inteligencia de Negocios

Hace referencia a un conjunto de productos y servicios
para acceder a los datos, analizarlos y convertirlos en

información.

“ Es un paraguas bajo el que se incluye un conjunto de
conceptos y metodologías cuya misión consiste en
mejorar el proceso de toma de decisiones en los

negocios basándose en hechos y sistemas que trabajan

con hechos.”

Howard Dresner

Gartner Group, 1989.

Vallejos, Sofia

Inteligencia de Negocios

Recursos y Herramientas

Fuentes de datos: warehouse, data marts, etc.

Herramientas de administración de datos.

Herramientas de extracción y consulta.

Herramientas de modelización (Data Mining).

Vallejos, Sofia

Descubrimiento de

Conocimiento en Bases de Datos

Es un proceso de extracción no trivial para identificar
patrones que sean válidos, novedosos, potencialmente

útiles y entendibles, a partir de los datos.

Su objetivo principal: procesar automáticamente
grandes cantidades de datos para encontrar

conocimiento útil para un usuario y satisfacer sus

metas.

Vallejos, Sofia

Descubrimiento de

Conocimiento en Bases de Datos

Jerarquía

Vallejos, Sofia

Descubrimiento de

Conocimiento en Bases de Datos

Etapas de KDD

Vallejos, Sofia

Qué es Minería

de Datos

Es el proceso de exploración y análisis – de manera

automática o semiautomática – de los datos para
obtener patrones significativos y reglas de negocio.

Es la aplicación de las técnicas de la Inteligencia

Artificial.

Consideraciones:

• Los patrones deben ser significativos.
• Sin automatización es imposible mirar grandes cantidades de

datos, pero se debe dar más énfasis a las etapas de
exploración y análisis, que al modo de exploración.

• Data Mining es un proceso.

Vallejos, Sofia

Qué no es Minería

de Datos

No es un producto que se compra enlatado sino una

disciplina que debe ser dominada.

No es una solución instantánea a los problemas de

negocio.

No es un fin en sí mismo, sino un proceso que ayuda a

encontrar soluciones a problemas de negocio.

Vallejos, Sofia

Minería de Datos:

Perspectiva histórica

Vallejos, Sofia

Un proyecto genérico

Vallejos, Sofia

Integrantes del proyecto

Vallejos, Sofia

El analista de datos

Es el vínculo entre las áreas de tecnología informática y las áreas

de negocio.

Habilidades requeridas:

• Manipulación de datos (SQL).
• Conocimiento de técnicas de minería y análisis exploratorio.
• Habilidad de comunicación (interpretación) de los problemas de

negocio.

Vallejos, Sofia

El analista de datos

Traduce los requerimientos de información en preguntas

apropiadas para su análisis con las herramientas de minería.

Vallejos, Sofia

Fuentes de Datos

Tipos de fuentes:

• Transaccionales: ej. operaciones realizadas con una tarjeta

de crédito.

banco.

• Relacionales: ej. estructura de productos que ofrece un

• Demográficos: ej. características del grupo familiar.

Origen de datos:

• Bases de datos relacionales.
• DataWarehouses.
• Data Marts.
• Otros formatos: Excel, Access, encuestas, archivos planos.

Vallejos, Sofia

Calidad de los Datos

El éxito de las actividades de Data Mining se

relaciona directamente con la CALIDAD de los datos.

Muchas veces resulta necesario pre-procesar los
datos, antes de derivarlos al modelo de análisis.

El preproceso puede incluir transformaciones,

reducciones o combinaciones de los datos.

La semántica de los datos debe ayudar para

seleccionar una conveniente representación, dado
que influye directamente sobre la calidad del modelo.

Vallejos, Sofia

Funciones de minería

Utilizan técnicas matemáticas elaboradas para

descubrir patrones ocultos en los datos. Ellas son:

• Asociación.
• Clasificación neuronal.
• Clasificación en árbol.
• Clustering demográfico.
• Clustering neuronal.
• Patrones secuenciales.
• Secuencias semejantes.
• Predicción neuronal.
• Predicción - función base radial.

Vallejos, Sofia

Modelos típicos de

minería

Clustering.

Clasificación.

Estimación.

Predicción.

Agrupamiento a partir de reglas de asociación.

Vallejos, Sofia

Modelos típicos de minería:

Clustering

Agrupar a los clientes según indicadores F

(frecuencia), M (monto), etc en segmentos de
comportamientos homogéneos.

Resultado: Clientes Buenos, Medios, Malos.

El 78% de la facturación se concentra en el cluster

Buenos.

Los clientes Buenos son casados, con hijos,

trabajadores autónomos con ingreso superior a
$3000 pesos.

Vallejos, Sofia

Modelos típicos de minería:

Clasificación y Estimación

Clasificar un nuevo cliente – de acuerdo a su perfil

sociodemográfico – como un cliente:

• Bueno.
• Medio.
• Malo.

Estimar el consumo de un determinado rubro de
artículos de un grupo de clientes en el próximo
trimestre.

Vallejos, Sofia

Modelos típicos de minería:

Predicción

Predecir el abandono de un cliente:

• Para una compañía de telefonía celular.
• Para una AFJP.
• Para una tarjeta de crédito.

Vallejos, Sofia

Modelos típicos de minería:

Asociación

Encontrar las reglas que determinan la interrelación

entre productos para clientes de un banco. Por
ejemplo:

“ Cuando un cliente se activa en Caja de Ahorros, el
siguiente producto donde se activa es Préstamos
Personales. Este patrón ocurre el 65 % de los
casos. ”

Vallejos, Sofia

Elección del modelo

Principales objetivos del proceso de Data Mining:

• Predicción.
• Descripción.

El método a utilizar depende de los objetivos

perseguidos por el análisis pero también de la calidad
y cantidad de los datos disponibles.

Vallejos, Sofia

Ejemplos con DB2

Intelligent Miner for Data

Es un software que comprende un
conjunto de funciones estadísticas, de
proceso, y de Mineria de Datos.

Ofrece herramientas de visualización

Vallejos, Sofia

Ejemplos con DB2

Intelligent Miner for Data

Clustering.

Asociación.

Red neuronal como modelo predictivo.

Vallejos, Sofia

Clustering

Es la partición del conjunto de individuos en

subconjuntos lo más homogéneos posibles.

El objetivo es maximizar la similitud de individuos del

cluster y maximizar las diferencias entre clusters.

Se aplica para segmentación de bases de datos,

identificación de tipos de clientes, etc.

Vallejos, Sofia

¿Con qué criterio se
agrupan estos rostros?

Vallejos, Sofia

Aportes del software

de minería

Determinar el número óptimo de clusters.

Asignar a cada individuo a un único cluster.

Evaluar el impacto de las variables en la formación

del cluster.

Comprender el “perfil” de cada cluster.

Vallejos, Sofia

Ejemplo de Clustering

La gerencia comercial de un banco necesita identificar
al segmento más valioso de clientes de una tarjeta de
crédito para organizar sus gastos de promociones y

campañas de marketing directo.

Datos disponibles:

• Frecuencia de uso de la tarjeta.
• Saldo promedio mensual en $.
• Posesión de tarjeta Gold.
• Monto promedio por cada transacción.
• Cantidad de servicios por débito automático.
• Datos sociodemográficos: sexo, edad, estado civil,

• Fuente de datos: transacciones del último año, tabla de

ocupación, hijos.

clientes.

Vallejos, Sofia

Ejemplo de Clustering

Preparación de los datos:

• Definir la unidad de análisis: ¿cuenta o tarjeta?.
• Definir qué es una transacción: ¿cómo se consideran los

ajustes?.

• Describir las variables a incluir en el modelo.

Tabla de datos:

Vallejos, Sofia

Ejemplo de Clustering

Medida de calidad del modelo:

• Criterio de Condorcet: asume un valor entre 0 y 1.

Criterios de segmentación:

• Se toman como variables activas las que corresponden al

comportamiento de consumo.

• Se toman como variables suplementarias los atributos

sociodemográficos.

Vallejos, Sofia

Solución de 4 clusters

Vallejos, Sofia

Buenos clientes con

tarjeta Gold

Vallejos, Sofia

Buenos clientes sin

tarjeta Gold

Vallejos, Sofia

Asociación

Análisis de la canasta de mercado:

• Objetivo: generar reglas del tipo:

SI condición ENTONCES resultado

• Ejemplo:

SI producto A y producto C ENTONCES producto B

¿Cuán buena es una regla?. Medidas que la califican:

• Soporte.
• Confianza.
• Mejora.

Vallejos, Sofia

Ejemplo de Asociación

El dueño de una pizzería vende 3 gustos de pizzas:
pepperoni, queso y hongos, y quiere armar “combos”
con las combinaciones más convenientes.

Parte de un conjunto de 2000 tickets con los

correspondientes items (gusto de pizza) incluido en
cada uno.

Vallejos, Sofia

Ejemplo de Asociación

Cálculo de las medidas de Asociación:

Vallejos, Sofia

Red neuronal

La Inteligencia Artificial trabaja con

modelos conexionistas.

El modelo conexionista imita el

sistema más complejo conocido hasta
el momento: el cerebro.

El cerebro está formado por millones

de células llamadas neuronas.

Estas neuronas son unos procesadores

de información muy sencillos con un
canal de entrada de información
(dendrita), un órgano de cómputo
(soma) y un canal de salida de