Publicado el 10 de Octubre del 2019
1.424 visualizaciones desde el 10 de Octubre del 2019
1,1 MB
95 paginas
Creado hace 5a (26/10/2018)
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Tema 3: Introducción al aprendizaje automático
M. A. Gutiérrez Naranjo
F. J. Martín Mateos
J. L. Ruiz Reina
Dpto. Ciencias de la Computación e Inteligencia Artificial
Universidad de Sevilla
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Contenido
• Introducción
• Aprendizaje de árboles de decisión
• Aprendizaje de reglas
• Aprendizaje basado en instancias: kNN
• Clustering
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Sección 1
Sección 1
Introducción
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
¿Qué es aprender?
Definiciones de aprendizaje:
• Cualquier cambio en un sistema que le permita realizar la
misma tarea de manera más eficiente la próxima vez
(H. Simon)
• Modificar la representación del mundo que se está percibiendo
(R. Michalski)
• Realizar cambios útiles en nuestras mentes
(M. Minsky)
• Se dice que aprendemos de la experiencia a realizar alguna
tarea si la realización de la tarea mejora con la experiencia
respecto a alguna medida de rendimiento
(T. M. Mitchell)
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
¿Qué es aprender?
Definiciones de aprendizaje:
• Cualquier cambio en un sistema que le permita realizar la
misma tarea de manera más eficiente la próxima vez
(H. Simon)
• Modificar la representación del mundo que se está percibiendo
(R. Michalski)
• Realizar cambios útiles en nuestras mentes
(M. Minsky)
• Se dice que aprendemos de la experiencia a realizar alguna
tarea si la realización de la tarea mejora con la experiencia
respecto a alguna medida de rendimiento
(T. M. Mitchell)
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
¿Qué es aprender?
Definiciones de aprendizaje:
• Cualquier cambio en un sistema que le permita realizar la
misma tarea de manera más eficiente la próxima vez
(H. Simon)
• Modificar la representación del mundo que se está percibiendo
(R. Michalski)
• Realizar cambios útiles en nuestras mentes
(M. Minsky)
• Se dice que aprendemos de la experiencia a realizar alguna
tarea si la realización de la tarea mejora con la experiencia
respecto a alguna medida de rendimiento
(T. M. Mitchell)
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
¿Qué es aprender?
Definiciones de aprendizaje:
• Cualquier cambio en un sistema que le permita realizar la
misma tarea de manera más eficiente la próxima vez
(H. Simon)
• Modificar la representación del mundo que se está percibiendo
(R. Michalski)
• Realizar cambios útiles en nuestras mentes
(M. Minsky)
• Se dice que aprendemos de la experiencia a realizar alguna
tarea si la realización de la tarea mejora con la experiencia
respecto a alguna medida de rendimiento
(T. M. Mitchell)
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Aprendizaje
• Aprendizaje automático: construir sistemas computacionales
que a partir de datos y percepciones mejoran su rendimiento
en la realización de una determinada tarea (sin haber sido
explicitamente programados para dicha tarea).
• Ejemplos de tareas:
• Construcción de bases de conocimiento a partir de experiencia
y observaciones
• Clasificación y diagnóstico
• Minería de datos, descubrir modelos matemáticos que explican
un fenómeno a partir de gran cantidad de datos
• Resolución de problemas, planificación y acción
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Tipos de aprendizaje y paradigmas
• Tipos de aprendizaje
• Supervisado
• No supervisado
• Con refuerzo
• Paradigmas
• Aprendizaje basado en instancias (memorización)
• Agrupamiento (Clustering)
• Aprendizaje inductivo
• Aprendizaje por analogía
• Descubrimiento
• Algoritmos genéticos, redes neuronales
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Ejemplo de aprendizaje
• Conjunto de entrenamiento
• Ejemplos: días en los que es recomendable (o no) jugar al tenis
• Representación como una lista de pares atributo–valor
Cielo
Soleado
Soleado
Nublado
Lluvia
Temperatura
Alta
Alta
Alta
Suave
Humedad
Alta
Alta
Alta
Alta
Viento
Débil
Fuerte
Débil
Débil
JugarTenis
-
-
+
+
Ej.
D1
D2
D3
D4
. . .
• Objetivo: Dado el conjunto de entrenamiento, aprender el
concepto “Días en los que se juega al tenis”
• Se trata de aprendizaje supervisado
• Problema: ¿Cómo expresar lo aprendido?
• En este tema, veremos algoritmos para aprender árboles de
decisión, reglas, modelos probabilísticos,...
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Sección 2
Sección 2
Aprendizaje de árboles de decisión
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Árboles de decisión
• Un árbol de decisión es un grafo etiquetado que representa un
concepto.
• Ejemplos de árboles de decisión
Cielo
Soleado
Nublado
Lluvia
Humedad
+
Viento
Alta
Normal
Fuerte
Debil
−
+
−
+
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Árboles de decisión
• Ejemplos de árboles de decisión
Color
Rojo
Verde
Azul
Tamaño
−
Forma
Grande
Pequeño
Redondo
Cuadrado
+
−
Tamaño
+
Grande
Pequeño
+
−
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Árboles de decisión
• Árboles de decisión
• Nodos interiores: atributos
• Arcos: posibles valores del nodo origen
• Hojas: valor de clasificación (usualmente + ó −, aunque podría
ser cualquier conjunto de valores, no necesariamente binario)
• Representación de una función objetivo
• Disyunción de reglas proposicionales:
(Cielo=Soleado ∧ Humedad=Alta → JugarTenis= −)
∨ (Cielo=Soleado ∧ Humedad=Normal → JugarTenis= +)
∨ (Cielo=Nublado → JugarTenis= +)
∨ (Cielo=Lluvioso ∧ Viento=Fuerte → JugarTenis= −)
∨ (Cielo=Lluvioso ∧ Viento=Debil → JugarTenis= +)
• Capaz de representar cualquier subconjunto de instancias
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Aprendizaje de árboles de decisión
• Objetivo: aprender un árbol de decisión consistente con los
ejemplos, para posteriormente clasificar ejemplos nuevos
• Ejemplo de conjunto de entrenamiento:
Cielo
Soleado
Soleado
Nublado
Lluvia
Temperatura
Alta
Alta
Alta
Suave
Humedad
Alta
Alta
Alta
Alta
Viento
Débil
Fuerte
Débil
Débil
JugarTenis
-
-
+
+
Ej.
D1
D2
D3
D4
. . .
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Árboles de decisión
−
D = [34 , 27 ]
+
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Árboles de decisión
−
D = [34 , 27 ]
+
COLOR
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Árboles de decisión
−
D = [34 , 27 ]
+
COLOR
ROJO
VERDE
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Árboles de decisión
−
D = [34 , 27 ]
+
COLOR
ROJO
VERDE
−
D = [26 , 27 ]
+
ROJO
??
−
D = [8 , 0 ]
+
VERDE
??
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Árboles de decisión
−
D = [34 , 27 ]
+
COLOR
ROJO
VERDE
−
D = [26 , 27 ]
+
ROJO
??
−
D = [8 , 0 ]
+
VERDE
SI
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Árboles de decisión
−
D = [34 , 27 ]
+
COLOR
ROJO
VERDE
−
D = [26 , 27 ]
+
ROJO
FORMA
...
...
−
D = [8 , 0 ]
+
VERDE
SI
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Clasificadores
Forma
Rombo
Cuadrado
Color
Rojo
Rojo
Azul Circunferencia
Azul
Cuadrado
Clasificación
Pos
Pos
Neg
Neg
Color
Azul
Circunferencia
Forma
Rombo
Cuadrado
Neg
Neg
Pos
Color
Rojo
Pos
Rojo
Pos
Azul
Neg
hAzul, Romboi
???
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Clasificadores
Forma
Rombo
Cuadrado
Color
Rojo
Rojo
Azul Circunferencia
Azul
Cuadrado
Clasificación
Pos
Pos
Neg
Neg
Color
Azul
Circunferencia
Forma
Rombo
Cuadrado
Neg
Neg
Pos
Color
Rojo
Pos
Rojo
Pos
Azul
Neg
hAzul, Romboi
???
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
La navaja de Occam
Guillermo de Occam (1288-1349)
Lex parsimoniae
non
Entia
sunt multiplicanda
praeter necessitatem (No ha de
presumirse la existencia de más
cosas que las absolutamente nece-
sarias)
Guillermo de Occam
La navaja de Occam
En igualdad de condiciones la solución más sencilla es
probablemente la correcta
Introducción
Aprendizaje de árboles de decisión
Aprendizaje de reglas
Aprendizaje basado en instancias: kNN Clustering
Algori
Comentarios de: Tema 3: Introducción al aprendizaje automático (0)
No hay comentarios