Un nuevo algoritmo incremental IADEM0

1
Un nuevo algoritmo incrementalIADEM-0
Autores Gonzalo Ramos Jiménez, Rafael Morales
Bueno, José del Campo Ávila Ponente José del
Campo Ávila
2
CONTENIDO

• Introducción

• Descripción de IADEM-0

• Resultados

• Conclusiones y trabajos futuros

Introducción
IADEM-0
Resultados
Conclusiones
3
Introducción

• Sistemas de aprendizaje automático trabajan
  sobre conjuntos de datos para extraer
  conocimiento (inducción)

• Conjuntos de datos cada vez mayores
• Grandes bases de datos
• Flujos de datos
• Extraer conocimiento con algoritmos tradicionales
  es una tarea inabordable
• Requisitos de memoria

4
La memoria en los algoritmos

• Modelos de memoria de experiencias
• Completa se guardan todas las experiencias
• IB1, ID3, ITI
• Parcial se guardan algunas experiencias
• IB2, AQ-PM, FLORA
• Sin memoria no se guardan experiencias
• Winnow, ID4, VFDT

• Modelos de memoria de conceptos
• Ninguna no almacena descripción de concepto
• Alguna reglas, árboles de decisión, etc.

5
Representación de conceptos

• Hay tres formas de representar los conceptos
• Ejemplar se compone de las experiencias en sí
• Clásica los conceptos son representados por
  expresiones lógicas que son necesarias y/o
  suficientes para describir las propiedades de los
  conceptos
• Probabilística asume que los conceptos
  representados muestran importantes propiedades de
  los conceptos reales, pero cualifica su
  importancia con probabilidades y otras medidas de
  confianza

• La representación probabilística permite explorar
  los datos mientras mantenemos la información más
  relevante extraída de las experiencias exploradas

6
Algoritmos incrementales

• Distintas interpretaciones (Michalski, Polikar)
• Características principales
• Capacidad de incorporar nuevas experiencias a la
  base de conocimiento
• Capacidad de evolucionar la base de conocimiento
  desde una estructura sencilla hacia otra más
  compleja
• Ejemplos
• ID4, STAGGER, Winnow, AQ-PM, ID5, ITI, VFDT

7
Fundamentos de IADEM-0
8
IADEM-0 (I)
Inducción de
Árboles de
DEcisión por
I
A
DE
M
- 0
Muestreo
Inicializar mientras ( Condición_Parada ?
Condición_Completamente_Expandido)
hacer Muestrear y Recalcular si (
Condición_Parada ? Condición_Expansión) entonces
si Condición_Es_Expansible(peor_nodo) entonces
Expandir_Árbol
9
IADEM-0 (II)

• Cuándo expandir el árbol?
• No solución deseada
• Frontera de expansión
• Sea expansible
• (mejor atributo del peor nodo)

• Cuándo parar?
• Solución deseada
• Árbol totalmente expandido

Inicializar mientras ( Condición_Parada ?
Condición_Completamente_Expandido)
hacer Muestrear y Recalcular si (
Condición_Parada ? Condición_Expansión) entonces
si Condición_Es_Expansible(peor_nodo) entonces
Expandir_Árbol

• Procedimientos

• Inicializar las estructuras

• Muestrear nuevas experiencias y recalcular
  valores

• Expandir el árbol

10
IADEM-0 (III)

• Parámetros y procedimientos

• Diferencias entre nodos reales y virtuales

• Grupo elemental de variables

• Procedimientos

• Predicados

11
Parámetros y argumentos

• Argumentos
• Descripción del problema ( atributos y sus
  valores )
• Conjunto de experiencias
• Error buscado ( ? ?(0,1) )
• Confianza ( ? ?(0,1) )

• Parámetros
• Factor de expansión ( ? ?(0,1) )
• determina la frontera de expansión
• Diferenciación de atributos ( d ?(0,1) )
• determina cuándo los atributos son realmente
  diferentes
• Medida de desorden ( medida 0,1k ? R ? 0
  )
• puede elegirse cualquiera
• Número de experiencias por muestreo ( n ? N )

12
Nodos reales y nodos virtuales (I)
Aa1,a2 Bb1 ,b2 ,b3 Cc1,c2 Xx1,x2
B
C
X
X
X
X
13
Nodos reales y nodos virtuales (II)
Aa1,a2 Bb1 ,b2 ,b3 Cc1,c2 Xx1,x2
B
b1
b2
b3
C
X
X
A
c1
c2
X
X
X
X
14
Grupo elemental

• Árbol definido en base a los nodos hoja ?
  HOJAS ? N

• Grupo Elemental ( para el nodo i ? HOJAS)
• atributos_usados i
• atributos_libres i
• L i
• A i
• V i, r

• t i
• n i
• n i, z
• total i
• nodos i

• virtuales
• n ( i, r, v )
• n ( i, r, v ), z

15
Procedimientos

• Inicializar
• Primer nodo hoja del árbol
• Valores iniciales a las variables del grupo
  elemental

• Muestrear_y_Recalcular
• Toma n experiencias y actualiza la estructura
• Se recalculan variables y predicados

• Expandir_Árbol
• Elimina el peor_nodo hoja
• Inserta como nuevas hojas a los hijos del
  peor_nodo

16
Predicados (I)
Condición_Parada 2N ? V, F
Condición_Parada(HOJAS) ? sup( error ) ? ?
Condición_Parada 2N ? V, F
Condición_Parada(HOJAS) ? sup( error ) ? ?
17
Predicados (II)
Condición_Parada 2N ? V, F
Condición_Parada(HOJAS) ? sup( error ) ? ?
18
Predicados (III)
Condición_Parada 2N ? V, F
Condición_Parada(HOJAS) ? sup( error ) ? ?
19
Predicados (IV)
Condición_Parada 2N ? V, F
Condición_Parada(HOJAS) ? sup( error ) ? ?
sup(error)
?
inf(error)
20
Predicados (V)
Condición_hojas_disponibles 2N ? V, F
Condición_hojas_disponibles (HOJAS) ? i ?
HOJAS atributos_libresi ? gt 0
Condición_de_expansión 2N ? V, F
Condición_de_expansión(HOJAS) ? inf( error )
? ( 1 ? ) ?
sup(error)
inf(error)
?
Frontera de expansión ( 1 ? ) ?
21
Predicados (VI)
Condición_Es_Expansible HOJAS ? V, F
Condición_Es _Expansible(i) ? ? sup( medidai (
mejor_atributoi ) ) ? inf( medidai (r) )
?r ? atributos_libresi mejor_atributoi
? ? ? sup( medidai( mejor_atributoi )
min inf( medidai(r) ) r ?
atributos_libresi mejor_atributoi ?
d ?
Condición_Es_Expansible HOJAS ? V, F
Condición_Es _Expansible(i) ? ? sup( medidai (
mejor_atributoi ) ) ? inf( medidai (r) )
?r ? atributos_libresi mejor_atributoi
? ? ? sup( medidai( mejor_atributoi ))
min inf( medidai(r) ) r ?
atributos_libresi mejor_atributoi ?
d ?
22
Predicados (VII)
Condición_Es_Expansible HOJAS ? V, F
Condición_Es _Expansible(i) ? ? sup( medidai (
mejor_atributoi ) ) ? inf( medidai (r) )
?r ? atributos_libresi mejor_atributoi
? ? ? sup( medidai( mejor_atributoi )
min inf( medidai(r) ) r ?
atributos_libresi mejor_atributoi ?
d ?
Condición_Es_Expansible HOJAS ? V, F
Condición_Es _Expansible(i) ? ? sup( medidai (
mejor_atributoi ) ) ? inf( medidai (r) )
?r ? atributos_libresi mejor_atributoi
? ? ? sup( medidai( mejor_atributoi )
min inf( medidai(r) ) r ?
atributos_libresi mejor_atributoi ?
d ?
23
Resultados

• Objetivos
• Precisión
• Tamaño del árbol

• Conjuntos de datos
• Reales
• UCI
• Comparado con C4.5 e ITI
• Sintéticos
• Comparado con ITI
• Validación cruzada por deciles (10-cross)
• Test de significancia (t-student)

24
Casos reales (I)
25
Casos reales (II)
26
Casos sintéticos
27
Conclusiones

• Sin memoria de experiencias
• La memoria usada no depende del tamaño de la
  fuente de datos sino de la estructura de
  conocimiento almacenada

• Algoritmo incremental
• Pueden llegar nuevas experiencias y el
  conocimiento se va refinando
• Usa las cotas de Chernoff y Hoeffding
• Se conoce el error estimado del árbol inducido
• Detección automática tras satisfacer los
  requisitos del usuario (? , ?)
• Se da información detallada para la predicción
  valor estimado margen de error

28
Trabajos futuros

• Capacidad para trabajar con ruido y
• no determinismo

• Aprendizaje con cambio de concepto
• Implementación distribuida

29
Un nuevo algoritmo incrementalIADEM-0
Autores Gonzalo Ramos Jiménez, Rafael Morales
Bueno, José del Campo Ávila