Problema ID3 Examen Septiembre 2001

1
Problema ID3Examen Septiembre 2001
2
Se ha realizado una encuesta entre 10 alumnos de
cierta asignatura. Durante el curso la mayoría de
estos alumnos ha asistido a clase, algunos
trabajan o han estado trabajando en alguna
empresa en temas relacionados con la asignatura y
todos han estudiado en mayor o menor medida. Tras
la evaluación de la última convocatoria se han
dado los siguientes resultados Han aprobado 6
alumnos que respondieron a la encuesta de la
siguiente manera Alumno 1, asiste a clase
mucho, estudia mucho, no trabaja. Alumno 2,
asiste a clase lo normal, estudia mucho, no
trabaja. Alumno 3, asiste a clase poco, estudia
lo normal, sí trabaja. Alumno 4, asiste a clase
lo normal, estudia lo normal, sí trabaja.
Alumno 5, asiste a clase mucho, estudia lo
normal, sí trabaja. Alumno 6, asiste a clase
mucho, estudia mucho, sí trabaja. Han suspendido
4 con los siguientes datos Alumno 7, asiste a
clase poco, estudia poco, no trabaja. Alumno 8,
asiste a clase poco, estudia lo normal, no
trabaja. Alumno 9, asiste a clase lo normal,
estudia poco, sí trabaja. Alumno 10, asiste a
clase lo normal, estudia poco, no trabaja.
3
Se pide a) Calcular el árbol ID3 y obtener el
conjunto de reglas que se derive de él. b)
Atendiendo a los resultados anteriores, qué se
puede decir de un alumno que asiste a clase mucho
y estudia lo normal? Justificar la respuesta. c)
Cuál sería el valor de la entropía del conjunto
inicial si el resultado hubiera sido 4 aprobados,
3 compensables y 3 suspensos? Como ayuda para
los cálculos se proporcionan los siguientes
logaritmos log 2 0.2 - 2.3219 log 2 0.5 -
1 log 2 0.25 - 2 log 2 0.6 - 0.7369 log 2 0.3
- 1.7369 log 2 0.666 - 0.5864 log 2 0.333 -
1.5864 log 2 0.75 - 0.4150 log 2 0.4 - 1.3219
log 2 0.8 - 0.3219
4

• SOLUCIÓN
• a) Los datos de los individuos pasados a una
  tabla son los siguientes

APRUEBA
TRABAJA
ESTUDIA
ASISTE
Individuo
sí
no
mucho
mucho
al
sí
no
mucho
normal
a2
sí
sí
normal
poco
a3
sí
sí
normal
normal
a4
sí
sí
normal
mucho
a5
sí
sí
mucho
mucho
a6
no
no
poco
poco
a7
no
no
normal
poco
a8
no
sí
poco
normal
a9
no
no
poco
normal
a10
nt 10

• Número total de individuos es
• Valores que puede tomar el resultado
• Propiedades
• Valores de cada propiedad (b)

c Aprueba sí, Aprueba no
nc Aprueban 6 nc NoAprueban 4
ASISTE, ESTUDIA, TRABAJA
ASISTE poco, normal, mucho ESTUDIA poco,
normal, mucho TRABAJA sí, no
5

• Calculamos la Entropía del conjunto inicial

6/10 0,6
4/10 0,4
Como este valor nos indica que el conjunto no es
homogéneo, habrá que aplicar el algoritmo al
conjunto para dividirlo en conjuntos homogéneos.
Los valores de los parámetros se muestran en la
siguiente tabla
6
Pb Asiste poco
3/100,3
Pbc Asiste poco y Aprueba si
1/30,333
Pbc Asiste poco y Aprueba no
2/30,666
7

• Calculamos la entropía media de cada propiedad
  para elegir una de ellas

8

• La propiedad con menor entropía media es ESTUDIA.

• Analizamos los conjuntos que se forman con
  los ejemplos para cada valor de
• ESTUDIA.

• Calculamos la Entropía del conjunto inicial

0/3 0
3/3 1
9

• Calculamos la Entropía del conjunto inicial

3/4 0,75
1/4 0,25
Como este valor nos indica que el conjunto no es
homogéneo, habrá que aplicar el algoritmo al
conjunto para dividirlo en conjuntos homogéneos.
Los valores de los parámetros se muestran en la
siguiente tabla
10
Pbc
nbc
APRUEBA
Pb
nb
b
nt
Propiedad
0.5
1
sí
0.5
2
poco
0.5
1
no
1
1
sí
0.25
1
normal
4
ASISTE
0
0
no
1
1
sí
0.25
1
mucho
0
0
no
1
3
sí
0.75
3
sí
0
0
no
4
TRABAJA
0
0
sí
0.25
1
no
1
1
no
Pb Asiste poco
2/40,5
Pbc Asiste poco y Aprueba si
1/20,5
Pbc Asiste poco y Aprueba no
1/20,5
11

• Calculamos la entropía media de cada propiedad
  para elegir una de ellas

12

• La propiedad con menor entropía media es TRABAJA.

13

• Analizamos los conjuntos que se forman con
  los ejemplos para cada valor de
• TRABAJA.

• Calculamos la Entropía del conjunto inicial

3/3 1
0/3 0
14

• Calculamos la Entropía del conjunto inicial

0/1 0
1/3 1
15

• Calculamos la Entropía del conjunto inicial

3/3 1
0/3 0
16

• REGLAS
• R1.- SI (ESTUDIA poco) ENTONCES (APRUEBA no)
• R2.- SI (ESTUDIA normal) Y (TRABAJA sí)
  ENTONCES (APRUEBA sí)
• R3.- SI (ESTUDIA normal) Y (TRABAJA no)
  ENTONCES (APRUEBA no)
• R4.- SI (ESTUDIA mucho) ENTONCES (APRUEBA sí)

b) Los valores que aporta el individuo nuevo a
cada propiedad son los siguientes
Con los valores que aporta el individuo nuevo a
cada propiedad no se puede saber SI aprueba o
NO, ya que faltan datos y no se puede activar
ninguna regla.
17
c) En este caso los valores que puede tomar
resultado son c Aprueba,
Compensa, Suspende
4/10 0,4
3/10 0,3
3/10 0,3