???????????

1
?8? ????

• 8.1 ??????
• 8.2 ??????
• 8.3 ??????
• 8.4 ?????
• -8.4.1??????????
• -8.4.2 ??????
• -8.4.3 ???????
• 8.5 ??????
• -8.5.1????
• -8.5.2?????

2
????

• (1)??????????????
• (2)??????????????
• (3)??????????????
• (4)????????????
• (5)?????????????????
• ??????

3
8.1 ??????

• ???????????????????????????????????????
• ???????????
• ???????,??????????????
• ??????
• ? ????????????????????
• ??????????????????????
• ? ?????????????????,??
• ??????????
• ? ?????????????,??????
• ?????????

4
8.1 ??????

• ???????
• (1)?????????
• (2)?????????
• (3)?????????
• ?????????????
• (1)??????????,???????,??
• ??????????
• (2)????????????????

5
8.2 ??????

• 1.?????????
• (1)?????
• ???????,?????????
• (2)??????
• ???????,???????????
• (3)??????
• ?????????,?????????
• 2.?????????
• (1)?????
• (2)????

6
8.2 ??????

• 3.????????????
• (1)??????
• ????????????????????????
• (2)??????
• ??????????????????
• 4.????????????????
• (1)???
• ???????????????????,??????
• ?????????????
• (2)???
• ?????????????,????????????
• ????????????,?????????????

7
8.2 ??????

• 5.?????????
• (1)??????
• ???????,?????????
• (2)???????
• ???????????, ?????????
• ??,????????,????,????
• ?,???????
• ????????????????
• ????????????
• (??)

8
8.3 ??????

• ????????????????????????????????????????????????
  8.1?

?8. 1 ??????
9
8.3 ??????

• 1.????
• ???????????????(?????????????)??????,??????????
• ???????,????????
• (1)?????????
• (2)???????
• (3)???????
• (4)?????
• (5)????

10
8.3 ??????

• 2.???
• ????????????????????????????????????,????????
• (1)????
• (2)??????
• (3)?????
• ??,??????????????????????????????????????

11
8.3 ??????

• 3.???????
• ?????????????????????
• ???????????????
• ??????????????????(????????????)???
• ?????????????(?????????),????????????,???????
• ?????????????,????????????????

12
8.3 ??????

• 4.???????
• ?????????????????????????(???????)???????
• ????????
• (1)????????
• ??????????,???????
• (2)????
• ?????????,????????
• (3)????
• ???????????

13
8.3 ??????

• 5.?????
• ?????????????????,????????????????????????????????
  ??
• (1)????
• ????????????????????????
• ?,???? (??) ??????????????
• (2)????
• ???????????????????? ?
• (3)??????
• ???????????????

14
8.3 ??????

• 6.?????????
• ???????????????????????????????????????
• ? ???????
• ? ????????
• ? ????????????
• ???????????,??????
• ? ????????????????????
• ??????
• ? ????????????????????
• ????????

15
8.4 ?????(??)

• 8.4.1 ??????????
• 1.????????????
• ??????????????????????????
• ?????,???????????????????
• 2.?????
• (1)???????
• (2)????????
• ???????????????,??????????????,????????????,????
  ??.
• ??,??????????????????????????????????????????????

16
8.4 ?????

• 8.4.2 ??????
• ????????????,???????????,?????????
• ????????????????????????,????????????
• 1.????????????
• (1)??????(2)??????
• (3)??????(4)??????
• (5)??????

17
8.4 ?????

• 8.4.2 ??????
• 2.????????????
• (1)??????????
• (2)??????
• (3)??????
• (4)??????????
• (5)?????
• (6)?????

18
8.4 ?????

• 8.4.3 ???????
• 1. ??
• ?????????????,???????????
• ????????????
• (1)??????,??????????????
• (2)???????
• (3)????????
• (4)???????????,?????????????
• ?????????,?????????
• ???????,??????????
• (1)??????
  (2)??????
• (3)???????????????(4)??????
• (5)?????????????

19
8.4 ?????

• 2. ????
• ??8.1???8.2???8.3?
• 3.?????????????
• ?? 8.4
• ?? 8.5
• ?? 8.1
• ?? 8.6
• ?? 8.1
• ?????p262264

20
8.5 ??????

• ??????????
• ?????????????????????????????????

21
8.5 ??????

• 8.5.1 ????
• 1. ???????
• ???????????????????????,?????????????,???????????
• ??????????
• ?????????????????????????,???????????????,????????
  ????

22
8.5 ??????

• 8.5.1 ????
• 1. ???????
• ????????
• ???????,??????????????????
• ???????,???????????????????????????????
• ??????????????????????????????

23
8.5 ??????

• 8.5.1 ????
• 2. ?????????
• ??n??????????
• xi(xi1, xi2, ,
  xip)T, i1, 2, , n
• ??????? p???????,n????? p????
• n???
• ??????????????????????
• ?d(xi, xj)???xi?xj?????,???????????
• (1)d(xi, xj) 0,? d(xi, xj) 0 ???? xi xj
• (2)d(xi, xj) d(xj, xi)
• (3)d(xi, xj) d(xi, xk) d(xk, xj)

24
8.5 ??????

• 8.5.1 ????
• 2. ?????????
• ???????????
• (1)??(Euclidean)??
• (2)??(Absolute)??
• (3)Minkowski ??
• (??)

25
8.5 ??????

• 8.5.1 ????
• ???????????
• (3)Minkowski ??
• ??????,??????????????,???
• ?????????????,?????????????
• ???????????
• ??

26
8.5 ??????

• 8.5.1 ????
• ???????????
• (4)??(Mahalanobis)??
• ??S???? x1, x2, , xn ????????
• ??

27
8.5 ??????

• 8.5.1 ????
• 3.?????
• ?????????????????????????????????
• ????????????????????????
• ??????????????,???????????????????,?????????????,
  ?????????????????????

28
8.5 ??????

• 8.5.1 ????
• 3.?????
• ?????????????????????????????????????????
• ?i,j ??????xi?xj ,?dij????xi?xj??????
• ?Gp????,???np??? x1, x2, , xnp,
• ???? ???Gp????

29
8.5 ??????

• 8.5.1 ????
• 3.?????
• ?Gp?Gq???????????????????????????
• (1) ????
• (2) ????
• (3) ????
• (4) ????? ?

30
8.5 ??????

• 8.5.1 ????
• 3.?????
• ????????
• (1)n????????n??,?????????,???
• ????????
• ??,?????????????

31
8.5 ??????

• 8.5.1 ????
• ????????
• (2)??Dn????????????,????????
• dpq,??,Gpxp, Gqxq?
• ?Gp?Gq??????Gr Gp, Gq?
• ?Dn???Gp?Gq ???????,??????Gr??
• ???????????????????????,?
• ?????????Dn-1,??n-1????
• (3)?Di-1??(i n, n-1, , 2) ??????(2)????Di-2
• (i n, n-1, , 2),??n????????????

32
8.5 ??????

• 8.5.2 ?????
• 1.??????
• ???????????????????????????,???????????????
• ??????????????????????
• ?????????????????????????????
• ???????????????

33
8.5 ??????

• 8.5.2 ?????
• 1.??????
• ???????????????,????????????????????,?????????????
  ??????????????
• ?????????????,?????????????????,????????,?????????
  ,?????????,???????,?????????????????,?????????????
  ?

34
8.5 ??????

• 8.5.2 ?????
• 2.ID3??
• ????????????1986????ID3???
• ????????,????????????????????????????????
• ??,????????,??????????????

?????????????
??????
??, ??
??, ?
??, ??
?, ??
?? ???
?? ?,??,?
?? ?,??,?
?? ?,??
? ??,??
???????????
35
8.5 ??????

• 8.5.2 ?????
• 2.ID3??
• ???????????????,?????,????????,??? P(Positive
  example)?? N(Negative example)?,????????,???????
  ???????????
• ??????????????????????
• ??????????

36
8.5 ??????
No. ?? ?? ?? ?? ??
No. ?? ?? ?? ? ??
1 ? ? ? ?? N
2 ? ? ? ?? N
3 ?? ? ? ?? P
4 ? ?? ? ?? P
5 ? ? ?? ?? P
6 ? ? ?? ?? N
7 ?? ? ?? ?? P
8 ? ?? ? ?? N
9 ? ? ?? ?? P
10 ? ?? ?? ?? P
11 ? ?? ?? ?? P
12 ?? ?? ? ?? P
13 ?? ? ?? ?? P
14 ? ?? ? ?? N
?????
37
8.5 ??????

• 8.5.2 ?????
• 2.ID3??
• ???????????????????????,??????
• ??????????,? P ??N?????????????,???????????????
• ????????,?????????,????????????????,????????,?????
  ?????,??????????????????
• ID3 ??????????????

• ????? ID3 ????
• ???????? P ??

38
8.5 ??????

• 8.5.2 ?????
• 2.ID3??
• ID3????????
• (1)?????????????????????
• ?(????)
• (2)?????????????????
• (3)????(????)???????????
• ?????,???????
• (4)????????,???????,????
• (2),?????

39
8.5 ??????

• ID3 ?????

??? PE?NE
??? ???
?? PE1?NE1
?? ???
?? PE?NE
???? PE1 PE1 PE2,NE1 NE1 NE2
????? ????
????? PE2?NE2??
?
?
40
8.5 ??????

• 8.5.2 ?????
• 2.ID3??
• ID3?????????
• (1)???????,?????????
• (2)??????????Ak
• (3)??Ak ??????????????,Ak ??
• ????????
• (4)????????????,????????
• (5)??????????,??????P?N,?
• ?????

41
8.5 ??????
No. ?? ?? ?? ?? ??
No. ?? ?? ?? ? ??
1 ? ? ? ?? N
2 ? ? ? ?? N
3 ?? ? ? ?? P
4 ? ?? ? ?? P
5 ? ? ?? ?? P
6 ? ? ?? ?? N
7 ?? ? ?? ?? P
8 ? ?? ? ?? N
9 ? ? ?? ?? P
10 ? ?? ?? ?? P
11 ? ?? ?? ?? P
12 ?? ?? ? ?? P
13 ?? ? ?? ?? P
14 ? ?? ? ?? N
?????
42
8.5 ??????

• 8.5.2 ?????
• 3.ID3??????
• ????????????????
• (1)??????
• ??S?????S???,ui????ui????,??ui
• ??????
• ??u1?????,u2??????
• ?9????5????

43
8.5 ??????

• (2)??????
• ??? A1??,???????
• v1?, v2??,
  v3?
• ???A1?????????5?,?????????4?,
• ????????5?,???
• ?????????2???,3???,???
• ?

??,?
44
8.5 ??????

• (3)?????
• ???A1??,
• ??,?

45
8.5 ??????

• (4)??????????
• ID3???????????????????,?14
• ????????3???????,3?????3?
• ??,???
• ??F2??????P?,?????????P,????
• ????????????,??????????

46
8.5 ??????

• (5)????
• ???F1?F3????ID3??,?????????? (??4???)?????
• ? ?F1?,??????,?
• ?
• ????3?????????????,??????????,?????????
  ??????N?,??????N???????????P?,??????P?
• ? ?F3?,?4???????,??????????,????????????????,
  ???????N?,??????N??????P?,??????P?

47
8.5 ??????
No. ?? ?? ?? ?? ??
No. ?? ?? ?? ? ??
1 ? ? ? ?? N
2 ? ? ? ?? N
3 ?? ? ? ?? P
4 ? ?? ? ?? P
5 ? ? ?? ?? P
6 ? ? ?? ?? N
7 ?? ? ?? ?? P
8 ? ?? ? ?? N
9 ? ? ?? ?? P
10 ? ?? ?? ?? P
11 ? ?? ?? ?? P
12 ?? ?? ? ?? P
13 ?? ? ?? ?? P
14 ? ?? ? ?? N
?????
48
8.5 ??????

• (5)????
• ??????????????????,?????????????,??????????????,??
  ???????????P?,????????????N??
• ??????P???????????????????????????????
  ???????

• ??????N??????????????????? ????????

49
8.5 ??????

• 8.5.2 ?????
• ??,ID3????????????????
• ???,?????????,???????,?
• ???????????????

50
????

• 1 ??. ???????(???). ?????????,200430
• 2 ???,???. ?????. ?????????,2003
• 3 ???,???,??. ???????. ?????????,2002
• 4 ??,??. ??????. ???????,2002
• 5 ???, ???, ???,???. ??????(MIS).
  ??????????,2002
• 6 ???,???. ?????????. ?????????,2004
• 7 ???. ????????. ?????????,2004
• 8 ???. ??????????. ????????????????,2000
• 9 ???. ???????. ?????????,2000
• 10 ???. ????. ?????????,1998
• 11 ???,???. ???????. ?????????,2001