Joint work with

1
???????????
?? ?? ????????
?? ?? (??) ?? ? (???) ?? ?? (??) ?? ?? (???)
?? ? (???) ?? ?? (????) ?? ?? (???)

• Joint work with

2004? 12?10? ?????????????
2
?????

• ???????????
• ???????????????????
• ????????????(FIMI04)?????

??????????????? ???????????????????? (3???????????
???????)
FIMI03?? FP-growth (Grahne, Zhu )
FIMI04?? LCM ver2 (??,??,??)
3
??????????????

• ?????????????? ????????? T ??????? E
  ????????????????????
• ???? T , ?T ?T , T ? E
• POS???(??????1??????)
• ?????????(1??????????)
• web log (1??1??web???????????)
• ??????? (?????1??????????)

1,2,5,6,7 2,3,4,5 1,2,7,8,9 1,7,9 2,7,9 2
T
???????????????????
4
?????

• ??K ????
• K ??? K ???T ?????????
• K ????? I(K) K ???T ??????????????
• K ???? frq(K) K ?????????

1,2,5,6,7,9 2,3,4,5 1,2,7,8,9 1,7,9 2,7,9 2
1,2????? 1,2,5,6,7,9, 1,2,7,8,9
T
5
????

• ????T ???a???????????????????
• (????a?????)(a??????????)
• ?) ??????T ?3???????????????????

3?????????? 1 2 7 9 1,7
1,9 2,7 2,9 7,9 1,7,9 2,7,9
1,2,5,6,7,9 2,3,4,5 1,2,7,8,9 1,7,9 2,7,9 2
T
6
???????

• ??????????????????????????????????
• ???????? ? ????????
• ?????????????????
• ? ??????????????????????
• ? (??a????)????

??????????????????? ??????????
???????????????????????
7
????????

• ??????????????????????
• a???????????
• ? ????????????
• ???????????????????????
• ???????????????
• ??????????????????????
• ????????

8
???? (closed itemset)

• ??????????????????????????
• (?????????????)
• ???? ????(???)??????
• ( ?????????)
• ? ????????

123n
3,5,7,9
1,2,4,5
1,2,5,6,7,9 2,3,4,5 1,2,7,8,9 1,7,9 2,7,9 2
3?????????? 1 2 7 9 1,7
1,9 2,7 2,9 7,9 1,7,9 2,7,9
T
f
9
???? (closed itemset)

• ???? ? ??a????
• ?????????
• ??????P???????
• ?????P??????
• P??? ? P?????(??)?
• ????

123n
3,5,7,9
1,2,4,5
?????? ??????
f
10
??

• ????????
• ??????????? T ? a ???????
• 1.???????????
• 2.?????????????
• 3.?????????????
• ????????????
• ??????????

?????????????????????? LCM (Linear time Closed
itemset Miner)???
11
??????(????)

• ??????????????
• ? ?????????????
• ????????????????
• ? ???????????
• ?????1???????
• ???????????????
• ?????????????

????????????????????????? 1??????????????????
12
??????(??????)

• ???????????????????????
• ? ????????????(????)??????
• ??????2?????
• ??2????????
• ? ????????????????
• ???????????????
• ????????????

?
?????????2????????????? ??1??????????????????
?
13
??????(??????)

• ?????????????????????????
• ? ????????????(????)??????
• ? ?????????
• ???????????
• ???????????????
• ??????????????
• ????1?????????

14
??????(????)

• ????????????????????1?????????????????
• ???????????????????????????????????
• ????????????????

15
???????????
???????? - ?????? - FP-tree - ???????? -
??? ???????? ??????? - ???? - ????????

• ???
• -????? (apriori)
• -???????
• -??? (pruning) (????)
• -prefix?????? (??)
• -??????? (??)
• ?????
• -??????
• -????????? (down project)
• -????

16
??????

• ???
• -????? (apriori)
• -???????
• ?????
• -??????
• -????????? (down project)
• -????

???????? - ?????? - FP-tree - ???????? -
??? ????????
17
??????????

• ??????????????????????????
• ??????1?????????????????????
• ????????????
• ?????????
• ????????
• Backtrack (P)
• 1 Output P
• 2 For each e gt P ???(P ????????)
• If P ?e??? call Backtrack (P ?e)

1,2,3
1,2,4
1,3,4
2,3,4
3,4
2,4
1,4
2,3
1,3
1,2
1
2
3
4
f
???? O( ?????E )
???? ??????????
18
??????????????

• ?? P?e ??????????????????
• ?????????????????????
• I (P?e) ? I (P) ?????????
• ? P ???? e ?????????????
• ? I (P) n I (e) ????????

O( I(P) I(e)) ??
123 ? A,B,C,D 4 ? B,D,E,F
? 1234 ? B,D
????????????????????
19
????????

• ??????1???????????????????
• ?????2??????????1??????
• ?????????????????
• ???1??????????

???? O( ?????E )
???? ?????????? ????? ?????????????????????
20
?????????

• ? e P ???, , E ?????I (P?e) ?
• ?????????
• P 1,2 ??????
• A1,2,4,5 B1,2,3 C1,2,3,4
• ??????????????????????
• ? 1,2,3, 1,2,4, 1,2,5 ????????
• ? ?????????????????
• ? ?????????????????

3 4 5
4
5 5
A B C
3 3
A B C
1,2,3 1,2,4 1,2,5
B B
C
A A
? e ???? O( I(P?e) ) ??
21
???????

• ????????????????????????????????????????????????
  ??(???)??
• ?????????????????????????1/4??(?????????????????
  ???????)

P?
a
3 4 5 6 7 8 9
AD ELM ABCEFGH JKLN ABDEFGI JKLMSTW BEGILT MTW ABC
DFGH IKLMNST
??????????
22
?????????????

• ????????????????
• ????????????????
• ? e ????????????a???
• or ????????????????
• ? e ???????????
• ? ????????????1??????
• ?????????????????(???????????)

23
??????????

• ?????????????????? P ?
• e P ???, , E ???
• ?????????????????????
• P ??????????????????????????
• ??????????????????????
• ????????????
• ?????????????????????
• ?????????????????

24
???????????

• ???????????????????????????????????????????????
  ???
• ????????????????????????????

1 2 3 4 5
A 1 0 0 1 0
B 0 1 1 0 1
C 0 1 0 0 1
D 0 0 0 1 1
???? ????????? 32??????????? ?????
??????????
25
?????FP-tree

• FP-tree prefix tree?trie ??????????
• ???????????????????
• (?????1???????????????)

?????prefix????? ????? ??????1/2-1/3?? ????1/6??
? (?????????) 2???????? ??????? ??????????
1 2 3 4
5 /\ /\ 2 3 5 2
3 4 5 5 /
4 5 4 5
5 5
26
?????????

• ?????????
• ????????????1/4???????
• ??????????????????
• - ??????????????????
• - ?????????????
• ? ???????????????????????
• ? LCM?????????????
• ????????
• ???????????????
• FP-tree??????????????
• ? ???????????????(?????? or FP-tree)
• ? LCM???????????????

27
????????

• ???
• -????? (apriori)
• -???????
• -??? (pruning) (????)
• -??????? (??)
• ???????
• - ????
• - ????????

28
????????

• ???? ???? P ?????P ? i,i1,...,E
  ???????????????????? i ???????????????????????????
  ?????
• ?????????????????
• ???????? ??????????????
• ? P ????????????????????????
• ? P ???????????????????

29
???????????????

• ?????????????????????
• P ???? ?
• Q P ?????? ?
• Q ??????????
• ?????????????
• Q ???????????????????
• ?????????????
• ? ?????????

4
5
6
7
8
9
10
3
1
2

???? ?????????? ????? ????????????????
30
?????

• ?????????????????????????????????????????
• ???? P ???????
• ? ??? e ???? P? e ??????
• ? ?? E ??????????
• ?????????????????????

31
???????????????

• ????????????????????
• ??????????????
• ??????????????
• ?????????????
• ??????????
• ????? e ??????
• e ????????????
• ???(?????)

1 2 3 4 5 6 7 8 9
A 1 0 0 1 1 0 1 0 1
B 0 1 1 0 1 0 1 0 1
C 0 1 0 0 1 0 1 0 1
1 2 3 4 5 6 7 8 9
A 1 2 1 1 3 0 3 0 3
32
???????????????

• ?????? a ????????????
• ? ??????????
• ? ????????????
• ??????????
• ???????
• ?????????

1 2 3 4 5 6 7 8 9
A 1 2 1 1 3 0 3 0 3
B 0 1 4 0 3 0 4 4 0
C 0 1 0 0 1 0 1 1 1
??????????????????? ????? ???????????????????? ?
??????????????
33
???????????

• ??? ??? (????)
• - ???????
• - ???????????????????????
• ???????????????????????
• ??????????? ???????? (LCM)
• - ?????????
• - ??????????????
• ???????????2?????????

34
??????

• ???
• -????? (apriori)
• -???????
• -??? (pruning) (????)
• -prefix?????? (??)
• ???????
• - ????
• - ????????

35
??????????

• ???????????????????
• ????????????????????????????
• ? ????????????????????????
• ??????????
• -??????????????
• 124 ????1234 ?????????????
• ????????? 124 ??????????

??????????????? ?????????????????????????
36
??????????

• ???? P ?????
• P ????? (P ????) ???
• - ???????????????????????
• - ( P ????) gt( P ?????????)
• ? ??????????????????????????????

????
37
????????

• ?????????????????
• ?????? E

??????(????????)??????????
???? ?????? ????? ??????????????????
38
Prefix??????

• prefix????????????????????
• ?? ????P ?????
• ? P ?? (P n1,,j) ???????? j
• ?? ???? H ?? (P ?i)? P ?prefix??????
• ? i gt j ?? H n1,,i-1 P n1,,i-1
  ???
• prefix????????????????? (???????)
• ???????????????????Prefix??????
• ? ?????????????????????????

39
????prefix????????
f

• ???? ? ??????
• prefix?????? ? ?

2
7,9
1,7,9
1,2,5,6,7,9 2,3,4,5 1,2,7,8,9 1,7,9 2,7,9 2
2,7,9
2,5
T
1,2,7,9
2,3,4,5
???? prefix??????
1,2,7,8,9
1,2,5,6,7,9
40
???????????

• ??? ??? (????)
• - ?????????
• - ???????????????
• ?????????????????????
• ??????????? ???????? (LCM)
• - ???????
• - ???????????

41
?????FIMI04

• FIMI Frequent Itemset Mining Implementations
• ICDM (International Conference on Data Mining)
  ????????????????/????/???????????????????????????
  ??2???
• ???15????8????????
• ????????????????????????
• Time ??????????(?????????????)
• CPU???????(????????)?????

42
?????FIMI04

• ?????CPU???? Pentium4 3.2GHz?1GB RAM
• OS????????? Linux ?C???gcc
• ??????
• - ???? ????????
• - ???????? ????????????
• - ????? ?????????????
• - ?????? ?????????

43
?????
44
????(??)BMS-WebView2
??LCM
??LCM
??afopt
45
????(?)kosarak
??nonodrfpLCM
??LCM
?? LCM
46
???????pumsb
??????
??LCMDCI-closed
?? LCM FP-growth
47
??????acidents
??nonodrfp FP-growth
??LCMFP-growth
?? LCM FP-growth
48
??????pumsb
??
??
??
49
?????

• ?????????apriori ?????????????
• FP-tree???????????a????????
• ??????a????????
• ???????????????????
• prefix?????????????????
• ??????????????????

LCM?????????????????????????
50
?????

• ???????????????
• radix sort ????
• ??????????????
• IO???

51
??????????...

• ???????????????????????
• ? ?????????????????
• ??????????????????
• LCM??????????????????????
• ??????????????
• - ????????
• - FIMI????????????
• (???????????????????)
• e??????????? (???????????)

52
??????

• ?????????????????
• ? ???? ? LP?IP ????????? ? 2???SQL
• ? ??????????????????????
• ?????????????????????????????????
• ? ??????????????
• ? ??????????
• ? ?????????????????????
• FIMI????????????????????????

53
???

• ???CPU??????????????????????

????????????
(???????)
54
???????

• ????????????????????
• ?????????????????
• ? ???????????
• ???????????????????
• ? ????????????????
• ? ??????????

??????????????