Karine Zeitouni

1
Fouille de données complexes

• Karine Zeitouni
• Master COSY Université de Versailles
  Saint-Quentin
• Edition 2005-2006
• En ligne sur http//www.prism.uvsq.
  fr/users/karima/DM

2
Introduction

• De plus en plus dentrepôts de données sont ou
  seront créés
• Raisons principales
• Le tout numérique dans lentreprise génère des
  données à entreposer
• échange et recherche de données facilités (via
  Internet)
• capteurs et numérisations de toute sorte
  (librairies digitales)
• Explosion des données multimédias
• SIG / Télédétection (données cartographiques,
  données satellitales)
• agence de photo de presses
• CAO, Bio-informatique, imagerie médicales
  (données techniques)
• finance (cours des actions séries temporelles)
• GED (documents, emails)
• vidéo,

3
Plan

• Fouille de données spatiales
• Les Bases de données spatiales
• Méthodes de la FDS
• Fouille de données textuelles
• Fouille de données séquentielles

4
Bases de données spatiales
5
Définition dune BD spatiale

• Ensemble organisé dobjets géographiques
• Chaque objet est une association d'une
  description qualitative ou quantitative et dune
  localisation spatiale
• Gérée au sein dun SIG
• Organisée en couches thématiques
• Ex découpage administratif, Réseaux routier,
  Cadastre, POS, Topographie (courbes de niveau)...

6
Interface graphique
7
Parallèle relationnel Spatial (1)

• Parallèle entre Thème et table
• Un thème peut être vu comme une table avec un
  attribut de localisation

Table
Id_route 1 2 3
TypeSurface Goudronnée Goudronnée Goudronnée
Nom_route Av. Morane Saulnier Rue Dewoitine Av.
Europe
Localisation
Nb_voies 4 3 1
8
Parallèle relationnel Spatial (2)
select c.nom, c.loc from commune c where
c.population gt 10000

• Requêtes spatiales
• Sélection
• Ville de plus de 10 000
• Sélection spatiale
• Accès aux objets situés dans une fenêtre donnée
• Accès par relation à un objet
• Communes au bord de le N10
• Jointure spatiale
• Zones dintersection des communes et des forêts
  (map overlay)
• Agrégation
• Fusion des communes par département

select c.nom, c.loc from commune c where
Intersecte (c.loc, Rectangle(xmin,ymin,xma
x,ymax))
select c. from commune c, route r where
r.nom 'N10' and adjacent(c.loc, r.loc)
select c.nom, f.nom, Intersection (c.loc,
f.loc) from commune c, foret f where Intersecte
(c.loc, f.loc)
select departement, fusion (loc) from
commune group by departement
9
Parallèle relationnel Spatial (3)

• Cette comparaison montre que
• les SGBD Géographiques sont spécifiques,
• mais ils peuvent être vus comme une extension des
  SGBD relationnels

10
Exemple dOracle spatial

• Niveau de fiabilité supérieur à celui des simples
  fichiers (sécurité daccès, intégrité
  transactionnelle)
• Intégration des données géo-spatiales dans un
  SGBD
• gtutilisation beaucoup plus efficace des données
• gtgarantie de luniversalité et de
  linteropérabilité - conforme aux normes
  (OpenGIS, ISO, )
• gtrequêtes combinées aux informations
  géo-spatiales et classiques - dans un langage SQL
  (familier aux développeurs)

11
Fouille de données spatiales
12
Problème type
Dr. John Snow découvre la cause probable des cas
de choléra
13
Autre application - Analyse de laccidentologie
routière

• Vise à décrire et expliquer le risque routier par
  
• la description des accidents inventoriés
• leur contexte géographique

Accidents inventoriés
Fouille de
Cartes et
Voirie
Données
connaissances
extraites
Spatiales
Activités
...
14
Fouille de données spatiales versus Analyse
spatiale

• Applications décisionnelles
• Analyse spatiale de phénomènes localisés
• risque routier, épidémiologie, criminologie,
  pollution,
• FDS versus Analyse spatiale

Fouille de données spatiales Analyse spatiale (Dr J. Snow)
Découverte automatique de connaissances Découverte visuelle de connaissances
Exploratoire (génère des hypothèses) Confirmatoire
Opère sur des gros volumes de données Inapplicable sur des BD volumineuses
15
Fouille de données spatiales versus Fouille de
données classique

• FD  classique 
• Batterie de méthodes exploratoires
• Pas de raisonnement spatial

• BD spatiales
• Requêtes avec critères spatiaux
• Pas danalyse exploratoires

• Fouille de données spatiales
• Intègre les techniques de BDS et de FD
• Explore les données et les relations spatiales
  d une BDS

16
Fouille de données spatiales - Définition

• Découverte de connaissances implicites depuis une
  BDS
• toute propriété, règle ou régularité
• impliquant les objets de la BD spatiales et/ou
  les objets avoisinants et leurs relations
  spatiales
• Principales méthodes
• Statistiques spatiales
• Clustering
• Règles dassociation
• Classification

17
Statistiques spatiales

• Analyse globale - Mesure dauto-corrélation
  spatiale dune variable
• Indice global (par carte) de Moran et Geary (en
  1945 et 54)
• Analyse locale - Indice local dassociations
  spatiales (LISA) Anselin 90
• Particularités au niveau local gt met en évidence
  les données atypiques
• utilise une matrice de voisinage binaire ou
  pondérée (wij)
• quantifie la contribution individuelle de chaque
  lieu à lindice global

18
Application aux sections

• Vert moins corrélé que la moyenne globale
• Rouge plus corrélé que lindice global
• Jaune comme lindice global
• Blanc tronçons sans calcul (pas daccidents)

19
Application aux régions

• Autocorrélation locale du nombre de blessés

20
Problèmes engendrés

• Problème 1 Les données spatiales sont liées
• Les méthodes de FD supposent les données
  indépendantes
• Problème 2 Les relations spatiales sont
  implicites
• Non stockées dans la BD
• Leur calcul nécessite des jointures coûteuses
• Leur intégration dans lanalyse est coûteuse
• Problème 3 Les relations spatiales sont
  multiples
• Topologiques (adjacence, intersection, ) ou
  métriques (distance)
• Le choix de la bonne relation spatiale est
  difficile

21
Clustering

• Groupage dobjets similaires / séparation
  dissimilaires
• Similarité en spatial distance euclidienne
• Utilisé moins pour classer que pour découvrir des
  concentrations ou des points chauds
• ex criminologie, épidémiologie, accidents
• Méthodes en spatial
• orientés perf. CLARANS, DBSCAN, ...
• sur spatial attributs GDBSCAN, Neighborhood
  EM Govaert
• évitement obstacle COE-CLARANS Han
• Concentration atypiques machine GAM Openshaw

22
Clustering spatial sous contraintes

• Problème
• Trouver des regroupements qui respectent des
  contraintes et des obstacles physiques
• Contraintes physiques  COE-CLARANS  Tung
  ICDT01
• Ex installation de réseaux ATM doit tenir compte
  des obstacles géographiques (rivière, pont, etc.)
• Solution calculer la distance entre p et q en
  considérant les obstacles

23
Exemple avec la machine GAM caractériser les
accidents de nuit/ WE
Localisations des accidents de nuit WE en rouge
Recherche de concentrations spatiales locales
atypiques
24
Clustering sous Oracle 10g

• But Trouver les zones de concentration de
  criminologie.
• Moyen Grouper les données spatiales dans une
  table spécifiée USBG_high_crimes
• 1. Définir high_crimesgt150
• Create Table USBG_high_crimes As
• Select From USBG_data Where CrimeIndexgt150
• 2. Appliquer la méthode de clustering (k4)
• Select geometry From
• Table(sdo_sam.spatial_cluster(USBG_high_crimes,
  geom,4))

25
Clustering sous Oracle 10g

• Visualiser les clusters par Oracle MapViewer
• USBG_data en jaune, partie crimes élevés en bleu
  foncé et clusters en bleu transparent

26
Règles dassociations spatiales

• Règle dassociation multi-dimensionnelle
• Sur une table (attributs x Valeurs) en
  remplaçant les valeurs d "articles" d'une
  transaction par les valeurs dattributs
• "A1A2...Am gt B1...Bn" avec support et
  confiance
• où Ai et Bj sont des valeurs d'attributs
• Sur des données spatiales
• idem Rel spatiales gt idem Rel spatiales
• ce qui revient à trouver des associations entre
  des propriétés des objets et celles de leurs
  "voisins"

27
Exemple

• station_service dans (zone_rurale) -gt proche
  (autoroute) (25, 80)
• exprime que les stations service en zone rurales
  sont près des autoroutes,
• à 80 (confiance)
• et que ces stations forment 25 (support) des
  stations inventoriées.
• Variantes
• Thème de référence Koperski
• Règle de co-localisation quelconque Shashi

28
Co-localisation

• Sous ensemble dobjets spatiaux fréquemment
  situés ensemble

29
Arbre de décision spatial

• Rappel
• Règles de classement pour expliquer une variable
  classe par des variables explicatives.
• En FDS
• Les propriétés du voisinage peuvent être
  explicatives
• Exemple classer les accidents selon 3 classes
  dimpliqués (piéton, 2 roues, véhicules) selon
  les propriétés des accidents et des objets
  voisins
• Découvre des liens cachés avec certains types de
  voisins et les illustrer sur la carte.

30
Exemple Spatial CART
31
Approches proposées
Adapter les données aux algos existants
Etendre les algorithmes au multi-tables
Prendre en compte la duplication des objets
Etape 2
Algos ILP
CROISEMENT
algorithme classique
Programme logique
Connaissances
Connaissances
32
Approche préconisée par Oracle 10g
33
Index de jointure spatiale?

• Structure secondaire qui matérialise et codifie
  les relations spatiales

Id
..
An
ID1
Relation spatiale
ID2
Id
.
Bn
01
..
.
12
01
60
01
..
.
02
.
.
02
45
43
02
.
.
..


.

..
..



..



..
.
..

.
..
.
.
..
..
..
99


99
99


53
75
Thème 1
Thème 2
Index de jointure spatiale
34
La FD classique est mono-table

• Représentation des données en FD classique

1 table unique
Valeurs atomiques
1 exemple dapprentissage par ligne
35
Transformation préalable
ID1 Date Impliqué An Dist_ école Dist_ marché
01 12/03/03 Piéton an1 10 Null
02 10/04/03 2 roues An2 75 20
36
Conclusion sur la FDS

• La fouille de données spatiales prolongement de
  la fouille de données
• Tient compte des interactions dans lespace
• La préparation des données peut changer la donne
  ?
• FD spatiale ? FD multi-tables grâce aux index de
  jointures spatiales ? FD classique grâce à
  lopérateur
• Cest souvent le cas dautres objets complexes
• Fouille de texte ? FD par transformation en
  vecteur de termes
• Fouille dimages ? FD sur descripteurs

37
Fouille de données textuelles
38
Fouille de textes

• Croissance phénoménale de données textuelles
• Documents sur Internet, mail, rapports,
• Besoin dautomatiser leur recherche et leur
  classement
• Comment faire supporter à la machine le
  traitement rapide du langage naturel ?
• Techniques dAnalyse du Langage Naturel (TALN)
• Extraction déléments du langage nom propres
  (personne, lieu, société)
• Utilise les règles de grammaire et des patrons
  linguistiques, des thésaurus (synonymes et
  hiérarchies de termes) ou des ontologies (règles
  en plus)
• Fouille de textes (si grand nombre de textes)
• Clustering de texte
• Classification (catégorisation)
• Associations de termes

39
Fouille de texte versus fouille de données
Data Mining Text Mining
Objet numérique catégorique textuel
Structure structuré non-structuré
Représentation simple complexe
Dimension dizaines milliers
Maturité Implémentation vaste dès 1994 Implémentation vaste dès 2000

40
Classification de documents

• Principe
• Classification (par apprentissage) de textes dans
  1 ou plusieurs catégories
• Application en e-commerce
• Relier une description de produit en texte libre
  à une classe de produits.
• Application web
• les sites tels que Yahoo constituent une
  exellente base dapprentissage, car les
  catégories y ont été générées manuellement. Sert
  à générer un classifieur pour classer les
  prochains documents.
• Ces classes peuvent servir comme balises
  sémantiques

41
Site organisé par catégorie
42
Processus global de catégorisation
Termes uniques présents dans les documents
Documents dapprentissage
Sélection des termes
pré-traitement
Dictionnaire
Termes uniques
Représentation
document
Vecteurs des documents
Vecteur des documents
Calcul des similarités
Apprentissage
Calcul des scores des catégories
k proches voisins
catégories affectées
Catégorisation
43
Prétraitement des documents
Génère des données de type (docID, (term, term
frequency))
44
Ex Stop-words (mots chevilles)

• Liste de mots (ex. ceux listés par Oracle text)
  sont les 200 suivants
• a , beaucoup, comment, encore, lequel,
  moyennant, près, ses, toujours, afin, ça,
  concernant, entre, les, ne, puis, sien, tous,
  ailleurs, ce, dans, et, lesquelles, ni, puisque,
  sienne, toute, ainsi, ceci, de, étaient,
  lesquels, non, quand, siennes, toutes, alors,
  cela, dedans, était, leur, nos, quant, siens,
  très, après, celle, dehors, étant, leurs,
  notamment, que, soi, trop, attendant, celles,
  déjà, etc, lors, notre, quel, soi-même, tu, au,
  celui, delà, eux, lorsque, notres, quelle, soit,
  un, aucun, cependant, depuis, furent, lui, nôtre,
  quelquun, sont, une, aucune, certain, des,
  grâce, ma, nôtres, quelquune, suis, vos,
  au-dessous, certaine, desquelles, hormis, mais,
  nous, quelque, sur, votre, au-dessus, certaines,
  desquels, hors, malgré, nulle, quelques-unes, ta,
  vôtre, auprès, certains, dessus, ici, me, nulles,
  quelques-uns, tandis, vôtres, auquel, ces, dès,
  il, même, on, quels, tant, vous, aussi, cet,
  donc, ils, mêmes, ou, qui, te, vu, aussitôt,
  cette, donné, jadis, mes, où, quiconque, telle,
  y, autant, ceux, dont, je, mien, par, quoi,
  telles, autour, chacun, du, jusqu, mienne, parce,
  quoique, tes, aux, chacune, duquel, jusque,
  miennes, parmi, sa, tienne, auxquelles, chaque,
  durant, la, miens, plus, sans, tiennes, auxquels,
  chez, elle, laquelle, moins, plusieurs, sauf,
  tiens, avec, combien, elles, là, moment, pour,
  se, toi, à, comme, en, le, mon, pourquoi, selon,
  ton.

45
Représentation des documents et Mesure de
similarité

• Représentation des documents
• Vecteurs de document
• ou matrice Document x terme
• Pondération (ex tf-idf)
• Réduction de dimension
• Similarité
• Par le cosinus Plus il est élevé (angle obtus)
  plus les documents sont similaires

46
Pondération TF-IDF

• TF-IDF signifie Term Frequency x Inverse Document
  Frequency
• Proposée par Salton 1989, mesure l'importance
  dun terme dans un document relativement à
  lensemble des documents.
• Avec
• tf i,j fréquence du terme i dans le document
  j df i nombre de documents du corpus contenant
  le terme i N nombre de documents du corpus

47
Évaluation de Performances

• Ex. pour la catégorisation binaire (Y/N)
• Mesures basés sur la table de contingences
• Rappel mesure la largeur de la catégorisation
  ratio des documents bien classés par rapport à
  lensemble des documents appartenant réellement à
  la catégorie. ra/(ac)
• Précision mesure la qualité de la catégorisation
  et correspond à la fraction des documents bien
  classés sur tous les documents affectés à la
  catégorie. pa/(ab)
• F-mesure mesure le compromis entre r et p
  F12rp/(rp)

pré-étiqueté Y pré-étiquetéN
Affecté à Y a b ab
Affecté à N c d cd
ac bd abcd
48
Fouille de données séquentielles
49
Utilisations

• Panier de la ménagère en considérant lhistorique
  des transactions des clients.
• Le Web Usage Mining en considérant les succession
  des pages accédées par un même internaute.
• Analyse de séquences ADN
• Analyse de séquences dévénements quelconques
• Ex Séquence dactivités de lenquête Ménages-
  Déplacements
• Différences avec les séries temporelles
• Séries qualitatives et non numériques
• Parfois série densembles, série de données
  multi-variées,

50
Ex Le Web Usage Mining

• Le Weblog contient des informations riches sur la
  dynamique du Web gt Son analyse permet de cibler
  les utilisateurs (clients, marchés) potentiels
• La recherche de régularités (séquences fréquentes
  de pages) permet
• Dajuster la conception des pages et des liens et
  daméliorer les performances des sites
• Les associations de pages côté client permet
  doptimiser le cache du navigateur, deffectuer
  du  prefetching 
• Lanalyse de tendance (temporelle)
• Indique les changements et la dynamique du web
  pour sy adapter

51
Sous-séquences fréquentes

• Algorithme GSP Skirant 95
• Extension dApriori
• Génération de candidats modifiée
• Inconvénient plusieurs parcours de la base gt
  coût élevé

abbc
abcb
bbcb
cbbc
cbcb
bbb
bbc
cbb
cbc
abb
abc
aa
ab
ac
ba
bb
bc
ca
cb
cc
a
b
c
52
Sous-séquences fréquentes (Suite)

• Algorithme PrefixSpan Pei 2001
• Inspiré de FP-tree et FP-growth de J. Han
• Code les données dans une structure darbre
• Plus performant que GSP si la structure tient en
  mémoire
• Problème compacité moyenne gt peut dépasser la
  taille de la mémoire

53
Sous-séquences fréquentes (Suite)

• Algorithme TBI Savary 2005
• Un seul parcours de la base
• Codage compact au fur et à mesure dans un tableau
  binaire
• Maintien des fréquences des séquences lues et
  dun index pour laccès rapide par longueur.
• Plus performant que PrefixSpan
• Méthode en 2 phases
• Phase de codage dans la structure de donnée (Lit
  1 fois la BD)
• Phase de génération de fréquents en mémoire

54
Sous-séquences fréquentes (Suite)

• Structure de données

Pointe sur le début de séquences de taille 3
Fréquence de la séquence entière
Pointe sur le début de séquences de taille 1.
55
Sous-séquences fréquentes (Suite)

• Algo TBI (Seuil-support, Tmax)
• Pour s dans la BD
• Gen-vecteur-séquences (VS, s) //génère le
  vecteur de séquences
• Coder et Insérer séquence dans le TBI
• Décalage éventuel pour séquences déjà codées
• Mettre à jour NB et Index
• Fin pour
• Pour k 1 à Tmax //taille maximale des
  séquences de la base
• - Générer Ck
• - Gen-séquences-fréquentes (Seuil-support, k)
• Fin Pour

56
Sous-séquences fréquentes (Suite)

• Algo. Gen-vecteur-séquences (VS, s) --s
  nouvelle séquence
• indice1 -- Position courante dans VS
• Pour chaque article a de s
• Si a ? (VS à partir de indice)
• Si ? b ? s tel que b ? VS et position(b)
  gt indice Insérer a avant b dans VS
• indice indice 1
• Sinon insérer a à la fin de VS
• indice Longueur VS1
• Fin Pour
• Fin

57
Sous-séquences fréquentes (Suite)

• Algo. Gen-séquences-fréquentes (Seuil-support,
  k) 
• Lk ? // ensemble des séquences fréquentes de
  tailles k
• Pour toutes les sous-séquences candidates s de
  taille k
• - Pour toutes les lignes l du TBI à partir de
  la ligne indexk
• - Si s ? l
• - s.count s.count NBk // fréquence de
  s
• - Fin Pour
• - Si s.count gt Seuil-support
• - Lk Lk ? s
• Fin Pour

58
Conclusion

• La recherche dinformation a dominé la recherche
  au cours du demi-siècle passé.
• La découverte dinformations dominera la
  recherche au cours du siècle à venir.
• Directions de recherche
• Vers les outils intégrés de data mining
• Vertical (spécifique par application)
• data mining invisible (systèmes intelligents)
• Vers les méthodes intelligentes, efficaces et
  passant à léchelle
• Réduire les accès disque
• Surtout réduire les calculs tels que les
  similarités sur des données complexes.

59
Références

• Miller H.J., Han J., Geographic Data Mining and
  Knowledge Discovery, Research monographs in
  geographic information systems, 2001.
• Ester M., Kriegel H.-P., Sander J., Xu X. A
  Density-Based Algorithm for Discovering Clusters
  in Large Spatial Databases with Noise, Proc. 2nd
  Int. Conf. on Knowledge Discovery and Data Mining
  (KDD-96), Portland, 1996, pp. 226-231.
• Ester M., Kriegel H.P., Sander J., "Spatial Data
  Mining A Database Approach", Proc. of 5th
  Symposium on Spatial Databases, Berlin, Germany,
  1997.
• K. Koperski, G. B. Marchisio,  Multi-level
  Indexing and GIS Enhanced Learning for Satellite
  Imageries , In proceedings of Workshop on
  Multimedia Data Mining, August 20, 2000, Boston,
  MA, USA, pages 8-13. In conjunctions with the 6th
  ACM SIGKDD International Conference on Knowledge
  Discovery and Data Mining 2000.
• Lu, W., Han, J. and Ooi, B. Discovery of General
  Knowledge in Large Spatial Databases, in Proc. of
  1993 Far East Workshop on Geographic Information
  Systems (FEGIS'93), Singapore, June 1993

60
Références (suite)

• R. Ng and J.Han, "Efficient and Effective
  Clustering Method for Spatial Data Mining'', in
  Proc. of Int. Conf. on Very Large Data Bases
  (VLDB'94), Santiago, Chile, September 1994, pp.
  144-155.
• Tung A.KH, Ng R T., Lakshmanan L VS, Han J.,
  Constraint-based clustering in large databases.
  ICDT 2001.
• Zeitouni K., "Data Mining Spatial" - Numéro
  spécial, Revue internationale de géomatique,
  Editions Hermès, Vol. 9, 4 (99).
• Zeitouni K.,Yeh L., Aufaure M-A., "Join indices
  as a tool for spatial data mining", Int. Workshop
  on Temporal, Spatial and Spatio-Temporal Data
  Mining, LNAI n 2007, Springer, Lyon, September
  2000.
• Sites web
• http//www.kdnuggets.com/
• http//www.cs.bham.ac.uk/anp/TheDataMine.html
• Site de DBMiner/GeoMiner  http//db.cs.sfu.ca/DB
  Miner/index.html

61
Références (suite)

• Agrawal R., Srikant R. Mining sequential
  patterns. In Proc. of the 11th Int'l Conference
  on Data Engineering, Taipei, Taiwan, March 1995.
• Han, J., Jamil, H. M., Lu, Y., Chen, L., Liao, Y.
  and Pei, J. DNA Miner A system prototype for
  mining DNA sequences. In the proc. of the ACM
  SIGMOD International Conference on the management
  of data, Day 21-24, 2001, Santa Barbara, CA, USA.
• M. J. Zaki. 2001. SPADE an efficient algorithm
  for mining frequent sequences. Machine Learning
  Journal, 42 (1/2) 31-60.
• R. Srikant and R. Agrawal. 1996. Mining
  sequential patterns generalization and
  performance improvements. Proceedings of the 15th
  International Conference on Extending Database
  Technology, 3-17.
• J. Pei, J. Han, B. Mortazavi-Asl, H. Pinto, Q.
  Chen, U. Dayal, and M-C. Hsu. 2001. PrefixSpan
  mining sequential patterns efficiently by
  prefix-projected pattern growth. Proceedings of
  the 17th International Conference on Data
  Engineering (ICDE), 215-224.
• F.Masseglia, P.Poncelet, M.Teisseire Incremental
  mining of sequential patterns in large
  databases. Data Knowledge Engineering 46(1)
  97-121 (2003).
• Savary L., Zeitouni K., Indexed Bit Map (IBM)
  for Mining Frequent Sequences, 9th European
  Conference on Principles and Practice of
  Knowledge Discovery in Databases (PKDD 2005),
  Porto, Portugal, October 3-7, 2005. Lecture Notes
  in Computer Science n 3721 / 2005,
  Springer-Verlag Ed, pp. 659 666. Vesrion en
  Français Tableau de Bits Indexé (TBI) pour la
  Recherche de Séquences Fréquentes , Actes de la
  conférenceExtraction et Gestion de connaissances
  (EGC) 2005.