Apprentissage relationnel

1
Apprentissage relationnel

• Apprentissage
• Data Mining
• ILP

2
KDD
Knowledge discovery in Databases is the
non-trivial process of Identifying
valid novel potentially useful and
ultimately understandable Struture in data Data
ensemble de faits Structure patterns ou modèles
3
Machine apprenante
Prédiction Classification (si catégorique) Régre
ssion (si numérique) Recherche de regroupement
(clustering) Recherche des propriétés permettant
le regroupement de données considérés comme
similaires. Metric-distance methods Model-base
d methods Partition-based methods Propositionnal
isation (Data summarization) Recherche de
pattern compact qui permettent de redécrire
les Exemples Recherche de règles dassociations
4
ILP
Relationnal Data Mining Les Pattern trouvés en
ILP sont via des expressions de la logique du
premier ordre. En général on utilise des
ensemble de clauses.
5
Langages relationnel
DB LP Bipartite Graph Relation name
P Predicate symbol p Node relation P Attribute
of relation P arguments of predicate P Voisin
dun nœud Tuple(ai,..,an) fact p(a1,,an)
6
ILP
Langage term formule substitution Model
theory Interpretation implication
logique interpretation de Herbrand Proof
Theory derivation deduction
7
ILP
Relational rule induction Soit un ensemble
dexemples E P U N P Exemples positifs N
Exemples négatifs Et une ensemble de
connaissances B Le but est de rechercher des
hypothèses H telles que ?e?P B ? H ? e (H
est complet) ?e?N B ? H ?? e (H est
consistant) (Learning from entailment Muggleton
1991) (Learning from interpretation 1994)
8
Exemple
On connaît les prédicats femme et parent et on
veut apprendre fille On utilise lensemble
dexemples suivant Parent(ann,mary),
Femme(ann), Fille(mary,ann) Parent(ann,tom),
Femme(mary) Fille(eve,tom) Parent(tom,eve),
Femme(eve) Fille(tom,ann) - Parent(tom,ian)
Fille(eve,ann) - Le predicat recherché est le
suivant Fille(X,Y) lt- Femme(X), Parent(Y,X) gt
Comment ? Complexité Heuristiques ..
9
Structuration de lespace des clauses

• Substitutionvi/ti vn/tn qui assigne les
  termes ti
• aux variables vi.
• Une clause c ?-subsume c si il existe une
  substitution ?,
• avec ?c?c

10
Exemple subsumption
Exemple cFille(x,y) lt- Parent(y,x) équivalent
Fille(x,y), ? Parent(x,y) Si lon applique la
substitution ?X/mary, Y/ann sur c cela donne
c?Fille(mary,ann)lt-parent(ann,mary) c
Fille(x,y) lt- Femme(x), Parent(y,x)
Fille(x,y), ? Femme(x), ? Parent(y,x) La
clause c ?-subsume c avec la substitution
? Ou avec la substitution ?X/mary, Y/ann
cFille(mary,ann)lt-Femme(mary),
Parent(ann,mary)
11
Généralisation
Relation Une clause C est au moins aussi
générale quune clause c (c c) si c ?-subsume
c La clause c est plus générale que c (c lt
c) if c c et non c c. c est une
spécialisation de c. c est un raffinement de
c. Remarque c ?-subsume c gt c c
linverse nest pas toujours vrai.
12
Treillis et clause
Propriété La relation permet davoir un
treillis dans le cas des clauses
réduites. (plotkin 71) Les clauses réduites étant
le réprésentant minimal (quotient) pour
la relation déquivalence défini par c?c ssi c
c et c c Nous nommons lgg (least general
generalisation) de deux clauses c,c (noté
lgg(c,c)) est la borne sup de deux clauses (c ?
c) dans le treillis. Nous nommons glb (greatest
lower bound) de deux clauses c,c la borne inf de
deux clauses (c ? c) dans le treillis
13
Interêt
?-subsumption permet Structuration de
lespace de recherche gt parcours de lespace
de recherche général vers spécifique
(top-down) spécifique vers général
(bottom-up)
14
Recherche dans lespace des Hypothèses
Mise en place dune relation dordre partielle
entre les hypothèses général / spécifique
parcours de lespace du plus général au plus
spécifique du plus spécifique au plus général
15
Opérateur de spécialisation

• Opérateur de spécialisation (ou de raffinement)
• Pour un langage de description des hypothèse H,
  un opérateur de
• spécialisation s H- gtHn associe à une clause c un
  ensemble de clauses
• s(c) qui sont des spécialisations de c. s(c)
  c c ? H, cltc
• Bon opérateur
• Recherche lensemble minimal le plus général des
  spécialisations
• dune clause c pour la relation dordre (basé
  sur la subsumption)
• opération de raffinement
• Application dune substitution à une clause
• Ajout dun littéral au corps de la clause
• Parcours dun sous ensemble de lespace de
  recherche (treillis)
• Graphe de spécialisations
• Nodes clauses
• arcs raffinement

16
Exemple parcours spécialisation
Fille(x,y)lt-
Fille(x,y)lt-Parent(x,z)
Fille(x,y)lt- xy
Fille(x,y)lt-Parent(y,x)
Fille(x,y)lt-Femme(x)
Fille(x,y)lt-Femme(x), Femme(y)
Fille(x,y)lt-Femme(x),Parent(y,x)
s(c)Fille(x,y) lt-L avec L est un des
littérals  littéraux utilisant les variables de
la tête de la clause (ex xy) littéraux avec
une nouvelle variable Parent(x,z)
17
Parcours de lespace des hypothèses

• BIAIS H est restreint au clauses
• définit (pas de ?)
• non-récursive
• parcours
• utilise le nombre exemple/contre-exemple pour
  choisir
• les clauses à raffiner
• gestion de léquivalence (plusieurs chemins)
• Aveugle les exemples permettent de valider plutôt
  que
• de générer

18
(I) LGG et RLGG
lgg Si deux clauses c1 et c2 sont vrais, alors
lgg(c1,c2) peut être vrai. Si une clause d
subsume c1 et c2 il subsume aussi
lgg(c1,c2) (product). calcul du lgg polynomial
(calcul du lgg pour clauses reduites NPC)
19
Calcul du LGG de deux clauses
lgg de deux termes 1 lgg(t,t)t 2
lgg(f(s1,...sn), f(t1...tn)) f(lgg(s1,t1), ...
lgg(sn,tn)) 3 lgg(f(s1,...sm),g(t1,...tn)) V,
avec f?g et V est une variable qui représente
lgg(f(s1,..sm), g(t1...tn)) 4 lgg(s,t) V, avec
s?t, V est une variable représentant
lgg(s,t) Exemple lgg(a,b,c,a,c,d)
a,X,Y lgg(f(a,a),f(b,b)) f(lgg(a,b),
lgg(a,b)) f(V,V) Le lgg de deux atomes est 1
lgg(p(s1,...sn),p(t1...tn))p(lgg(s1,t1),..,lgg(sn
,tn)) 2 lgg(p(s1,...sm),q(t1,...tn)) est
indéfini si p?q Le lgg de deux littéraux
lgg(L1,L2) est défini par 1 si L1 et L2 sont des
atomes gt lgg(L1,L2) voir ci-dessus 2 si L1?A1
et L2?A2 sont des littéraux négatifs lgg(?A1,
?A2)?lgg(A1,A2) 3 si L1 est un litteral positif
est L2 littéral négatif lgg(L1,L2) est indéfini
20
Exemple LGG
lgg (parent(ann,mary), parent(ann,tom))
parent(ann,X) lgg(parent(ann,mary),
?parent(ann,tom)) indéfini lgg(parent(ann,x),
Fille(mary,ann)) indéfini c1 Fille(mary,ann)
lt- Femme(mary), Parent(ann,mary) c2
Fille(eve,tom) lt- Femme(eve), Parent(tom,eve) lgg
(c1,c2) Fille(x,y)lt- Femme(x), parent(y,x) Ou x
est le lgg( mary,eve) et y le lgg(ann,tom)
21
Rlgg
Relative least General generalisation Pour deux
clauses c1 et c2 il sagit de la clause la moins
générale qui est plus générale que c1 et c2
relativement à la base de connaissance B.
22
Exemple
rlgg(A1,A2)lgg((A1lt-k),(A2lt-k)) pour deux
exemples e1Fille(mary,ann) e2Fille(eve,tom) B
Parent(ann,mary), Femme(ann),
Fille(mary,ann) Parent(ann,tom), Femme(mary)
Fille(eve,tom) Parent(tom,eve), Femme(eve)
Fille(tom,ann) - Parent(tom,ian)
Fille(eve,ann) - rlgg(e1,e2)lgg((e1lt-k),(e2lt-k))
ou k dénote la conjonctions des littéraux
parent(ann,mary), parent(ann,tom),
parent(tom,eve) parent(tom,ian), femme(ann),
femme(mary), femme(eve) rllg croissance
exponentielle avec le nombre dexemples
23
(II) Inversion de la resolution
Inversion de la SLD résolution SLD
propositionnel A partir de (p ? ? q) (q ? r)
on déduit p ? r SLD logique du premier
ordre B b1Femme(mary) b2Parent(ann,mary) Hc
Fille(x,y)lt-Femme(x),Parent(y,x) Soit TH?B.
Fille(mary,ann)? c1resolvant(c,b1) avec la
substitutionX/mary Fille(mary,Y)lt-Femme(mary),Pa
rent(y,mary) ...
24
Un arbre de dérivation
Fille(x,y)lt-Femme(x),Parent(y,x)
b1Femme(mary)
s1X/mary
c1Fille(mary,y)lt-Parent(y,mary)
s2y/ann
b2Parent(ann,mary)
c2Fille(mary,ann)
25
Inversion de la résolution

• Opérateur de généralisation basé sur une
  inversion de la substitution
• A partir dune formule W, un substitution inverse
  ?-1 dune substitution
• est une fonction qui associe au terme dans W? une
  variable tel que
• W ? ?-1 W
• Exemple
• cFille(x,y) lt- Femme(x), Parent(y,x) et ?
  x/mary,y/ann donne
• cc ? Fille(mary,ann) lt- Femme(mary),Parent(ann
  ,mary)
• ?-1mary/X, ann/y on retrouve c.
• en général chaque occurence dun terme peut etre
  remplacé
• par différente variables.

26
Exemple
cFille(x,y)lt-Femme(x),Parent(y,x)
b1Femme(mary)
?1-1 mary/x
c1Fille(mary,y)lt-Parent(y,mary)
?2-1 ann/y
b2Parent(ann,mary)
e1Fille(mary,ann)
Recherche clause c1 qui avec b2
c1 invres(b2,e1)c1 Recherche cinvres(b1,c1)...
27
Lien entre ILP et KDD
Ce fait par principalement par limitation
des langages utilisés mise en place de
contraintes statistiques
28
Langage
ltnomTablegt(ltV1gt,ltV2gt,...,ltVngt) Predicat(Terme,..
.) ltnomTablegt(_,_,_...) variable
quelconque ltnomTable1gt(_,_,X,_,_),
Variable ltnomTable2gt(X,_,_,_,_,_) ltnomTab
legt(X) - ltnomTable1gt().. nomTable1(...)-gtnomTab
le(X)
Exemple client(3478,34677,male,celibataire,s60-
70k,32,...) client(_,_,femme,_,_
) client(C,_,femme,_,_), Ordre(C,_,_,_,CarteCredi
t) BonClient(C)- Client(C,_,Femme,_),Ordre(C,_,_,
CarteCredit)
29
Exemple
On cherche a caractériser des sous-groupes
intéressants (c.a.d différent de la distribution
classique) La caractérisation de ces sous-groupes
ce faisant via des propriétés de ces sous
groupes (propriétés relationnelle -gt query
relationnelle)
membre non-membre _ 66,1 33,9 1371 F
emme 69,9 30,1 478 IDorder.customer ID,
order.delivery Modeexpress, order.paymt mode
CarteCredit 72.0 28 311
30
Gestion du parcours
Qualité Taille du groupe Distribution Recherche
TOP-DOWN Breadth-first heuristiques LIEN à
traiter explicitement indiqués suppression
groupes / critères
31
Exemple

• client(_,_,homme,_,i60-70k,_,_,_)
• client(C,_,homme,_,i60-70k,_,_,_)
  ordre(C,_,_,_,_,_)
• Le client a indiqué
• client1 -gt ordre1
• le client a indiqué
• ordre3-gtstore1
• client(C,_,homme,_,i60-70k,_,_,_)
  ordre(C,_,S,_,_) store(S,_,_,_)

32
Parcours
Sexehomme Statuscelibataire
SexeHomme

Sexehomme StatusMarié
SexeFemme
StatusCelibataire

33
Arbre de décision
Propriété
oui
non
Idée choisir les propriétés permettant de
maximiser la séparation
Complexité réduite Guidage par lutilisateur Gesti
on des erreurs bonne théorisation
34
Passage au relationnel
Propriété sont des propriétés structurelles
(Formule, graphe)
atome(C,A1,cl)
faux
vrai
atom(C,A3,o)
Bond(C,A1,A2,bt) atom(C,A2,n)
vrai
vrai
faux
faux
7.82
7.51
6.08
6.73
35
ILP -gt Propositionnel
Transformation du problème de relationnel en
propositionnel Recherche dune solution à
partir dune méthode propositionnelle Retour à
la description relationnelle de lhypothèse (si
besoin)

• inconvénients
• Choix des attributs ???
• perte des relations, perte dinformations???
• nombre dattributs

36
Formal Concept Analysis
37
Concepts et Relations.
Cas général
Extension
Intention Description
Concepts
Structure de lespace
Ordre partiel
E ? E et D ??D
E D
38
Generalisation

• Contexte
• O un ensemble fini dobjets
• (L,) un treillis de formules
• i une application de O dans L
• l20 -gt L l(o)? n?o i(n) (ou ? est lopération
  de généralisation)
• eL-gt 20 e(ƒ)o / i(o) ƒ
• Concept
• Dans un contexte (O,L,i) un concept est une paire
  (o,ƒ) ou o est un
• sous ensemble de O et ƒ un élement de L tel que
• l(o)ƒ et e(ƒ)0

39
Ordre
(o1,ƒ1) (o2,ƒ2) ltgt o1? o2 ltgt ƒ1 ƒ2
Théorème Pour un contexte (O,L,i) Lensemble
ordonnée de tous les concepts de (O,L,i)
ordonné via la relation est un treillis.