R

1
Réseaux de neurones artificiels qui se
ressemble sassemble les noyaux 

• S. Canu,
• laboratoire PSI, INSA de Rouen
• équipe  systèmes dinformation pour
  lenvironnement 
• psichaud.insa-rouen.fr/scanu

2
Apprentissage
Les problèmes
Ensemble dapprentissage (échantillon)
3
A priori sur la nature de la solution
A Algorithme dapprentissage
2
D Algorithme de classification
Une forme x (vecteur forme des caractéristiques)
Cest la forme  yD(x) 
3
Les méthodes à base de Noyau
Ensemble dapprentissage (échantillon)
Ce qui se ressemble sassemble zone
d influence dun exemple
 si x ressemble à un xi, il aura l étiquette yi

4
Zone dinfluence
Définition Si d(x,xi) lt b x
appartient à la zone dinfluence du point xi
b
5
Règle de décision
Définition 1-Si x appartient à la zone
dinfluence dun seul point xi,
alors il a létiquette yi 2-Si x appartient à la
zone dinfluence de plusieurs points de même
étiquette, alors il a cette
étiquette 3-Si x appartient à la zone dinfluence
de plusieurs point détiquette différentes,
alors il y a rejet dambiguité 4-Si x
appartient à la zone dinfluence daucun point,
alors il y a rejet de
distance
4
1
2
b
3
4
6
Mise en œuvre
for i 1n d(i) norm((x-xi(i,))/b) end ind
find(dgtseuil)
b caractérise la zone dinfluence dun point
7
Pour b  grand 
La zone dambiguïté est trop importante
8
Pour b plus petit
x
x
La zone de rejet de distance est trop
importante il faut cumuler les influences
9
Noyau
Distance de la forme x à toutes les forme de
lensemble dapprentissage
On peut aussi modifier la zone d influence dun
point au lieu davoir uniquement une influence
de type  tout ou rien  on peut imaginer de
nombreuses autres manières dont un point
influence les autres par exemple
10
Noyau
Frontière de décision
d(x)0
Classe 2
Classe 1
d(x)0
11
Noyau  matlab 
d 0 for i 1n d d yi(i)exp(-(norm(xi(i
,)-x).2)/b) end Dsign(d)
12
Avec rejet
Frontière de décision
d(x)r
d(x)-r
Classe 2
Classe 1
rejet
d(x) est petit si x est loin des xi ou si les
rouges et les bleus se compensent rejet de
distance et rejet dambiguïté ?????
13
Noyaux avec rejets
Classe 2
Classe 1
Est-ce une bonne idée ? Comment interpréter d
? Comment choisir G ? Comment choisir b ? Comment
choisir les seuils ?
Rejet dambiguïté
Rejet de distance
14
Est-ce une bonne idée ? Oui si cest
universellement consistant
15
Comment choisir G Autres noyaux
16
Exemples de noyaux
Noyaux positifs et les autres
17
Universellement consistant

• Définition un noyau G est dit  régulier  si
• il est non négatif
• il existe une boule contrée B de rayon r et une
  constante k telle que

Théorème
Erreur de Bayes
Erreur de notre règle
18
Comment interpréter le règle de décision ?
Estimation de densité par des noyauxFenêtres de
Parzen
Consistance universelle
Stratégie de RdF
Cest la règle du MAP
19
Discrimination avec les noyau de Parzen règle
du MAP (3 classes)
d1 0 d2 0 d3 0 for i 1n if(yi(i)1)
d1 d1 exp(-(norm(xi(i,)-x).2)/b) end
Vraisemblance if(yi(i)2) d2 d2
exp(-(norm(xi(i,)-x).2)/b) end if(yi(i)3)
d3 d3 exp(-(norm(xi(i,)-x).2)/b)
end end pc1length(x1) pc2length(x2)
pc3length(x3) nt pc1pc2pc3 pc1pc1/nt
pc2pc2/nt pc3pc3/nt probabilité
a priori p pc1d1pc2d2pc3d3
p(x) (théorème des probabilité
totales) map1 pc1d1./p map2 pc2d2./p
map3 pc3d3./p seuil .15 rejetD
0.025 if (map1gt(map2seuil))
(map1gt(map3seuil))) classe 1 elseif
((map2gt(map1seuil)) (map2gt(map3seuil)))
classe 2 elseif (map3gt(map1seuil))
(map3gt(map2seuil))) classe 3 elseif
(pltrejetD) classe 4 rejet de
distance else classe 0 rejet
dambiguïté end
20
MAP sur 3 classes
21
Exemple sur 3 classes
22
Comment choisir b ?

• Minimiser lerreur en généralisation
• avec un ensemble de test
• avec une technique de rééchantillonnage
• avec une borne sur l erreur

23
Méthode linéaireméthode  des potentiels 
Les ci traduisent linfluence du point dans le
calcul de la solution
Les ci sont recherchés de manière à minimiser la
probabilité derreur
24
Méthodes non linéaires les RBF

• Casser la linéarité adapter le noyau au
  problème
• au lieu de choisir xi, optimiser la position du
  centre
• adapter la largeur de bande du noyau
• si on a de  bon  noyaux, on peu en réduire le
  nombre

Les ci mi et bi sont recherchés de manière à
minimiser lerreur
ATTENTION on a maintenant un problème de
minimisation non linéaire
25
Inconvénient des noyauxla malédiction de la
dimensionnalité

• n points pour d dimensions
• Formulation géométrique,
• Densité de léchantillonnage,
• Distance entre 2 points,
• Tous les points sont à la frontière,
• Borne de Stone,

En grande dimension la notion de distance ne veut
pas dire grand chose
26
Densité de léchantillonnage

• n points pour d dimensions
• X N(0,1) d
• x randn(10000,100)
• proj x x(1,)
• hist(proj./proj(1))
• X U(0,1) d
• dist(n,d) Ej(mini xi-xj)

n
27
Conclusion

• Noyaux linéaires
• Parzen
• Nadaraya Watson
• Régression spline
• SVM
• Noyaux non linéaires
• RBF
• perceptron multicouches PMC
• Les dangers de la flexibilité contrôler la
  complexité

28
Conclusion

• Noyaux linéaires
• Parzen
• Nadaraya Watson
• Régression spline
• SVM
• Noyaux non linéaires
• RBF
• perceptron multicouches PMC
• Les dangers de la flexibilité contrôler la
  complexité

Réseaux de neurones