Les cartes autoorganisatrices

1
Les cartes auto-organisatrices

• Hervé Frezza-Buet

2
Le paradigme de Kohonen

• Tuning
• Compétition
• Mapping de distribution

3
Tuning

• Le neurone est un filtre

4
Tuning

• Le neurone est un filtre

5
Tuning

• Le neurone est un filtre

Activation
Fonction de transfert
Espace des entrées
Valeur nominale
événement
6
Tuning

• Deux représentations
• Représentation orientée  entrée 
• Représentation orientée  masque 
• Exemple Lespace dentrée est les 26 lettres de
  lalphabet

7
Tuning

• Le neurone est un filtre

ABCDEFGHIJKLMNOPQRSTUVWXYZ
8
Tuning

• Représentation orientée  entrée 
• On dessine le neurone dans lespace des entrées,
  à lendroit où se situe sa valeur nominale.

ABCDEFGHIJKLMNOPQRSTUVWXYZ
9
Tuning

• Représentation orientée  masque 
• On étiquette les neurones par leur valeur
  nominale (masque).

H
O
M
10
Compétition

• La compétition concerne des neurones connectés
  entre eux (connexions latérales)
• Principe ON-center, OFF-surround

11
Compétition
Poids w
distance
ON Excitatrices
12
Compétition
Poids w
distance
ON Excitatrices
OFF Inhibitrices
13
Compétition
Poids w
distance
Total Chapeau Mexicain
ON Excitatrices
OFF Inhibitrices
14
Compétition

• Connexions latérales 2D

w(milieu,n)
15
Compétition

• Les neurones n sont activés par leur entrée
  i(n,t)
• La compétition entre neurones n conduit à une
  activité résultante u(n,t)

16
Compétition principe
tuning
Excitation
17
Compétition principe
tuning
Excitation
18
Compétition principe
tuning
Excitation
19
Compétition

• Un mécanisme itératif Continuum Neural Field
  Theory (CNFT)

• A léquilibre, u est un contraste des entrées i.

20
Compétition 1D
u
i
21
Compétition 2D
u
i
22
Exemple
Contrainte activités isolées
Sollicitation
(niveau de tuning)
Focalisation
23
(No Transcript)
24
Mapping de distribution

• Apprentissage Modification des valeurs
  nominales des neurones
• ça revient à déplacer les neurones sur la
  représentation orientée  entrée .
• Apprentissage non supervisé Il sagit de
  sassurer que les valeurs nominales soient
  représentatives du phénomène observé

25
Mapping de distribution

• Exemple Espace dentrée 2D

Représentation orientée  entrée 
Taille
Répartition aléatoire des valeurs nominales
Occurrence d un événement
Poids
26
Mapping de distribution

• Exemple Espace dentrée 2D

Taille
Activation i(n,t)
Poids
27
Mapping de distribution

• Exemple Espace dentrée 2D

Taille
Activation i(n,t)
Compétition u(n,t)
Poids
28
Mapping de distribution

• Exemple Espace dentrée 2D

Taille
Activation i(n,t)
Compétition u(n,t)
Apprentissage
Poids
29
Mapping de distribution

• Exemple Espace dentrée 2D

Taille
Activation i(n,t)
Compétition u(n,t)
Apprentissage
Poids
30
Mapping de distribution

• Exemple Espace dentrée 2D

Taille
Activation i(n,t)
Compétition u(n,t)
Apprentissage
Poids
31
(No Transcript)
32
Mapping de distribution

• Exemple Ranger les boîtes de fard à paupière
  sur un étalage, dans un magasin, selon leur
  couleur.

• Pb La table est 2D, lensemble des couleurs est
  3D. De plus, toutes les couleurs ne sont pas
  utilisées. Il faut que deux couleurs proches
  soient ensembles.

33
Espace des données les couleurs
Distribution des couleurs de fard à paupière
34
Représentation orientée  entrée , après
apprentissage
35
Représentation orientée  masque , après
apprentissage
36
Mapping de distribution

• Exemple plus réaliste Traitement dimages
• But Extraire des primitives visuelles.
• Limage nest pas du bruit, elle contient
  principalement des transitions de contrastes.
• La distribution des imagettes issues de limage
  ne couvre pas lespace de toutes les imagettes
  possibles

37
(No Transcript)
38
(No Transcript)
39
Mapping de distribution

• Les valeurs nominales sont des prototypes qui
  décrivent le phénomène
• Deux neurones voisins ont des prototypes proches
  Conservation de la topologie de lespace
  d entrée
• Létiquetage des neurones conduit à une
  classification La classe dune donnée est
  létiquette du neurone le plus actif.

40
Apprentissage non supervisé

• Self Organizing Maps (Kohonen)
• Réseaux incrémentaux (Fritzke)

41
Self Organizing Maps

• Cest la version algorithmique du paradigme de
  Kohonen
• Définition dune structure de réseau a priori (ex
  grille)
• Tous les neurones reçoivent la même entrée

42
Self Organizing Maps
i
Prototype (valeur nominale)
Activation a(i) f(d(x,wi))
Distance Définit une notion de similitude sur
lespace des entrées
43
Self Organizing Maps
Prototype (valeur nominale)
Définition dune topologie de réseau
Définit une notion de voisinage entre les
neurones i et j ?(i,j)proximité
44
Self Organizing Maps

• On présente un exemple x
• Calcul des activités a(i) (selon d(x,wi))
• On détermine I, le neurone gagnant
• Iargmaxi(a(i))
• On simule a posteriori une compétition une
  bulle br de rayon r autour de i

45
Self Organizing Maps
Décroît au cours de la présentation des exemples

• Compétition
• a(i)br(?(I,i))

r
I

• Apprentissage
• ?wi??a(i)?(x-wi)

46
Self Organizing Maps

• Non supervisés, prototypes  sub-symboliques 
• Conservation de la topologie robustesse
• Classification, représentation (ex Mots-clés
  voisins voisins sur lécran, cf. Kohonen)
• Convergence prouvée que pour un maillage 1D.

47
Vers la "rétinotopie"
48
Vers la "rétinotopie"

• Inconvénients des cartes de Kohonen
• approche  winner takes all ,supervision des
  calculs
• Une seule entrée pour tout le réseau
• Contrainte de continuité homogène (liens latéraux
  isotropes) et non stationnaire.

49
Vers la "rétinotopie"
50
(No Transcript)
51
Visions centrale / périphérique
Imagettes perçuespar les colonnes
52
Expériences
Valeurs nominalesdes colonnesaprès
auto-organisation
Présentation de 300 images
53
RF-LISSOM (1997)
54
RF-LISSOM (1997)
55
RF-LISSOM (1997)
56
RF-LISSOM (1997)
57
Réseaux incrémentaux
58
Réseaux incrémentaux

• But Ne pas imposer la topologie a priori
• Ajouter des neurones là où linformation est mal
  représentée
• Modèle Growing Neural Gas (Fritzke)

59
Réseaux incrémentaux

• Growing Neural Gas
• Soit une population de neurones s
• On présente un exemple x
• On détermine le neurone s1 dont le prototype est
  le plus proche de x
• On détermine s2, le deuxième plus proche.
• Mise à jour des ages des connexions
• Age(s1? s2)0
• Age(s1? s) Si gtseuil, connexion éliminée
• On bouge s1 et ses voisins vers x

60
Réseaux incrémentaux

• Growing Neural Gas
• A chaque exemple, on tient à jour une estimation
  de lerreur ES1??x - ws1 ??
• Tous les p pas, on détermine s le neurone le plus
  erroné, et s son voisin le plus erroné
• On crée un nouveau neurone n entre s et s, avec
  wn(ws ws)/2

61
Réseaux incrémentaux

• Growing Neural Gas

62
Réseaux incrémentaux

• Growing Neural Gas

63
(No Transcript)
64
Réseaux incrémentaux

• Growing Grid (Fritzke)
• On ajoute une ligne ou une colonne dans une
  grille, entre celui qui gagne le plus souvent et
  son voisin le plus distant.
• Permet dadapter le nombre de neurones dune
  grille de Kohonen
• On a les avantages du Kohonen à influence
  restreinte, mais sans les inconvénients
  (algorithme stationnaire).

65
Réseaux incrémentaux

• Growing Grid (Fritzke)

66
Réseaux incrémentaux

• Growing Grid (Fritzke)

67
Conclusion
68
Conclusion

• Apprentissage non supervisé Capturer
  lhétérogénéité de la distribution d un
  phénomène
• Conservation de la topologie robustesse
• Topologie fixée Mapping de la topologie dun
  espace en une topologie plus simple
• Topologie adaptée Bien pour la classification,
  mais on peut difficilement interconnecter des
  cartes incrémentales.

69
(No Transcript)