R

1
Réseaux de neurones temporels dynamique et
apprentissage

• Hélène Paugam-Moisy
• Professeur à lUniversité Lyon 2
• Institut des Sciences Cognitives

hpaugam_at_isc.cnrs.fr
2
Les réseaux de neurones naturels
3
Cerveau, neurones et intelligence
Chez les animaux, la place occupée par le cortex
semble être proportionnelle au développement
des facultés intelligentes.
Le cerveau humain est constitué denviron 1011
neurones en moyenne, chaque neurone a de
lordre de 104 connexions.
4
Neurones biologiques / naturels
Les neurones forment des réseaux de communication
complexes, chaque neurone établissant de très
nombreuses connexions avec d'autres.
vibrisses du rat neurones sensitifs gt
thalamus (White et Peters ) neurones thalamiques
gt cortex
5
Neurones biologiques / naturels
gallerie de photos...
6
Neurones biologiques / naturels
Première schématisation du neurone (Dieters, 1865)
Enregistrement dun neurone vivant
micro-électrode de verre
Neuropuce (Infineon) 16 384 capteurs au
mm2 pour enregistrer tout signal électrique émis
par un neurone vivant, ici celui dune limace de
boue Lymnaea stagnalis
7
Neurones biologiques / naturels
Schématiquement, un neurone biologique est
constitué dun arbre dendritique, dun soma et
dun axone.
autre dendrite
soma
axone
dendrites
connexion synaptique
Un neurone peut émettre des impulsions sur son
axone. Elles se propagent vers les dendrites des
neurones auxquels il est connecté, qui les
transmettent au corps cellulaire (ou soma), via
des connexions pondérées par des synapses.
8
Connexions synaptiques
9
Connexions synaptiques
10
Plasticité synaptique
Loi de renforcement de Hebb (1949)
Postulat physiologique quand un axone de la
cellule A est assez proche pour exciter une
cellule B et quand, de façon repétée et
persistante, il participe à son activation,
un certan processus de croissance ou un
changement métabolique sinstalle, dans une
cellule ou dans les deux, tel que lefficacité de
A, en sa qualité de cellule qui active B, est
augmentée.
En résumé si deux neurones sont souvent excités
simultanément, alors ils augmentent la force (le
poids) de leur interconnexion .
gt cest le principal fondement des
règles dapprentissage, dans les réseaux de
neurones artificiels.
11
Les réseaux de neurones artificiels
12
Neurones artificiels
Le premier modèle mathématique de neurone est le
neurone formel de McCulloch et Pitts (1943).
x1
w1
. . .
y 1 si Swixigt? 0 sinon
wi
xi
S
?
. . .
sommation, seuillage
wn
xn
Loi du tout ou rien le neurone émet ou non
une impulsion sur son axone, selon que la somme
pondérée de ses entrées dendritiques dépasse ou
non son seuil ?.
13
Réseaux de neurones artificiels
Un réseau de neurones artificiels est un ensemble
de neurones formels, connectés entre eux selon
une certaine architecture / topologie. Les
activités se propagent de neurone en neurone
selon une certaine dynamique. Les poids des
connexions sont modifiés / adaptés par une règle
dapprentissage, à partir dexemples.
14
Réseaux de neurones artificiels
On peut aussi voir un réseau de neurones
artificiels comme un outil de modélisation de
type boîte noire
f
X
Y
RNA
vecteur dentrée
vecteur de sortie
Le RNA réalise une association dun espace
dentrée X vers un espace de sortie Y. La
fonction f est définie par les poids du réseau.
Ceux-ci sont ajustés au problème par une règle
dapprentissage, à partir dune base dexemples
(xk,tk ) apprentissage supervisé, si tk est
connu
15
Connexions synaptiques
Les poids synaptiques (artificiels) sont des
nombres réels. On associe habituellement les
poids positifs à des connexions excitatrices et
les poids négatifs à des connexions inhibitrices
mais...
les règles dapprentissage des modèles
connexionnistes classiques peuvent modifier le
signe dun poids synaptique donné, ce qui nest
guère réaliste, sur le plan biologique.
16
Motivation initiale
La motivation initiale nétait pas non plus très
biologique lidée sous-jacente à la définition
du neurone formel était de chercher à montrer que
la pensée intelligente résultait du
fonctionnement des neurones du cerveau...
mais, à lépoque, on pensait que
intelligence
raisonnement
raisonnement
logique
logique
neurones
17
Synthèse des fonctions booléennes
Ainsi, les premiers travaux de McCulloch et Pitts
ont été de réaliser la synthèse des fonctions
booléennes élémentaires à partir de réseaux de
neurones formels. Parallèlement, les
mathématiciens tentaient de démontrer que tout
raisonnement pouvait se formaliser par
des combinaisons complexes de règles logiques.
donc, dans lesprit des travaux de Turing
grand reséau de neurones
raisonnement complexe, intelligent
émergence
18
Modèles connexionnistes classiques
1940

Neurone formel de McCulloch Pitts
notions fondatrices
Loi de renforcement de Hebb
1950
Perceptron de Rosenblatt
Adaline de Widrow
1960
1970
1980
Réseau de Hopfield
Cartes auto-organisatrices de Kohonen
Réseaux MLP Rumelhart et al.
1990
Réseaux RBF Moody Darken
Support Vector Machines Vapnik
2000
20...
19
Exemple un réseau MLP
entrées
sorties désirées
sorties calculées
x1k
t1k
y1k
X
Y
tmk
ymk
erreur
xnk
Généralisation, calcul du réseau

• présenter les xi aux neurones dentrée
• calculer les activités, de couche en couche,
  jusquaux sorties yj

Apprentissage, par rétro-propagation backprop

• initialiser les poids wij aléatoirement, sur
  chaque couche
• présenter les xik aux neurones dentrée
• calculer les activités, de couche en couche,
  jusquaux sorties yjk
• mesurer lerreur entre sorties calculées yjk et
  sorties désirées tjk
• en sens inverse, calculer les gradients et
  modifier les poids wij

20
Modèles connexionnistes classiques
Les réseaux de neurones artificiels sont devenus
des outils de modélisation et de calcul destinés
aux ingénieurs

• Reconnaissance des formes, classification,
  clustering
• Prédiction, prévision de séries temporelles
• Contrôle, identification de systèmes
• Compression de données
• Bioinformatique
• Robotique

Des exemples repérer lapproche dune
tempête identifier de multiples espèces de
fleurs reconnaître une voix dans un téléphone
mobile distinguer les raisins utilisés pour faire
un bon vin diagnostiquer les conditions dune
conduite dangereuse reconnaître le visage de
quelquun quon na pas vu récemment
21
Modèles connexionnistes classiques
Ces RNA sont, dailleurs, des outils très
performants

• Calculabilité plus puissants quune machine de
  Turing
• Complexité NP-complétude du loading problem
• Capacité MLP et RBF sont approximateurs
  universels
• Théorie statistique de lapprentissage,
  PAC-learning

mais...
les méthodes mises en oeuvre pour les améliorer
sont de plus en plus souvent des méthodes déjà
connues...
et surtout...
on sest beaucoup éloigné de linspiration
biologique !
22
Les neurones impulsionnelsou spiking neurons
23
Les neurones classiques
neurone à seuil (fx de Heaviside)
neurone linéaire (fx identité)
neurone sigmoïde (exp argth)
f s
f I
f H
calculs basés sur le produit scalaire
Dans certains modèles (cartes de Kohonen, réseaux
RBF)
y g ( x - w 2)
calculs basés sur la distance
24
Que représente xi ?
Les algorithmes des réseaux de neurones
classiques sont itératifs. A chaque pas de temps,
chaque neurone reçoit n valeurs dentrée xi et
les traîte selon sa propre formule de calcul et
en fonction des valeurs de ses poids synaptiques.
xi représente le taux moyen de décharge
provenant du neurone présynaptique Ni
Cette moyenne (fréquence) résulte de plusieurs
émissions dimpulsions pendant un intervalle de
temps donné, mais on ne connaît pas ces
impulsions de manière précise.
cependant...
25
Neurone impulsionnel
Les neurobiologistes ont montré que les neurones
encodent linformation dans les instants
démission des impulsions.
impulsion potentiel daction spike
spiking neuron
Pour une modélisation plus réaliste, il faut
prendre en compte les aspects temporels et
utiliser de nouveaux modèles de neurones des
neurones impulsionnels .
26
Dynamique neuronale
neurone post-synaptique
neurones pré-synaptiques
EPSP potentiel post-synaptique excitateur
tj (f)
chaque spike pré-synaptique engendre un EPSP (en
rouge) ceux-ci sajoutent (en bleu) quand uj
(t) atteint le seuil V le neurone post-synaptique
Nj émet à son tour un spike.
V
u mV
urepos
t2(1)
t1(1)
t1(2)
t2(2)
t ms
27
Le modèle de Hodgkin-Huxley
Le modèle de neurone de Hodgkin-Huxley (1952)
tient compte avec précision des canaux ioniques
et du processus électro-chimique, au niveau des
connexions synaptiques
I (t)
courant dentrée
u potentiel de membrane
sodium
potassium
S Ik gNam3h(u-ENa) gKn4(u-EK) (u-EL)
k
... où les variables m, n et h sont elles-mêmes
régies par des équations différentielles, en
fonction du temps.
28
Le modèle de Hodgkin-Huxley
Ce modèle est capable de rendre compte de la
dynamique démission dun spike et de se
comporter en neurone à seuil
réponse du neurone à une impulsion, i.e. un
courant dentrée de courte durée I(t) envoyé à t
lt 0
?u(t) mV
0
5
10
15
20
t ms
mais...
le modèle de Hodgkin-Huxley est beaucoup trop
complexe pour modéliser des réseaux de neurones
temporels !
29
Le modèle LIF Leaky Integrate and Fire
Le modèle Leaky Integrate and Fire est
une simplification du modèle de Hodgkin-Huxley
u potentiel de membrane
V
Un spike est émis à chaque fois que le potentiel
de membrane croît jusquà dépasser le seuil V du
neurone.
instant démission du spike
t(f) tel que u(t(f)) V avec
u(t(f)) gt 0
30
Le modèle SRM Spike Response Model
Le Spike Response Model SRM de Gerstner (1995)
est une généralisation du LIF, qui intègre le
passé du neurone Nj
courant extérieur
somme des PSP
seuil, émission
instant démission du prochain spike
t(f) tel que u(t(f)) seuil avec
u(t(f)) gt 0
31
Le modèle SRM Spike Response Model
Exemple de formule mathématique pour le seuil
variations autour du seuil V et modélisation
dune période réfractaire dabs
Exemple de formule pour les réponses aux PSP
où ?ij est le délai de propagation le long de
laxone qui va du neurone Ni vers le neurone Nj
32
Le modèle SRM0
On peut simplifier le modèle SRM, tout en
conservant lessentiel de ses propriétés gt on
obtient le modèle phénoménologique SRM0
33
Le modèle SRM0
Exemple de formule pour les réponses aux PSP
EPSP
IPSP
où t est une constante de temps caractéristique
du potentiel de membrane (augmentation puis
décroissance)
instant démission dun spike, par le neurone Nj

tj(f) t tel que uj(t) ?(t-ti)
avec uj(t) gt 0
ce qui donne une fonction non-linéaire de la
variable détat (potentiel de membrane) uj(t) du
neurone Nj
34
Les réseaux de neurones temporelsdynamique,
puissance de calcul
35
Les réseaux de neurones temporels
Comme pour les neurones classiques, on peut
connecter entre eux des neurones temporels selon
diverses topologies, simuler leur fonctionnement
en réponse à des entrées venant dun
environnement extérieur et récupérer des sorties.
SNN Spiking Neuron Networks
cependant
traduction
vecteur numérique spikes
Une solution, le codage temporel
dans un intervalle de temps fixé, plus le spike
est précoce, plus il correspond à une valeur
numérique élevée
36
Dynamique des RNA classiques
topologie en couches gt dynamique feedforward
topologie bouclée gt dynamique récurrente
La dynamique dépend directement de la topologie...
37
Dynamique des RN temporels
La topologie est sous-jacente à la
dynamique, mais... toutes les connexions ne sont
pas actives à chaque instant
des patterns dactivité émergent ils se
modifient au cours du temps
gt un moyen plus riche de coder linformation
Assemblée de neurones
ensemble de neurones qui se synchronisent, en
réponse à un stimulus extérieur
38
Assemblées de neurones
un stimulus est appliqué en entrée, entre 1000 et
2000 ms Meunier
Certains neurones accroissent leur
activité, dautres cessent momentanément
démettre.
39
Implémentation des RN temporels
Toutes les connexions ne sont pas actives à
chaque instant
il devient maladroit de programmer une boucle de
calcul systématique des états de tous les
neurones et de toutes les synapses à chaque
itération.
Léchelle de temps est très différente (
temps-réel )
il convient dimplémenter ces réseaux par
programmation événementielle
EDS Event-Driven Simulation
40
Nouvelle motivation
On a beaucoup progressé sur la compréhension
du fonctionnement du cerveau, et lidée que lon
se fait de lintelligence a beaucoup évolué en
quelques décennies.
maintenant, on pense plutôt que
intelligence
mémorisation
mémorisation
associations
associations
neurones
La synchronisation des assemblées de neurones est
une piste extrémement prometteuse...
41
Puissance de calcul
Des résultats théoriques (Maass, 1997) ont
montré que les spiking neurons sont plus
puissants que les neurones classiques, même avec
des modèles simples
type A
modélisation du seuil
type B

1 spiking neuron de type B O(n) neurones
sigmoïdes O(n log n) neurones à seuil
fonctions de réponse aux PSP
42
Puissance de calcul
Réseaux de neurones de 3ème génération
spiking neurons
1995
intégration dinformations en continu
Réseaux de neurones de 2ème génération
1985
neurones sigmoïdes, neurones distance
entrées et sorties réelles
Réseaux de neurones de 1ère génération
neurones à seuil, à saturation
1945
entrées et sorties booléennes
43
Apprentissage et plasticité
44
Apprentissage dans les SNN
Les réseaux de neurones temporels, ou SNN
(réseaux de spiking neurons) modélisent beaucoup
mieux que leurs ancêtres la dynamique des
interactions entre neurones.
mais
comment réalise-t-on lapprentissage des
poids dans les réseaux de neurones temporels ?
devrait-on aussi apprendre les délais ?
de nombreux problèmes ouverts
45
Apprentissage dans les SNN
Plusieurs chercheurs ont démontré Maass, 1997
Bohte, 2002 Ruf Schmitt, 2000 que lon
pouvait émuler les principaux modèles
classiques (réseau de Hopfield, réseau MLP,
cartes de Kohonen) avec des réseaux de neurones
impulsionnels
mais
la simple reproduction des modèles de 2nde
génération ne permet pas dexploiter la pleine
puissance de ces modèles de 3ème génération que
sont les SNN.
on pourrait aussi chercher une inspiration
biologique ?
46
Plasticité synaptique
Les neurobiologistes ont observé
des potentiations synaptiques quand un neurone
pré-synaptique émet juste avant un neurone
post-synaptique et des dépressions synaptiques
quand un neurone pré-synaptique émet juste après
un neurone post-synaptique
Ce phénomène de plasticité synaptique est connu
sous le nom de STDP Spike-Time-Dependent
Plasticity
47
Mécanismes STDP
modification des poids en fonction de ?t tpost
- tpré
poids excitateurs, w gt 0
poids inhibiteurs, w lt 0
48
Difficultés, avec la STDP

• Les poids synaptiques sont constamment modifiés
• gt inconvénients de lapprentissage on-line
• manque de stabilité
• oubli du passé lointain

On retrouve le classique dilemme plasticité /
stabilité mis en évidence par Grossberg fin des
années 80
il faudrait combiner la STDP avec une autre
méthode dapprentissage
49
Algorithmes évolutionnistes
Une autre piste consiste à utiliser
des algorithmes génétiques pour optimiser les
valeurs des poids synaptiques en adaptant le
réseau à son milieu.
sélection croisement mutation
et ainsi de suite ...
génération 2
Les individus sont des réseaux de neurones
temporels
génération N
50
Algorithmes évolutionnistes et STDP
SNN plongé dans un zoo virtuel
les poids ne cessent devoluer
51
Conclusion
52

• Les réseaux de neurones temporels sont
• des modèles proches du biologique
• des outils de calcul très puissants

mais...
on maîtrise encore mal leur fonctionnement, en
particulier au niveau de lapprentissage