Amal Elouarari

1
Apprentissage

• Amal Elouarari
• Commerce électronique systèmes et architectures
• Avril 2003

2
Plan de la présentation

• Lapprentissage aperçu général
• Modèle général dun agent qui apprend
• Présentation de quelques techniques
  dapprentissage
• Lapprentissage dans les systèmes multi agents
• De l apprentissage mono-agent à multi-agent
• Qu apprend un agent dans un SMA ?
• Caractéristiques multi-agents des apprentissages
• Conclusion

3
De l'apprentissage "mono agent" à multi agents

• L'apprentissage en IA
• système interagissant globalement avec son
  environnement
• Base de connaissances module d exécution
• L'apprentissage porte sur
• stratégie
• performance algorithmique
• forme des connaissances

4
De l'apprentissage "mono agent" à multi agents

• Pourquoi?
• Complexité des SMA
• profiter de lexpérience des autres
• Système ouvert
• Réduire la communication

5
De l'apprentissage "mono agent" à multi gents
Difficulté Réutiliser en IAD En IA
Processus cognitif En IAD Processus social
6
De l'apprentissage "mono agent" à multi gents

• Communiquer et apprendre
• Feber 95
• Les interactions s'expriment ... à partir d'une
  série d'actions dont les conséquences exercent en
  retour une influence sur le comportement futur
  des agents".
• Lapprentissage intègre une phase de
  communication

Classification
7
De l'apprentissage "mono agent" à multi gents

• Brazdil et al 91
• définissent des catégories d'apprentissage
  daprès le moment de communication
• Avant l'apprentissage échange de données
• ---gt apprentissage centralisé dans un agent
• Pendant l'apprentissage les agents apprennent
  en même temps qu'ils envoient leurs données
• ----gt besoin d'algorithme d'apprentissage
  spécialisé
• Après l'apprentissage intégration des
  connaissances
• Après lapprentissage intégration distribuée du
  problème

8
De l'apprentissage "mono agent" à multi gents

• Communiquer pour apprendre
• Les communications
• Partie de lapprentissage
• apprentissage distribué par échange de message
  (Protocole de négociation)
• feedback pour lapprentissage par renforcement
  (comportement social)

9
De l'apprentissage "mono agent" à multi gents

• Source de données
• lagent apprend directement sur le contenu de
  lacte quil reçoit
• lagent apprend indirectement sur lacte dans
  sa forme
• 1.èvaluer la pertinence de lagent émetteur
• 2.En identifiant quel acte de langage a été
  effectué, lagent qui écoute apprend que
  lémetteur croit les différentes pré conditions
  du plan qui mènent a effectuer cet acte
  Cohen et al 79

10
Quapprend un agent dans SMA ?

• Les axes de classifications

• Le système multi agent
• le point de convergence de plusieurs axes
  d'analyse.
• l'approche Vowels décompose l'analyse d'un
  système multi agents selon quatre facettes

. Agent, . Environnement, .Interaction, .
Organisation.
11
Quapprend un agent dans SMA ?
12
Apprentissage centré Agent

• Ses propres comportements
• mieux organiser ses actions pour atteindre ses
  buts.
• Plusieurs comportements possibles
• Un agent dispose de plusieurs comportements
  possibles par lhistorique du comportement passé,
  il peut décider dadopter un comportement
  alternatif

13
Apprentissage centré Agent

• La représentation des autres
• Nécessité de lapprentissage
• Un nouvel agent arrive
• construire une représentation
• (direct ou par annuaire central)
• Protocole de présentation
• Un ancien agent présente un comportement variable
  
• des différences p/r à sa présentation
• Lapprentissage se fait par interprétation des
  actions de
• lagent en confrontant le résultat observé a
  celui attendu.

14
Apprentissage centré Agent

• Exemple
• agent dinterface
• quand lagent ne sait pas répondre à une
  requête, il sadresse aux agents pour lesquels il
  sait quils peuvent y répondre.
• Pour affiner sa représentation des autres, il
  leur demande de répondre à une requête quil sait
  traiter pour évaluer la qualité de leurs réponses.

15
Apprentissage centré Environnement

• Deux cas
• mettre à jour une connaissance erronée de lagent
  sur son environnement
• acquérir des connaissances sur des parties de
  lenvironnement inaccessibles

16
Apprentissage centré Environnement

• Raffinement des connaissances sur lenvironnement
• en cas de connaissance fausse ou incomplète
• par apprentissage interne ou perception
  dinformations supplémentaires.

Définir des modèles pour raffiner la connaissance

17
Apprentissage centré Environnement

• Suite à une erreur détectée
• spécialiser sa connaissance pour que lerreur ne
  se produise plus.
• Byrne et al.96
• apprentissage de concepts par intégration de
  situations de lenvironnement observé
• à chaque intégration dune nouvelle situation
• modifier les liens entre concepts
• créer de nouveaux noeuds conceptuels
• CARAMEL Sabah.97

18
Apprentissage centré Environnement

• Les perceptions distribuées de lenvironnement
• chaque agent perçoit une partie de
  lenvironnement
• coopérer pour apprendre

Protocole dinteraction
19
Apprentissage centré Environnement

• Système MALE de Sian.91
• (Multi Agent Learning Environment)
• contexte dapplication des cours de marché du
  thé, du café, du cacao...
• Chaque agent connaît une partie
• pour prédire les fluctuations du marché,les
  agents négocient en introduisant leurs points de
  vue

• Davies et al.95
• les agents ont chacun accès à une base de
  données
• ils communiquent pour partager des données, des
  résultats partiels ou le résultat complet.

20
Apprentissage centré Interaction

• Utilisation des interactions
• un agent dispose de plusieurs actes
• il apprend à mieux les utiliser
• les adresser à des agents mieux choisis
• différer leur émission
• Deux aspects des interactions peuvent
• être appris
• concepts ou intentions implicites dans une
  communication
• utilisation de protocoles dinteraction

21
Apprentissage centré Interaction

• La sémantique des communications
• la sémantique utilisée dépend de chaque agent
• possibilité dincompréhension et échec de lacte

• Saccorder sur une sémantique commune de lacte
  par lapprentissage .
• Par exemple un modèle de négociation des
  relations sociales dans les communications
  position dautorité.
• Si lun des deux agents nen a pas conscience,
  il lapprend par négociation

22
Apprentissage centré Interaction

• Les protocoles dinteraction
• les agents interagissent dans le cadre de
  protocoles
• lapprentissage les agents possèdent des
  moyens dévaluation de leurs interactions.
• Lévaluation
• les messages reçus en retour à des messages émis
• caractéristiques de ces messages (délai de
  réponse...)

23
Apprentissage centré Interaction

• Illustration
• modèle où chaque agent dispose dun ensemble de
  squelettes (partie de protocole les concernant).
• Par les interactions
• induire des protocoles dinteractions globaux
• relations entre les actes.

24
Apprentissage centré Organisation

• Lorganisation
• cadre dans lequel les agents vont interagir
• Pour la définir
• normes contraignant la liberté des agents
• des rôles assignés aux agents
• structure dactions coordonnées
• par graphe de relations (autorité...)

25
Apprentissage centré Organisation

• Deux aspects
• les agents en sont conscients
• lorganisation est explicitement implantée
  (centralisée ou distribuée) dans chaque agent
• chaque agent connaît son rôle et ceux des agents
  avec qui va interagir
• Organisation émergente
• uniquement constatée par un observateur

26
Apprentissage centré Organisation

• Lapprentissage centré organisation modifie
  lorganisation existante pour
• Une meilleure coordination des actions
• une meilleure répartition des rôles ...

27
Apprentissage centré Organisation

• La coordination
• Les agents construisent un plan de coordination
• lapprentissage a lieu après lexécution de ce
  plan
• Weiss 93
• les agents proposent plusieurs actions pour la
  situation courante
• les actions sont dotées dune mise selon leur
  pertinence
• (estimée par lagent)
• plan global de coordination
• Suivant le succès du plan dactions, les agents
  modifient les mises de leurs actions.

28
Apprentissage centré Organisation

• Illustration
• Sen et al.98
• deux agents poussent un cube suivant un chemin
  défini
• - Observer la position du cube p/r au chemin
  après chaque poussée
• - Modifier la force et langle associés à la
  pression exercée dans la situation courante
• Par lapprentissage, ils finissent par exercer
  des poussées complémentaires pour déplacer le
  cube plus rapidement à deux.

29
Apprentissage centré Organisation

• Les rôles
• les agents disposent de plusieurs rôles
• choisir un rôle suivant la situation courante et
  les spécificités de chaque agent
• Lobjectif de lapprentissage est de rendre le
  choix du rôle judicieux
• Dans certains cas, lagent peut modifier les
  rôles existants

30
Apprentissage centré Organisation

• Robots footballeurs Aubineau et al.97
• Situation position du ballon par rapport au
  robot
• choisir frappeur ou défenseur
• évaluer le succès dans un futur proche un but
  est marqué ou non
• Rôles fusionnés (poids équivalents)
• succession des comportements des rôles
  fusionnés(frapper puis défendre)
• Apprentissage par renforcement
• rôles complémentaires pour les agents dune même
  équipe

31
Apprentissage centré Organisation

• Lauto organisation
• réorganiser après détection dune incohérence ou
  conflit
• Camps 98
• les agents , en propageant les messages reçus
  qui ont mis en évidence le problème, finissent
  par trouver un agent compétent.

32
Les caractéristiques multi agents des
apprentissages

• La distribution
• lasynchronisme
• la coopération
• Interprétations des interactions

33
Les caractéristiques multi agents des
apprentissages

• Difficulté de spécifier pour chacun des types
  dapprentissage le domaine dapplication
• domaine à faible interaction
• (apprentissage de ses propres comportements)
• domaine à forte coopération
• représentation des autres ou de la coordination
• domaine naturellement distribué
• auto organisation - apprentissage des perceptions
• domaine composé dagents hétérogènes
• apprentissage des rôles ou de la coordination

34
Conclusion

• Pourquoi apprendre
• (Complexité, système ouvert, comportement
  inconnu)
• Quoi apprendre
• (Compétence, organisation, coordination,
  communication)
• Comment apprendre
• (isole ou interactif, intégrer lexpérience des
  autres ...)
• Type dapprentissage approprié
• partir des caractéristiques multi agent

35
Références

• Davies et al.95 Davies(W.H.E) et Edwards(P.)
  Distributed learning An agnt-based approach to
  data-mining. In Proceedings o ML95
• Sen et al.98 Sen(S.),Sekeran(M.) et Hale(J.)
  Learning to coordinate without sharing
  information. In Readings in Agents, èd . Par
  Huhns(M.N.) et Singh (M.)
• Sian91 Sian(S.S.) Adaptation based on
  coopative learning in multi-agent systems. In
  Decontralized A. 2,èd par Demazeau(Y.) et Muller
  (J-P.)
• Weiss93 Weiss (G) Learning to coordinate
  actions in multi-agent systems. In 13th
  intrnational Joint Conerene on Artiicial
  Intelligence.

36
Des questions