Un ensemble de Patrons de Conception pour lvaluation des apprenants en situation de rsolutions de pr

1
Un ensemble de Patrons de Conception pour
lévaluation des apprenants en situation de
résolutions de problèmes.

• Contribution de AIDA au JEIRP DPULS, réseau
  européen Kaleidoscope

2
Contexte

• Réseau dexcellence européen Kaléidoscope
• JEIRP
• Jointly Executed Integrating Research Project
• DPULS
• Design Patterns for Recording and Analysing Usage
  of Learning Sytems
• AIDA
• E. Delozanne, A. Merceron, F. Le Calvez, J.-M.
  Labat, F. Vandebrouck, F. Gibert-Darras, M.
  Hibou, K. Hakem

3
Design Patterns ?

• Inventé par un architecte Alexander (1977)
• Description de classes de problèmes et de
  solutions qui ont prouvé leur efficacité
• ou plutôt de schéma de solutions à adapter au
  contexte
• Utilisé dans de nombreux domaines
• Éducation
• IHM,Génie logiciel, modélisation objet (Gamma et
  al.)
• Exemples de pattern
• La page d'accueil d'un portail
• http//www.designofsites.com/pb/register.html

4
Méthodologie de construction de Design Patterns

• Recueil de bonnes pratiques
• Combien? Pépite, Logic ITA, Java Course, Diane,
  Math Logs
• Mise en évidence de problèmes récurrents et des
  solutions apportées (AIDA)
• Évaluer un apprenant sur un exercice, sur un
  ensemble dexercices, évaluer un groupe
  dapprenants, évaluer des exercices, faire des
  groupes etc.
• Description des couples pb/sol en termes assez
  généraux pour sappliquer dans un certain
  contexte de validité (DPULS)
• Négociation dun format commun de description
  (DPULS)
• Itérations entre phases 2, 3 et 4 et validation à
  lintérieur de léquipe
• Validation externe

5
Approche de lévaluation des apprenants

• Contexte de validité
• Résolution individuelle de problèmes ou
  dexercices
• Analyse pédagogique, cognitive ou didactique des
  tâches à réaliser
• Une approche en trois étapes
• Recueil et analyse des traces pour un apprenant
  sur un exercice
• Bilan pour un apprenant sur un ensemble
  dexercices
• Bilan pour un ensemble dapprenants sur un
  ensemble dexercices

6
Scénario problème

• Personnage
• Sarah professeur expérimentée
• Objectif
• organiser des tp-machine pour un groupe
  dapprenants en adaptant les activités à leur
  diversité cognitive
• Besoins
• liste des savoir-faire maîtrisés et bilan sur les
  stratégies utilisées par les apprenants
• Ressources
• typologie des réponses des apprenants sur une
  classe de problèmes

7
Scénario dutilisation de DP

• Personnage
• Aminata, ingénieur, membre dune équipe de
  déploiement dun ENT
• Objectif
• Fournir à Sarah une application lui permettant
  dobtenir la liste des savoir-faire maîtrisés et
  le bilan sur les stratégies utilisées par ses
  étudiants afin de préparer ses prochaines séances
• Scénario Aminata
• commence par mener une analyse multidimensionnelle
  des solutions de chaque étudiant sur chacun des
  exercices (DP LA1).
• Pour cela selon lexercice soit
• elle compare la solution de létudiant avec des
  schémas prédéfinis (DP LA1.1)
• elle utilise un logiciel spécifique (DP LA1.2)
• elle met au point une analyse semi-automatique
  destinée à être supervisée par Sarah (DP LA1.3)
• construit un bilan pour chaque étudiant sur
  lensemble des exercices (DP LA2) en listant ses
  points forts et ses points faibles (DP LA2.1)
• forme des groupes détudiants(DPLA4) en utilisant
  des techniques numériques de classification
  automatique (DPLA 4.1)

8
Vue densemble

• DP LA1 Multidimensional Analysis of a Learners
  Solution to a single Exercise
• DP LA1.1 Pattern matching to analyze the
  learners solution
• DP LA1.2 Specific software to analyze the
  learners solution
• DP LA1.3 Human assessor to check the automatic
  analysis of the learners solution
• DP LA2 Overview on a learners activity across a
  set of exercises
• DP LA2.1 The Learners strong and weak points
• DP LA 2.2 The Learners situation on a predefined
  scale of skills or competence
• DP LA2.3 The Learners Progression in an
  Individual Learning Activity
• DP LA2.4 The Learners Autonomy in an Individual
  Learning Activity
• DP LA2.5 The Learners Performance in an
  Individual Learning Activity
• DP LA3 Overview of the activity of a group of
  learners on a single exercise
• DP LA4 Overview of the activity of a group of
  learners on a set of exercises
• DP LA4.1 Automatic clustering

9
Format des DP

• Nom
• Résumé
• Contexte
• Problème
• Solution
• Résultats
• Discussion
• Exemples

10
DP LA1(1)

• Nom Analyse multidimensionnelle de la solution
  dun apprenant sur un exercice
• Résumé
• Plusieurs approches pour évaluer automatiquement
  la solution dun apprenant à un problème quil a
  résolu en ligne
• Validité/ invalidité de la solution
• Analyse multidimensionnelle stratégies,
  savoir-faire, hésitations, catégorisation des
  erreurs
• Contexte
• L apprenant a répondu à une seule question ou a
  résolu un seul exercice sa réponse peut être
  simple (QCM etc.) ou complexe (programme,
  raisonnement algébrique, langage naturel etc.)
• La réponse mais aussi des données sur lusage
  (temps, actions, demandes daides, etc.) sont
  enregistrées
• Lévaluation peut avoir lieu en temps réel ou
  différé
• Problème
• Comment évaluer automatiquement la solution à un
  problème ou, si ce nest pas possible, assister
  un évaluateur humain
• Analyser, corriger, commenter, classifier la
  réponse
• Si pb complexe à résoudre, souvent difficile
  danticiper toutes les réponses
• Explosion combinatoire
• Diversité cognitive des apprenants

11
DP LA1(2)

• Solution
• Évaluer la validité de la solution
• Indicateur note, code (correct, partiellement
  correct, incorrect), etc.
• Rétroaction ou diagnostic cognitif
• Indicateur composite stratégies, type
  derreurs, type dhabiletés
• Dépend du domaine
• Résultats
• Indicateurs note, code ou ensemble de codes
  pour identifier le processus de résolution,
  caractéristiques cognitives, listes derreurs
• Discussion
• Nécessité
• expert (enseignant expérimenté, un psychologue,
  un didacticien)
• modèles (e. g. un modèle de compétence, modèle de
  tâches, typologies derreurs)
• Exemples
• Combien? Pépite, Logic ITA, Java Course, Diane,
  Math Logs

12
DPLA1 spécialisations

• 3 méthodes danalyse
• DP LA1.1
• Comparaison avec des schémas de solutions
• DP LA1.2
• Utilisation de logiciels spécifiques
• e. g. Compilateur, système expert, logiciel de
  calcul formel
• DP LA1.3
• Analyse semi-automatique supervisée par un humain

13
DPLA2 (1)

• Nom Bilan pour un apprenant sur un ensemble
  dexercices
• Résumé
• Différentes approches pour présenter un bilan du
  travail dun apprenant sur un ensemble
  dexercices
• Contexte
• Votre système a recueilli et analysé les réponses
  dun apprenant sur plusieurs exercices
• Objectifs variés
• constituer des groupes,
• faire prendre conscience à lapprenant de ses
  points forts et de ses faiblesses,
• situer un apprenant sur une échelle de compétence
• évaluer lévolution dun savoirfaire au cours du
  temps
• Problème
• Comment définir les caractéristiques importantes
  pour synthétiser les compétences à un moment
  donné ou son évolution dans le temps

14
DPLA2 (2)

• Nom Bilan pour un apprenant sur un ensemble
  dexercices
• Solution
• En fonction des objectifs
• mettre au point les dimensions nécessaires
• calibrer lagrégation des indicateurs
• Cf. DP spécifiques
• Résultats
• Une analyse synthétique des compétences de
  lapprenant
• Discussion
• Très dépendant des objectifs des utilisateurs et
  du domaine
• Exemples
• Combien? Pepite etc.

15
DPLA4 (1)

• Nom Bilan dun groupe dapprenants sur un
  ensemble dexercices
• Résumé
• Ce DP permet de concevoir un bilan sur le travail
  dun groupe dapprenants sur un ensemble
  dexercices
• Contexte
• Un ensemble dapprenants a résolu un ensemble
  dexercices et les réponses ont été analysées
• Pour organiser des sessions adaptées au niveau
  dune classe, pour organiser des groupes, pour
  évaluer un cours ou une formation ou pour
  laméliorer
• Problème
• Comment établir un bilan sur le travail dun
  groupe dapprenants à destination des enseignants
  ou des concepteurs?

16
DPLA4 (2)

• Nom Bilan dun groupe dapprenants sur un
  ensemble dexercices
• Solution
• En fonction des objectifs
• Situer les apprenants sur une échelle de
  compétence
• Classifier à partir de stéréotypes prédéfinis
• Utiliser des méthodes numériques de
  catégorisation automatique (des apprenants, des
  exercices etc.)
• Détecter des associations entre erreurs
• Résultats
• Un cahier de notes et de statistiques sur les
  performances des apprenants
• Une carte de la classe groupant les apprenants
  par compétences, par types derreurs
• Une catégorisation des erreurs ou des habiletés
  co-occurrentes
• Discussion
• Stéréotypes
• Simples (e. g. bons, moyens, faibles)
• Multidimensionnels sur une grille de compétences
• Décrivant lusage (e. g. joueur, apprenant
  systématique, papillon)
• Exemples
• Pepite, Math Logs

17
Evaluation des DP ?

• Évaluation interne
• Un DP Accord de 3 concepteurs différents (au
  moins)
• Un ensemble de DP Cohérence avec les autres DP
  (langage)
• Évaluation externe
• Notre ensemble de DP rend compte de 6 différentes
  expériences (AIED05)
• Kummar, FengHeffernan, Nicaud et al., Heraud et
  al., Stefanov et al., Muehlenbrock
• Utilisation (future) dans le Shared Virtual
  Laboratory
• Domaine de validité
• Dépendance/ indépendance du domaine (langues) ?

18
Conclusion

• Utilité et utilisabilité de notre ensemble de DP
  ?
• Des DP plus spécialisés
• Au niveau recherche, lapproche DP est très
  fructueuse pour
• Fédérer une équipe, dégager des points communs,
  donner des idées, révisiter les expériences et
  capitaliser