Les grilles d’observation.

1
Les grilles dobservation.

• Michel Girard MD MHPE FRCP(C)
• Directeur
• Serge Normand MA
• Docimologue
• Bureau dévaluation
• Faculté de médecine

2
En remontant la pyramide...
Fait
Démontre
Sait comment
Sait
Cees van der Vleuten, Université de Maastricht
3
Les grilles dobservation

• Quelques questions
• Qui construit la grille?
• Quoi évaluer?
• Qui évaluer?
• Binaire ou continue?
• Quand la remplir?
• Formatif ou normatif?
• Qui utilise la grille?

4
Qui construit la grille?
Importance
5
Qui construit la grille?
Importance
6
Quoi évaluer?

• Un geste technique
• Une attitude
• Une entrevue
• Un examen physique
• Etc.

7
Qui évaluer?

• Les grilles dévaluation binaires (Fait/Non fait)
  se prêtent-elles à tous les types détudiants?

8
Qui évaluer?
Hodges, Acad Med. 1999 1129-34
9
Qui évaluer?
Pourtant, il ny a pas de différence quant à
létablissement dun diagnostic correct entre les
membres des 3 groupes.
Hodges, Acad Med. 1999 1129-34
10
Qui évaluer?

• Lexpert
• Létudiant plus avancé devient plus personnel
  dans sa démarche.
• Peut-être désavantagé par les grilles
  dobservation (binaires).

Ne pas confondre objectivité et recherche
dobjectivation! Norman
Dauphinee, 2000, Credentialing Physician
Specialists A World Perspective
11
Qui évaluer?

• Le novice
• Les items spécifiques de la grille sont utiles
  pour la rétroaction.
• Lutilité, au niveau prégradué, est bien
  démontrée.

Dauphinee, 2000, Credentialing Physician
Specialists A World Perspective
12
Binaire ou continue?
Grille dobservation
Grille dappréciation

• A Fait, Non fait
• B Fait, Non fait
• C Fait, Non fait
• D Fait, Non fait
• E Fait, Non fait
• F Fait, Non fait
• G Fait, Non fait

1 Échec certain 2 Échec limite 3 Réussite
limite 4 Réussite certaine 5 Performance
supérieure
13
Binaire ou continue?
On souhaite évaluer la technique chirurgicale
après 3 ans de résidence en chirurgie (7
interventions diff.)

• Grilles binaires
• Différentes pour chaque intervention.

• Grille continue
• La même pour toutes les interventions.

Parce que les gestes sont différents dune
intervention à lautre.
Parce que les principes sont les mêmes dune
intervention à lautre.
14
Spécifique ou globale?

• Pour chaque intervention

• Grille globale
• La même pour toutes les interventions.

Respect des tissus Gestuelle Manipulation des
instruments Connaissance des instruments Dérouleme
nt de lintervention Gestion des
assistants Connaissance de la procédure
Parce que les principes sont les mêmes dune
intervention à lautre.
Regehr, Acad Med. 1998 993-7
15
Spécifique ou globale?
Mais attention! Chaque point sur léchelle doit
être bien défini.
1 Échec certain, 2 Échec limite, 3 Réussite
limite, 4 Réussite certaine, 5 Performance
supérieure
16
Formatif ou normatif

• Bonne nouvelle

Les deux ! ! !
Sans que létudiant puisse se constituer une
banque de questions.
17
Formatif ou normatif

• Bonne nouvelle

Mais attention, ne pas noter lépisode formatif !
18
Quand la remplir?
19
Quand la remplir?
Maintenant
20
Qui utilise la grille?

• Un professeur
• Un patient simulé
• Un autre étudiant
• Une infirmière

Peu importe qui rempli la grille, il/elle doit
être formé(e).
21
Les grilles dobservationEn résumé

• Élaborées en groupe
• Utilisable dans plus dune situation
• Éviter la multiplication des instruments
• Bien décrire chaque élément de la grille
• Les items évalués
• Les descripteurs de performance
• Former les professeurs

22
(No Transcript)
23
Seuil acceptable de passage(Contrasting group
method)
Grille
1. Hs shjs sjnhss sjhs sjs sj 2. Ksks
sksmsiqopql qlqmq q q qkl 3. Lalka kdm ddkk
dlkl dlld 4. Keyw dd e r rrmt tmk 5. Jfjfk
dd 6. Hskls skj sls ska ak akl ald 7.
Hdhhddh shs ahhakk as TOTAL
?
?
?
?
Succès
Échec
?
Succès/Échec S/É
SAP
Cees van der Vleuten, Université de Maastricht
24
SAP, approche par régression
Grille
X seuil de passage
1. Hs shjs sjnhss sjhs sjs sj 2. Ksks
sksmsiqopql qlqmq q q qkl 3. Lalka kdm ddkk
dlkl dlld 4. Keyw dd e r rrmt tmk 5. Jfjfk
dd 6. Hskls skj sls ska ak akl ald 7.
Hdhhddh shs ahhakk as TOTAL
?
Résultat grille
?
X
?
?
?
Éval. Globale 1 2 3 4 5
1 Faible 2 Insuffisant 3 Suffisant 4
Bon 5 Excellent
Cees van der Vleuten, Université de Maastricht
25
Quelques règles de base

• Ne basez pas lévaluation sur des examens courts
• Échantillonnez largement (contenu, temps,
  évaluateurs, patients)
• Ne soyez pas  fidèle  à une seule méthode - le
  contenu est plus important
• Choisissez des tâches le plus près possible de la
  pratique clinique - ne vous inquiétez pas tant de
  la compétence mesurée
• Évitez la complexité des simulations ou de la
  notation
• Vérifiez les impacts éducatifs de lévaluation -
  évaluez lévaluation
• Utilisez lévaluation stratégiquement pour
  atteindre des objectifs éducatifs
• Considérez lévaluation comme faisant partie du
  défi du canevas éducatif

Van der Vleuten, 2000, Credentialing Physician
Specialists A World Perspective
26
Qui évaluer?
Hodges, Acad Med. 1999 1129-34
27
Qui évaluer?
Hodges, Acad Med. 1999 1129-34
28
La compétence clinique

• Un exercice
• Que devons-nous évaluer?