Beoordelen van competenties: Ontwerpen van authentieke performance assessments

1
Beoordelen van competentiesOntwerpen van
authentieke performance assessments

• Judith Gulikers, leerstoelgroep educatie- en
  competentiestudies, WUR (judith.gulikers_at_wur.nl)

2
Wat gaan we doen?

• CGO vraagt andersom denken
• Performance assessment / authentiek assessment
• Ontwerpen van een AA
• Stappenplan Stiggins
• 5-dimensionale model authentiek beoordelen
• Rubrics hoe, waarom (niet)?

3
Andersom denken
Vakken Inhoud
Onderwijs lessen
Toetsen
Beroepsrelevante, herkenbare uitkomsten (
competenties)
Beoordelings- criteria en situatie voor
assessment
Onderwijs Leeractviteiten
4
Competentiegericht beoordelen

• CGO zegt iets over het wat niet over het hoe
• Wat gebaseerd op de SHL competenties /
  werkprocessen
• Wat moet terugkomen in beoordelingscriteria
• De geschikte toetsmethode hierbij is, is pas
  vervolgvraag
• Maar binnen CGO filosofie wel
• andere doelen voor toetsen
• andere toetskenmerken hoog gewaardeerd
• én bepaalde beoordelingsvormen passen beter bij
  competentiegerichte filosofie

5
Cruciale vraag in CGO

• Om te beoordelen of iemand goed kan functioneren
  in de beroepspraktijk, wat moet er dan allemaal
  getoetst worden?
• En als we dat dan weten
• Hoe maken we dan een goede toets hiervoor?
• Hoe laten we de praktijk op een goede manier
  terug komen in de toetsing?

6
Inkomertje 1 Competentie?

• Koe Bertha is al twee dagen niet opgestaan,
  haar poep is dunner dan het moet zijn en je meent
  iets te zien aan haar vacht en ogen. De boer is
  er niet. Wat nu?
• Beschrijf de handelingen die je zou uitvoeren.
• Waar hou je rekening mee?

7
Competente dierenverzorger?

• Kennis over is niet genoeg voor competentie
  uitspraak
• Observatie van daadwerkelijke handelen nodig
  (actie)
• Interactie met koe in de stal en overleg met de
  boer (context)
• Bewust handelen?

8
Inkomertje 2 .. Competentie??

• Vind je het praktische gedeelte van het
• rijexamen een goed examen?
• Waarom wel? Waarom niet?

9
Competente automobilist?

• Half uurtje goed rijden kan toevalstreffer zijn
• Niet alle activiteiten behorende bij goed
  autorijden aan bod gekomen
• Niet alle voorkomende situaties gedekt
• Bewust handelen? Routine?

10
WAT wil je toetsen? Piramide van Miller
Authenticiteit
11
Performance assessment (PA)

• Laag 3 / 4 van Miller
• Beoordelen of iemand kan functioneren in de
• beroepspraktijk
• Demonstreren van gedrag ACTIE
• In betekenisvolle situatie IN CONTEXT
• Achterliggende gedachte als iemand goed gedrag
  laat zien bezit hij/zij de onderliggende KVAs

12
Performance assessment gekaderd
Proeve van bekwaamheid
Performance assessment
Retrospectieve beoordeling
Mystery guest
Controle op conducteurs UTRECHT
Kantoorbedienden en andere medewerkers van de NS
kijken in de trein de conducteur op de vingers.
Het NS-personeel houdt bij hoe vaak een
conducteur kaartjes controleert en of er
voldoende informatie bij vertragingen wordt
gegeven.
Voorbeeld Beoordelingen tijdens de LIO (leraar
in opleiding)-stage
Voorbeeld 360 graden feedback
13
Niet denken vanuit methode

• Het maken van PA mag niet het doel op zich zijn!
• WAT wil ik gaan beoordelen?
• Is PA de goede vorm hierbij?
• Beroepsonderwijs toetsen relevant voor praktijk
  ? Authentiek beoordelen

Cruciaal criterium Inspectie Is de gekozen
beoordelingsvorm passend?
14

• Wat maakt een
• assessment
• authentiek???
• The criterion for a good test is its
• congruence with reality Wiggins (1993, p. 206)

15
Hoe nu aan de slag?

• 4-stappenplan van Stiggins voor systematisch
  ontwerpen van performance assessments
• 5 dimensionaal model voor authentieke toetsing
  Gulikers (2005)

16
4 stappen

• Toetsspecificatieplan Redenen voor beoordeling
• Prestatiespecificatie Welke prestatie moet
  geëvalueerd worden en onder welke condities
• Opdrachten creëren van mogelijkheid geven tot
  demonstreren van competent gedrag
• Beoordelingsplan om beoordeling zo expliciet,
  gemotiveerd en betrouwbaar mogelijk te maken

17
Stap 1 Toetsspecificatieplan

• Doel en functie van beoordeling
• summatief en/of formatief?
• Inrichten van onderwijstraject (EVC)?
• Specificeer de studenten (aantal, niveau)
• Wie zijn de beoordelaars en de beslissers?
• Relevante randvoorwaarden?

18
Stap 2 prestatiespecificatie

• WAT wil je gaan beoordelen? WAT moet student
  laten zien?
• Wat is beroepspraktijk van deze opleiding?
• Kritische beroepssituatie benoemen
• Rollen van opleiding benoemen
• Welke competentie(s) zijn hierin nodig?
• Maar hoe krijgt dit vorm in een concreet
  assessment?

Gebruik van 5-dimensionale model 5 assessment
aspecten kunnen meer / minder op
beroepspraktijk (referentiesituatie) lijken
19
5-dimensionaal model voor authenticiteit
Authentieke beoordeling Authentieke instructie
20
Overeenkomstig de beroepspraktijk 5 dimensies

• Taak opdracht die leerling moet uitvoeren
• Fysieke context omgeving/situatie waarin taak
  moet worden uitgevoerd
• Sociale context samenwerkings- en hulp
  (on)mogelijkheden
• Vorm leer- / assessmentmethode, onafhankelijk
  van inhoud
• Criteria punten waarop leerling wordt beoordeeld

Authenticiteit is méér dan alleen een fysieke
context!
21
Vervolg stap 2 Opdrachtenschema

• Welke criteria gebruikt praktijk voor goed
  handelen in beroepssituatie?
• Vertaal criteria naar niveau van de student en in
  concreet waarneembaar gedrag
• Welke taken passen bij deze criteria?
• In welke context?
• Vraagt dit samenwerking / hulp?
• Gaat het om een product of proces? (vorm)

22
Stap 3 Ontwerp van opdrachten

• Uitlokken van gedrag?
• Wil je gaan uitlokken of juist niet?
• Transparant maken in assessmentopdracht
• Assessment programma
• 1 PA genoeg om gehele kritische beroepssituatie
  te beoordelen?
• Meerdere PAs nodig?
• Combineren met andere toetsvormen?
• Competentie assessment programma (Baartman, et al
  2004) Protocol portfolio scoring (Straetmans,
  2004)

23
Stap 4 beoordelingsplan

• Beoordelingscriteria
• Beoordelen van gedrag vraagt om
  beoordelingscriteria gericht op observeerbaar
  gedrag!!
• Gebruik van rubrics leent zich goed niveaus van
  gedrag
• Welk type score is nodig?
• Holistisch of analystisch
• Transparant maken voor alle partijen!

24
Stap 4 beoordelingsplan, vervolg

• Beoordelaars
• Wie beoordeelt / hoeveel beoordelaars?
• Zelf-assessment / peer-assessment onderdeel?
• Training nodig voor assessoren?
• Beoordelingsprocedure
• Hoe verloopt beoordelingsproces / hoe komt
  eindoordeel tot stand? (zwak punt!)
• Hoe verloopt feedback?

25
Gereedschapskist

• Ontwikkeld door APS, CPS, KPC groep, CITO en
  ECS/WUR
• Meer info Judith.gulikers_at_wur.nl

26
Rubric wat is het?

• beschrijving van een aantal concreet te
  observeren gedragsniveaus (van eenvoudiger naar
  complexer) op een beoordelingscriterium
• Verschillende soorten schalen
• Anayltisch / holistisch
• Kwalitatief / kwantitatief

27
Competentie samenwerkenBeoordelingscriterium
luisteren naar anderen

• Nooit
• Soms
• Vaak
• Vrijwel altijd

28
Competentie leiding gevenBeoordelingscriterium
omgaan met kritiek
1 Student kan niet tegen kritiek en reageert agressief / verdedigend 2 Student negeert kritiek en gaat eigen gang 3 Student luistert naar kritiek van anderen maar doet er niets mee 4 Student doet actief iets met kritiek om eigen gedrag te verbeteren
29
Competentie samenwerken in teamBeoordelingscrite
rium Actieve inzet tonen
Neemt initiatieven 1 2 3 4 5 Wacht af
Zegt tijdig wat hij/zij wil 1 2 3 4 5 Komt achteraf met kritiek
Neemt voorzittersrol of ondersteunt deze 1 2 3 4 5 Houdt zich niet aan vergaderprocedures
Geeft steeds aan wat gedaan moet worden 1 2 3 4 5 Gaat eigen gang
30
Voordelen / mogelijkheden van Rubrics

• Communicatie instrument transparantie voor
  leerlingen / beoordelaars
• Ontwikkelen en voorbereiden van leerlingen
• Trainen van beoordelaars zelfde intrepretatie
  geven
• Objectievere beoordeling
• Geven van feedback
• Zeer waardevol voor
• Aansluiting onderwijs formatief / summatief
  assessen (zwak!!)
• Gebruiken bij alle beoordelingsvormen

31
Maar gaat niet vanzelf

• Rubric maken is erg tijdsintensief
• Vraagt samenwerking en afstemming tussen
  betrokkenen
• Alles willen objectiveren kan niet
• Valkuil terug naar gedetailleerd beoordelen ipv
  holistisch
• Nog niet vaak in onderwijs / formatief gebruikt
• Gevaar van wildgroei aan rubrics
• Zoeken naar een goede balans!