Title: Beoordelen van competenties: Ontwerpen van authentieke performance assessments
1Beoordelen van competentiesOntwerpen van
authentieke performance assessments
- Judith Gulikers, leerstoelgroep educatie- en
competentiestudies, WUR (judith.gulikers_at_wur.nl)
2Wat gaan we doen?
- CGO vraagt andersom denken
- Performance assessment / authentiek assessment
- Ontwerpen van een AA
- Stappenplan Stiggins
- 5-dimensionale model authentiek beoordelen
- Rubrics hoe, waarom (niet)?
3Andersom denken
Vakken Inhoud
Onderwijs lessen
Toetsen
Beroepsrelevante, herkenbare uitkomsten (
competenties)
Beoordelings- criteria en situatie voor
assessment
Onderwijs Leeractviteiten
4Competentiegericht beoordelen
- CGO zegt iets over het wat niet over het hoe
- Wat gebaseerd op de SHL competenties /
werkprocessen - Wat moet terugkomen in beoordelingscriteria
- De geschikte toetsmethode hierbij is, is pas
vervolgvraag - Maar binnen CGO filosofie wel
- andere doelen voor toetsen
- andere toetskenmerken hoog gewaardeerd
- én bepaalde beoordelingsvormen passen beter bij
competentiegerichte filosofie
5Cruciale vraag in CGO
- Om te beoordelen of iemand goed kan functioneren
in de beroepspraktijk, wat moet er dan allemaal
getoetst worden? - En als we dat dan weten
- Hoe maken we dan een goede toets hiervoor?
- Hoe laten we de praktijk op een goede manier
terug komen in de toetsing?
6Inkomertje 1 Competentie?
- Koe Bertha is al twee dagen niet opgestaan,
haar poep is dunner dan het moet zijn en je meent
iets te zien aan haar vacht en ogen. De boer is
er niet. Wat nu? - Beschrijf de handelingen die je zou uitvoeren.
- Waar hou je rekening mee?
7Competente dierenverzorger?
- Kennis over is niet genoeg voor competentie
uitspraak - Observatie van daadwerkelijke handelen nodig
(actie) - Interactie met koe in de stal en overleg met de
boer (context) - Bewust handelen?
8Inkomertje 2 .. Competentie??
- Vind je het praktische gedeelte van het
- rijexamen een goed examen?
- Waarom wel? Waarom niet?
9Competente automobilist?
- Half uurtje goed rijden kan toevalstreffer zijn
- Niet alle activiteiten behorende bij goed
autorijden aan bod gekomen - Niet alle voorkomende situaties gedekt
- Bewust handelen? Routine?
10WAT wil je toetsen? Piramide van Miller
Authenticiteit
11Performance assessment (PA)
- Laag 3 / 4 van Miller
- Beoordelen of iemand kan functioneren in de
- beroepspraktijk
- Demonstreren van gedrag ACTIE
- In betekenisvolle situatie IN CONTEXT
- Achterliggende gedachte als iemand goed gedrag
laat zien bezit hij/zij de onderliggende KVAs
12Performance assessment gekaderd
Proeve van bekwaamheid
Performance assessment
Retrospectieve beoordeling
Mystery guest
Controle op conducteurs UTRECHT
Kantoorbedienden en andere medewerkers van de NS
kijken in de trein de conducteur op de vingers.
Het NS-personeel houdt bij hoe vaak een
conducteur kaartjes controleert en of er
voldoende informatie bij vertragingen wordt
gegeven.
Voorbeeld Beoordelingen tijdens de LIO (leraar
in opleiding)-stage
Voorbeeld 360 graden feedback
13Niet denken vanuit methode
- Het maken van PA mag niet het doel op zich zijn!
- WAT wil ik gaan beoordelen?
- Is PA de goede vorm hierbij?
- Beroepsonderwijs toetsen relevant voor praktijk
? Authentiek beoordelen
Cruciaal criterium Inspectie Is de gekozen
beoordelingsvorm passend?
14- Wat maakt een
- assessment
- authentiek???
- The criterion for a good test is its
- congruence with reality Wiggins (1993, p. 206)
15Hoe nu aan de slag?
- 4-stappenplan van Stiggins voor systematisch
ontwerpen van performance assessments - 5 dimensionaal model voor authentieke toetsing
Gulikers (2005)
164 stappen
- Toetsspecificatieplan Redenen voor beoordeling
- Prestatiespecificatie Welke prestatie moet
geëvalueerd worden en onder welke condities - Opdrachten creëren van mogelijkheid geven tot
demonstreren van competent gedrag - Beoordelingsplan om beoordeling zo expliciet,
gemotiveerd en betrouwbaar mogelijk te maken
17Stap 1 Toetsspecificatieplan
- Doel en functie van beoordeling
- summatief en/of formatief?
- Inrichten van onderwijstraject (EVC)?
- Specificeer de studenten (aantal, niveau)
- Wie zijn de beoordelaars en de beslissers?
- Relevante randvoorwaarden?
18Stap 2 prestatiespecificatie
- WAT wil je gaan beoordelen? WAT moet student
laten zien? - Wat is beroepspraktijk van deze opleiding?
- Kritische beroepssituatie benoemen
- Rollen van opleiding benoemen
- Welke competentie(s) zijn hierin nodig?
- Maar hoe krijgt dit vorm in een concreet
assessment?
Gebruik van 5-dimensionale model 5 assessment
aspecten kunnen meer / minder op
beroepspraktijk (referentiesituatie) lijken
195-dimensionaal model voor authenticiteit
Authentieke beoordeling Authentieke instructie
20Overeenkomstig de beroepspraktijk 5 dimensies
- Taak opdracht die leerling moet uitvoeren
- Fysieke context omgeving/situatie waarin taak
moet worden uitgevoerd - Sociale context samenwerkings- en hulp
(on)mogelijkheden - Vorm leer- / assessmentmethode, onafhankelijk
van inhoud - Criteria punten waarop leerling wordt beoordeeld
Authenticiteit is méér dan alleen een fysieke
context!
21Vervolg stap 2 Opdrachtenschema
- Welke criteria gebruikt praktijk voor goed
handelen in beroepssituatie? - Vertaal criteria naar niveau van de student en in
concreet waarneembaar gedrag - Welke taken passen bij deze criteria?
- In welke context?
- Vraagt dit samenwerking / hulp?
- Gaat het om een product of proces? (vorm)
22Stap 3 Ontwerp van opdrachten
- Uitlokken van gedrag?
- Wil je gaan uitlokken of juist niet?
- Transparant maken in assessmentopdracht
- Assessment programma
- 1 PA genoeg om gehele kritische beroepssituatie
te beoordelen? - Meerdere PAs nodig?
- Combineren met andere toetsvormen?
- Competentie assessment programma (Baartman, et al
2004) Protocol portfolio scoring (Straetmans,
2004)
23Stap 4 beoordelingsplan
- Beoordelingscriteria
- Beoordelen van gedrag vraagt om
beoordelingscriteria gericht op observeerbaar
gedrag!! - Gebruik van rubrics leent zich goed niveaus van
gedrag - Welk type score is nodig?
- Holistisch of analystisch
- Transparant maken voor alle partijen!
24Stap 4 beoordelingsplan, vervolg
- Beoordelaars
- Wie beoordeelt / hoeveel beoordelaars?
- Zelf-assessment / peer-assessment onderdeel?
- Training nodig voor assessoren?
- Beoordelingsprocedure
- Hoe verloopt beoordelingsproces / hoe komt
eindoordeel tot stand? (zwak punt!) - Hoe verloopt feedback?
25Gereedschapskist
- Ontwikkeld door APS, CPS, KPC groep, CITO en
ECS/WUR - Meer info Judith.gulikers_at_wur.nl
26Rubric wat is het?
- beschrijving van een aantal concreet te
observeren gedragsniveaus (van eenvoudiger naar
complexer) op een beoordelingscriterium - Verschillende soorten schalen
- Anayltisch / holistisch
- Kwalitatief / kwantitatief
27Competentie samenwerkenBeoordelingscriterium
luisteren naar anderen
- Nooit
- Soms
- Vaak
- Vrijwel altijd
28Competentie leiding gevenBeoordelingscriterium
omgaan met kritiek
1 Student kan niet tegen kritiek en reageert agressief / verdedigend 2 Student negeert kritiek en gaat eigen gang 3 Student luistert naar kritiek van anderen maar doet er niets mee 4 Student doet actief iets met kritiek om eigen gedrag te verbeteren
29Competentie samenwerken in teamBeoordelingscrite
rium Actieve inzet tonen
Neemt initiatieven 1 2 3 4 5 Wacht af
Zegt tijdig wat hij/zij wil 1 2 3 4 5 Komt achteraf met kritiek
Neemt voorzittersrol of ondersteunt deze 1 2 3 4 5 Houdt zich niet aan vergaderprocedures
Geeft steeds aan wat gedaan moet worden 1 2 3 4 5 Gaat eigen gang
30Voordelen / mogelijkheden van Rubrics
- Communicatie instrument transparantie voor
leerlingen / beoordelaars - Ontwikkelen en voorbereiden van leerlingen
- Trainen van beoordelaars zelfde intrepretatie
geven - Objectievere beoordeling
- Geven van feedback
- Zeer waardevol voor
- Aansluiting onderwijs formatief / summatief
assessen (zwak!!) - Gebruiken bij alle beoordelingsvormen
31Maar gaat niet vanzelf
- Rubric maken is erg tijdsintensief
- Vraagt samenwerking en afstemming tussen
betrokkenen - Alles willen objectiveren kan niet
- Valkuil terug naar gedetailleerd beoordelen ipv
holistisch - Nog niet vaak in onderwijs / formatief gebruikt
- Gevaar van wildgroei aan rubrics
- Zoeken naar een goede balans!