Evaluacin de contenidos cognitivos

1
Evaluación de contenidos cognitivos

• Dra. Janet Bloomfield

2
Evaluación

• Tiene importancia cardinal en el proceso de
  aprendizaje
• Orienta en el logro de objetivos planteados
• Provee retroalimentación respecto a objetivos no
  cumplidos
• Lleva a tomar decisiones de cambios o
  innovaciones en los programas

3
Objetivos de aprendizaje

• Requieren una herramienta pertinente para ser
  evaluados
• INSTRUMENTOS DE EVALUACION

4
Instrumentos de evaluación

• Deben ser congruentes con el proceso evaluado
• Deben ser validos y de buena calidad,
  considerando la relevancia de la evaluación en el
  proceso de aprendizaje

5
Millers Pyramide
Does
Show how
Test basados en contexto clínico PSM con viñetas
clinicas, preguntas cortas, examen oral Test de
conocimientos PSM, preguntas abiertas
Knows how
Knows
6
Prueba de selección múltiple

• Es el instrumento mas utilizado
• Permite evaluar
• memoria
• habilidades mas complejas
• integrar y aplicar conocimientos
• interpretar información y tomar decisiones
• resolver problemas, etc,

7
Características

• Es altamente eficiente, permite evaluar en forma
  conjunta un gran numero de alumnos
• Puede medir simultáneamente varios tipos de
  conocimiento y varios productos complejos del
  aprendizaje
• Es objetiva tiene 1 sola respuesta correcta
• Al tener 5 alternativas, se reduce el azar a un
  20, incrementando la confiabilidad
• Fácil de corregir

8
Características

• Puede alcanzar alto grado de validez si se
  ajusta exactamente a los objetivos considerados
  en su construcción
• Es consistente aplicada a los mismos alumnos en
  distintas ocasiones, replica el rendimiento
• Su elaboración requiere tiempo y dedicación
• Presenta cierto grado de dificultad el crear
  buenos distractores (alternativas plausibles)

9
Qué deben evaluar las pruebas?

• El contenido debe concordar con los objetivos
  del programa
• Los contenidos más importantes deben tener más
  relevancia que los de menor importancia
• La prueba es un muestreo , no se puede preguntar
  todo pero debe ser representativa de las metas de
  enseñanza

10
Una buena pregunta

• Debe satisfacer dos criterios básicos
• Referirse a un contenido importante.
• Estar bien construida.
• Evitar defectos en su construcción que beneficien
  a un examinando astuto en detectar y explotar las
  fallas.
• Evitar introducir dificultades ajenas a la
  materia evaluada

11
Como construirlas?

• Los alumnos estudian lo que saben que será
  evaluado
• Las pruebas tienen una influencia poderosa en el
  aprendizaje de los estudiantes
• Elaborarlas de modo que promuevan los objetivos
  que se desea alcanzar

12
Composición de un ítem de selección u opción
múltiple

• Enunciado
• Pregunta introductoria
• Cinco opciones
• una respuesta correcta
• cuatro distractores.

13
Forma de un ítem bien configurado

• Incluye la mayor cantidad de información en el
  enunciado.
• -enunciado largo y opciones cortas.
• El enunciado debe contener todos los datos
  pertinentes
• - no incluirlos en las opciones.

14
Enunciado

• Debe
• Ser preciso y sin ambigüedades.
• Ser tan claro por si mismo, que no requiera de
  las alternativas para poder responderse
• Satisfacer la regla de cubrir las opciones
• Contener el máximo de la información, de modo que
  las opciones de respuesta sean breves

15
Enunciado debe contener

• Todos los elementos necesarios para responder la
  pregunta
• Solo información relevante para la respuesta,
  sin ruidos , información innecesaria ,
  confundente o trucos
• La información ordenada si es un caso clínico,
  antecedentes, luego examen físico, y después
  exámenes de laboratorio

16
Enunciado debe evitar

• Negaciones excepto, No, incorrecto, ninguno.
• Frases imprecisas como está asociado con es
  útil para es importante
• Palabras que entregan sugerencias como puede
  ser
• Palabras ambiguas generalmente, frecuentemente,
  a veces, mucho, poco
• Palabras absolutas siempre, nunca, todo

17
Enunciado

• Debe tener un ENFOQUE claro a que tarea clínica
  se refiere diagnóstico, tratamiento, etc
• Deseable plantee un problema que induzca a
  integrar información y no usar solo memoria
  VIÑETA CLINICA

18
Pregunta

• Debe
• estar orientada a un solo problema
• ser directa y claramente formulada
• destacar si solicita la opción MAS ADECUADA o
  MAS CORRECTA
• evitar formas negativas, como EXCEPTO o Cuál
  de las opciones NO es correcta?
• no proponer los formatos de verdadero/falso
  múltiples (ej I y II)

19
OPCIONES

• Deben ser
• Gramaticalmente consistentes y lógicamente
  compatibles con el enunciado
• Homogéneas todas diagnósticos, o exámenes de
  laboratorio, etc
• Dispuestas en orden lógico o alfabético.
• Si son números, en orden creciente o decreciente,
  sin sobreposición de rangos

20
Distractores

• Deben
• Ser verosímiles
• Ser incorrectos, o por menos inferiores en
  certeza a la respuesta correcta
• Tener la misma longitud que la respuesta
  correcta
• Evitar opciones compuestas A porque.

21
Opciones

• Evitar
• términos absolutos como siempre, nunca, todos
• términos vagos como raramente, habitualmente ,
  frecuentemente
• frases expresadas en términos negativos
• Ninguna de las anteriores ni todas las
  anteriores

22
Pregunta mal construida

• Los defectos del tabique interventricular en
  niños están asociados con
• 1. soplo sistólico
• 2. hipertensión pulmonar
• 3. tetralogía de Fallot
• 4. cianosis
• 5. ninguna de las anteriores

23
TALLER
24
5 Reglas básicas para las preguntas de una PSM

• Cada ítem debiera enfocar un concepto importante
• Cada ítem debiera evaluar la aplicación del
  conocimiento y no el recuerdo de un hecho aislado
• El enunciado de los ítems debe incluir una
  pregunta hecha clara y posible de responder sin
  mostrar las opciones
• Los distractores debieran ser homogéneos y
  plausibles
• Evitar defectos que beneficien a examinados
  astutos y aquellos que hagan las preguntas
  innecesariamente difíciles .
• Case and
  Swanson 2000

25
Plantillas de preguntas

• La estructura general de un ítem puede ser
  representada por una plantilla, pudiendo
  generarse muchos ítems usando la misma plantilla
• Por ejemplo, plantilla relacionada con anatomía
  
• Un (descripción del paciente) no puede
  (describir la discapacidad funcional). Cuál de
  las siguientes opciones representa mejor la
  lesión en este paciente?

26
Pregunta usando la plantilla

• Un hombre de 65 años presenta dificultad al
  levantarse y enderezar su tronco desde la
  posición sentada, pero no presenta dificultad
  para flexionar sus piernas. Cuál de los
  siguientes músculos es el más probable que esté
  comprometido?
• A. Gluteus maximus
• B. Gluteus minimus
• C. Posterior del muslo
• D. Iliopsoas
• E. Obturator internus

27
Preguntas de ciencias básicas como viñeta

• Un (descripción del paciente) presenta (tipo de
  lesión y localización). Cuál de las siguientes
  estructuras es más probable que esté
  comprometida?
• Un (descripción del paciente) presenta (síntomas
  y signos). Estas observaciones sugieren que su
  enfermedad es el resultado de (una ausencia o
  presencia) de cuál de las/los siguientes
  (enzimas, mecanismos).

28
ELABORACION DE LA PRUEBA

• 1-PLANIFICACION
• Selección de objetivos
• Formular una matriz
• Redacción de las preguntas acorde a los objetivos
• -El número de preguntas dependerá de los
  aprendizajes que se midan
• -Incluir al menos 1 pregunta por objetivo,
  considerando su relevancia
• Revisión de preguntas por varios docentes

29
2- PRODUCCION

• Estructuración de la prueba
• -Evitar que la respuesta de una pregunta esté
  contenida en otra
• -Evitar repetir mas de 2 veces la posición de
  la respuesta correcta (a-a)
• Revisión cuidadosa por varios docentes
• Redacción de instrucciones generales y
  especificas
• Asignación de puntajes
• Determinación del puntaje de corte

30
3-APLICACIÓN

• Aleatorizar las preguntas dentro de la prueba
  para disminuir la copia
• Clarificar las instrucciones
• Considerar 1 ,5 a 2 minutos de tiempo por
  pregunta
• Disponer de suficientes docentes y salas para
  aplicar la prueba

31
4-CORRECCION

• Análisis de resultados
• Rendimiento
• Comportamiento de los distractores,
• Grado de dificultad, etc
• Elaboración de información

32

• 5- INFORMACION
• Informar a los alumnos lo antes posible de su
  resultado
• Corrección conjunta , precozmente después de la
  prueba.
• 6-ADOPCION DE ACCIONES DE CORRECCION
• del método de aprendizaje

33
Resumen

• La PSM es un buen instrumento de evaluación pero
  requiere de una elaboración cuidadosa
• Al confeccionarla estamos enviando al alumno un
  mensaje de lo medular del curso
• Al corregirla nos retroalimentamos respecto a
  nuestro propio quehacer docente
• Sus resultados son relevantes no solo para el
  alumno y la retroalimentación del proceso, sino
  también para los futuros pacientes hacia los
  cuales los estamos enviando , y con los que en
  definitiva, esta nuestro compromiso.

34
Bibliografia

• AMEE Guide No. 25 The assessment of learning
  outcomes for the competent and reflective
  physician
• J.M. SHUMWAY1 R.M. HARDEN
• Tool box of assessment methods 2000
  Accreditation Council for Graduate Medical
  Education (ACGME), and
• American Board of Medical Specialties (ABMS).
• Case SM, Swanson DB. Constructing written test
  questions for the basic and clinical sciences.
• Philadelphia, PA National Board of Medical
  Examiners, 1996 (www.nbme.org)
• Manual de Evaluacion para carreras de la Salud
• Pantoja M et als Universidad de la Frontera
• Haladyna TM. Developing and validating
  multiple-choice test items 1994