Tema 5 Test informatizados (TIs)

1
Tema 5 Test informatizados (TIs)
2
Historia

• Años 40 aplican los desarrollos analógicos a la
  puntuación automatizada del Strong Vocational
  Interest Blank(SVIB) y del Minnesota Multiphasic
  Personality Inventory (MMPI).
• Años 50 primeras aplicaciones de hojas de
  respuesta electrónica y lectoras ópticas, que
  sustituyen a los sistemas basados en tarjetas.
• Años 60 Surgen sistemas automatizados de
  interpretación para tests como el 16PF, el
  California Psychological Inventory, el Rorschach
  o el WAIS.

3
Historia

• Años 70 primeras experiencias sobre la
  aplicación informatizada de test.
• MMPI de los primeros que puede presentarse en
  pantalla y responderse mediante el teclado.
• También administraciones informatizadas y otros
  test de personalidad como el Eysenck Personality
  Inventory, el 16PF.
• Gracias a la tecnología digital se informatizan
  tests de inteligencia general y aptitudes ( con
  presentación de ítems más complejos)

4
Historia

• Años 80 incremento exponencial de versiones
  informatizadas de tests convencionales aplicados
  en contextos escolares, organizacionales o
  clínicos.
• En los Recursos Humanos la batería CAM
  (conjunto de tests informatizados que miden
  habilidades relacionadas con el procesamiento de
  la información).
• En Clínica versiones informatizadas de
  entrevistas estructuradas y ensayos con los que
  se denominan entrevistas adaptativas
  informatizadas (para establecer procedimientos de
  ramificación e itinerarios según las respuestas
  de los sujetos.
• En psicoterapia tests informatizados para
  identificar pensamientos irracionales o programas
  integrados para evaluar y superar progresivamente
  problemas relacionados con la toma de decisiones
  en diversas situaciones.

5
Qué son?

• Son test que existen en papel y lápiz y se
  trasladan al formato informático.
• Utilizan el ordenador para presentar los ítems,
  responder y analizar e interpretar el
  rendimiento.
• Se presentan los mismos ítems y con la misma
  secuencia de presentación a todos los sujetos, es
  decir no son adaptativos, al igual que los test
  informatizados de procesos cognitivos.
• Por tanto son técnica sistemática o
  estandarizada en la que la tarea, las
  instrucciones, las respuestas, el procedimiento
  de aplicación, la corrección, y la interpretación
  están pautadas y son equivalentes para todos los
  sujetos a los que se les aplica.

6
Diferencias con los TAIS

1. En los TAIS, los ítems son seleccionados y se
   presentan al candidato según el nivel.
2. El test se acaba justo cuando se ha especificado
   el nivel del alumno.
3. Son relativamente cortos tanto en el número de
   preguntas como en el tiempo que se necesita para
   completarlos.

7
Ventajas Ventajas Ventajas Ventajas
En Condiciones de aplicación En Condiciones de aplicación En Procesamiento de respuesta e interpretación de datos En Procesamiento de respuesta e interpretación de datos
Menos tiempo Que en hoja electrónica Permite baremar (informa del nivel del sujeto) Permite baremar (informa del nivel del sujeto)
Menos tiempo Que en lápiz y papel Permite baremar (informa del nivel del sujeto) Permite baremar (informa del nivel del sujeto)
Menor posibilidad de copia (no conocen respuestas correctas) Menor posibilidad de copia (no conocen respuestas correctas) Menos tiempo Para corregir
Condiciones similares para todos los sujetos Condiciones similares para todos los sujetos Menos tiempo Para baremar respuestas
Menos costes Menos costes Menos errores al corregir y baremar Menos errores al corregir y baremar
8
Otras ventajas

• La tecnología informática permite diseñar nuevos
  instrumentos dentro de la nueva generación de
  test.
• En estos test se requiere el uso del ordenador
  para un control adecuado del tiempo de
  presentación de los ítems y de las latencias de
  respuesta.

9
Inconvenientes

• Al automatizar un test de papel y lápiz se
  proporcionan puntuaciones equivalentes?
• Lo estudian Mazzeo y Harvey (1988) y obtienen
• Puntuaciones medias diferentes, aunque pequeñas y
  de poca significación.
• Dichas diferencias tenían medias más altas en las
  versiones originales no informatizadas.
• Los test de rapidez se respondían en menos tiempo
  empleando el teclado.
• En algunos test informatizados de personalidad se
  produjo un mayor número de elecciones de la
  opción no lo sé.

10
Inconvenientes

• Resultados no concluyentes
• - Entre las versiones informatizadas
• Mucha heterogeneidad en el nivel de
  automatización
• Se produjeron deficiencias técnicas que
  explicarían el menor rendimiento de los sujetos
  en estas pruebas
• No se permitió entrenamiento con el procedimiento
  de respuesta con la revisión de las respuestas
  proporcionadas.

11
Algunos estudios

• Las diferencias halladas en test de personalidad
  son pequeñas o nulas, por lo que es mejor no
  realizar una nueva baremación para las versiones
  informatizadas.
• Esto no ocurre con los tests de aptitudes y
  neuropsicológicos.
• Si en la versión informatizada y en la no
  informatizada se proporcionan al sujeto las
  mismas condiciones de flexibilidad, los
  parámetros de dificultad de los ítems son
  equivalentes.

12
Más estudios

• Sobre la utilidad de los informes generados
  mediante ordenador
• Comparativos con criterios externos comparan las
  valoraciones que se realizan en el informe
  automatizado con otra fuente (expertos clínicos)
• Sobre la satisfacción de los clientes comprueban
  el grado en que manifestaban satisfacción los
  profesionales de la psicología y de la
  psiquiatría en relación a la claridad (adecuación
  de la información o utilidad)

13
Otros estudios

• Para mejorar la calidad de las interpretaciones
  automáticas (Endres, Guastello y Rieke (1992)
• La fiabilidad metainterpretativa que comprueba
  el grado de precisión con que un sistema de
  interpretación automática refleja en texto las
  puntuaciones del test.
• Sobre propiedades psicométricas de las medidas
  procesuales (Roznowski, 1993)
• las medidas procesuales reflejarán diferencias
  individuales estables si las tareas incluyen
  niveles heterogéneos de complejidad.

14
En definitiva

• El verdadero problema de la validación de test
  informatizado de procesos cognitivos requiere
  nuevas estrategias relacionadas con
• la comprobación empírica de que el test detecta
  las previsiones derivadas del modelo teórico y
• la planificación de estudios predictivos para
  demostrar la utilidad de las medidas en
  situaciones reales donde intervienen los procesos
  que se pretende medir.

15
Cómo se construye una prueba?

• Pasos (Croker y Algina, 1986)
• Delimitar el objetivo para el que van utilizarse
  las puntuaciones.
• Definir el constructo que se pretenda medir.
• Describir los componentes del constructo
  (general).
• Diseñar el instrumento.
• Redactar los ítems.
• Analizar la calidad de los ítems.
• Estudiar la fiabilidad del instrumento.
• Estudiar la validez del instrumento.
• Elaborar las normas de aplicación, interpretación
  y baremación de las puntuaciones.

16
Delimitar el objetivo

• 1. Delimitación formal incluye número y tipo de
  ítems y número de alternativas de respuesta.
• Número de ítems se deben construir como mínimo
  el doble de los que se usarán para la versión
  final y ajustarlos al tiempo disponible para
  realizar el test.
• Tipo de ítems existen dos tipos de respuestas
• Abiertas el sujeto reproduce la respuesta. Son
  difíciles de cuantificar, pero adecuadas para
  evaluar conceptos complejos. Pueden ser de
  completar, sustituir o corregir y de ensayo
• Cerradas el sujeto selecciona las respuestas de
  entre dos o más respuestas propuestas. Son
  fáciles de cuantificar, precisas y fiables
  adecuadas para evaluar una gran diversidad de
  conceptos. Aparecen en los test de ejecución
  máxima (respuestas V/F, elección múltiple o
  relacionar) o típica (escalas tipo Likert).

17

• 2. Delimitación teórica-conceptual Se
  identifica cuál es el objetivo del instrumento
  (el objetivo debe ser comportamental para
  declarar explícitamente el objetivo para el que
  van a utilizarse las puntuaciones).
• Ventaja objetivo comprensible y ayuda a definir
  el constructo.
• Definir el constructo
• Definición operacional define los
  comportamientos considerados como indicadores del
  constructo. Se identifica con el modelo de medida
  del constructo.
• Definición estructural teoría consistente y
  sustantiva, relaciona el constructo medido con
  otros constructos empíricos de su entorno. En
  técnica de modelos estructurales se denomina
  parte estructural de un modelo o teoría.

18

• Descripción de los componentes del constructo.
• Diseño del instrumento
• Errores frecuentes que han de evitarse (Muñiz)
• Alternativas de respuestas que no sean igualmente
  plausibles
• Enunciados negativos.
• Alternativas de diferente longitud
• Reiteración innecesaria en el texto.
• Cifras desordenadas en las alternativas de
  respuestas.
• Abuso de la opción todas /ninguna de las
  anteriores en las alternativas de respuestas.

19

• V. Redacción de los ítems
• Partir de las ideas relevantes para elaborar
  ítems que midan objetivos importantes con el
  máximo poder discriminativo.
• Presentar el ítem con claridad y precisión para
  evitar introducir elementos no funcionales
  demasiado específicos o que puedan sugerir las
  respuestas
• Eliminar frases estereotipadas.
• Analizar la calidad de los ítems
• La calidad de los ítems, la fiabilidad y la
  validez son las características fundamentales de
  un buen instrumento de medida. Por ello se exigen
  a un buen test y se deben tener en cuenta para
  evaluarlos con criterios de calidad.

20

• Análisis de los ítems Implica obtener
  información descriptiva y estadística
• a) Información descriptiva evidencias de
  validez (de contenido, de constructo y de
  criterio) de los elementos.
• Objetivo establecer juicios razonables sobre
  el grado en que las evidencias permiten emprender
  acciones basadas en el modelo de medida (a través
  de los ítems o indicadores).
• Por tanto, HAY QUE PLANTEARSE SI EL SISTEMA DE
  VALORES ESTA EN RELACION CON LOS OBJETIVOS A
  MEDIR.
• b) Información estadística estimar parámetros
  para cada ítem, analizar los distractores o
  alternativas incorrectas de respuesta y examinar
  el posible funcionamiento diferencial de los
  ítems en grupos de interés.

21

• Fiabilidad
• - Criterio de calidad. Se relaciona con la
  precisión de las medidas obtenidas con un test.
• - Informa sobre el grado en que las
  puntuaciones empíricas reflejan las verdaderas y
  grado de ajuste entre puntuaciones empíricas y
  verdaderas.
• - Procedimientos para constatar la fiabilidad
  basados en el modelo lineal de regresión. Índice
  usado coeficiente de correlación de Pearson
  (para la estabilidad temporal de las puntuaciones
  obtenidas y la consistencia interna del test).
• Por tanto, UNA MEDIDA ES FIABLE SI ES PRECISA.
  ESTABLE Y CONSISTENTE.
• VIII. Validez
• - Grado en que un instrumento mide aquello
  que dice medir.

22

• IX. Elaborar las normas
• Evaluación de los sujetos asignación,
  interpretación y equiparación de las
  puntuaciones.
• Las puntuaciones directas se transforman en
  estandarizadas y con éstas se confeccionan
  baremos.
• Existen dos tipos de baremos
• a) Referidos al criterio informan sobre el
  grado en que el sujeto posee la característica o
  dominio medido. Se ven posibilitados gracias a
  las mediciones que se realizan desde la TRI
  (teoría de respuesta al ítem).
• b) Referidos a la norma informan de la posición
  que ocupa el sujeto, en el rasgo medido, respecto
  a su grupo de iguales. Las mediciones de este
  tipo de baremos se realizan desde la TCT (teoría
  clásica de los test).

23
Diferencias entre baremos
DE CRITERIO DE NORMA
Finalidad evaluación Estimar rendimiento en los objetivos que mide Indicar las diferencias interindividuales en el rasgo que miden.
Construcción del instrumento Especificar el dominio de contenido y del uso pretendido por el instrumento Los ítems se construyen derivados de alguna teoría de rasgo o de constructo
Selección de los ítems En función de objetivos y uso predeterminado del instrumento Indica la varianza del test, Maximiza la varianza y elige los ítems de dificultad
Significado de las puntuaciones Puntuación estimador muestral de la conducta del sujeto en el dominio indican las diferencias interindividuales, maximizan la varianza del test y eligen los ítems de dificultad
Interpretación de las puntuaciones Significado en términos absolutos Significado solo con relación al grupo normativo de referencia
24
Construcción según distintas teoría

• Teoría de test
• Teoría que aporta modelos para las puntuaciones
  de los test
• Función Dar cuenta del error de medida inherente
  a toda medición psicológica (estimar el error y
  proporcionar una estimación del rasgo o
  característica evaluada estimación de la
  característica de interés)
• Teoría clásica de los test
• Desarrolla un modelo estadístico que contempla
  los errores de medida.
• Asume que la puntuación empírica que obtiene un
  sujeto cuando se le administra un test (X) es
  función de
• - El nivel real o verdadero en que el sujeto
  posee la característica o rasgo que se está
  evaluando (V)
• - El error de medida que siempre se introduce
  en cualquier proceso de medida (E).
• La relación entre el comportamiento observable
  (X) y el nivel del sujeto en la variable no
  observable (V) es una relación lineal.

25
Limitaciones de la TCT

• La no invarianza de las mediciones respecto de
  los instrumentos utilizados.
• Las propiedades de los instrumentos de medida
  dependen en exceso de los objetos medidos, es
  decir, de los sujetos a los que se aplica el
  test.
• Dificultad real que existe para construir test
  paralelos, concepto clave en la TCT ya que afecta
  directamente al cálculo del coeficiente de
  fiabilidad y longitud de los tests.
• Alternativa a las limitaciones anteriores
• Teoría de Respuesta al ítem
• - Permite construir y analizar de modo más
  potente los tests
• - Objetivo principal conseguir medidas
  invariantes respecto de los sujetos medidos y de
  los instrumentos utilizados.(Muñiz,1997).
• - Unifica dos conceptos el de separación de
  parámetros e invarianzas de los mismos.
• - Por tanto, sus principales supuestos se van a
  referir a la naturaleza del rasgo que se pretende
  medir y a las relaciones que se esperan entre las
  respuestas de los ítems.

26
Tipos de informes I

• Descriptivos interpretan cada subescala sin
  referirse a las demás. Dichas interpretaciones
  pueden
• Añadir grado al nombre de la escala
• Indicar la posición del sujeto en la subescala
  según varias categorías ordenadas.
• Añadir información estadística sobre el
  rendimiento del sujeto en relación al grupo
  normativo (sólo los más elaborados)
• Condicionados interpretan en qué nivel se
  cumplen ciertas condiciones en diferentes
  subescalas (primer acercamiento al problema).

27
Tipos de informes II

• Consultivos
• Empleados por los expertos que emplean
  frecuentemente el test
• Utiliza lenguaje técnico adecuado y formas de
  redacción similares a las que se emplean en los
  informes clínicos
• Más elaborados que los informes condicionados.

28
Test que se ofertan
29
Recursos humanos AUTOMATIZADOS POSIBLE CORRECCION MECANIZADA POSIBLE CORRECCION POR INTERNET DISQUETE DE CORRECCION Y PERFIL
Recursos humanos INTELIGEN CIA 1 11 0 0
Recursos humanos APTITUDES 0 19 0
Recursos humanos PERSONALIDAD 3 10 7 5
Recursos humanos COMPETENCIAS 0 0 2 0
Recursos humanos CLIMA LABORAL, MOTIVACIONES, VALORES 0 3 2 0
Recursos humanos IDIOMAS 0 1 0 0
30
ESCOLAR Y CLINICA INFORMATIZADOS POSIBLE CORRECCION MECANIZADA CORRECCION POR INTERNET DISQUETE DE CORRECCION Y PERFIL
ESCOLAR Y CLINICA INTELIGENCIA 1 3 1 2
ESCOLAR Y CLINICA APTITUDES 2 9 1 0
ESCOLAR Y CLINICA PERSONALIDAD 2 11 6 3
ESCOLAR Y CLINICA CLINICOS 1 8 4 6
ESCOLAR Y CLINICA INTERESES, MOTIVACIONES Y VALORES 0 5 1 0
ESCOLAR Y CLINICA PROYECTIVO 0 0 0 0
ESCOLAR Y CLINICA NEUROPSICOLOGICO 1 0 1 0
ESCOLAR Y CLINICA PEDAGOGICO Y DE RENDIMIEN TO 2 7 3 0
ESCOLAR Y CLINICA JUEGOS DE INTERVENCION 0 0 0 0
ESCOLAR Y CLINICA PROGRAMAS DE INTERVENCION 2 0 1 0
ESCOLAR Y CLINICA RELAJACION 2 0 0 0