La evaluacin de la formacin en el Secretariado de Formacin del P'A'S de la Universidad de Sevilla'

1
La evaluación de la formación en el Secretariado
de Formación del P.A.S de la Universidad de
Sevilla.

• Salvador Chacón Moscoso
• José Antonio Pérez-Gil
• Francisco Pablo Holgado Tello
• Ángel Lara Ruiz

2
ESQUEMA DE LA PRESENTACIÓN.
1. Evaluación de necesidades 2. Evaluación de
objetivos 3. Evaluación del diseño 4. Evaluación
de la implementación 5. Evaluación de
resultados 6. Optimización de diseño evaluativo
mediante técnicas analíticas 7. Conclusiones
3
OBJETIVO.
Describir el proceso evaluativo que desarrollamos
en el Secretariado de Formación del P.A.S de la
Universidad de Sevilla.
4
EVALUACIÓN DE NECESIDADES.

• OBJETIVOS.

• -Delimitación del referente evaluativo a partir
  de
• Experiencia acumulada en el Secretariado de
  Formación.
• Estudio de planes de formación de otras
  universidades
• -Formación en Adecuación Profesional.
• -Capacitación en Innovaciones y Calidad.
• -Formación para el Desarrollo Profesional y
  Formación de Carácter General.

• METODOLOGÍA.

• -Diseño del instrumento de recogida de datos (dos
  cuestionarios homólogos)
• Puestos de responsabilidad intermedia.
• Todo el personal de apoyo de Administración y
  Servicio.

5
ESQUEMA CUESTIONARIOS 1
DIRIGIDO A LOS RESPONSABLES (MANDOS INTERMEDIOS)
DE UNIDADES ADMINISTRATIVAS. CAPACITACIÓN PARA
EL PUESTO 1. Existe necesidad de un
conocimiento adicional sobre los principios de
actuación en los puestos de trabajo de los que
soy responsable. (ninguna necesidad)1 - 2 - 3 - 4
- 5(mucha necesidad) 2. Son necesarios
conocimientos adicionales para introducir mejoras
en los puestos de trabajo. (ninguna necesidad)1 -
2 - 3 - 4 - 5(mucha necesidad) CAPACITACIÓN EN
INNOVACIONES 6. Son necesarios conocimientos y
habilidades adicionales para afrontar la
implantación de los nuevos planes de estudio en
los puestos de trabajo. (ninguna necesidad)1 - 2
- 3 - 4 - 5(mucha necesidad) ( ) no tengo
información suficiente para responder. 7. Se
necesitan conocimientos adicionales sobre la
legislación que afecta a los puestos de
trabajo. (ninguna necesidad)1 - 2 - 3 - 4 -
5(mucha necesidad) FORMACIÓN GENERAL 9. Se
necesitan realizar cursos sobre diversas
herramientas ofimáticas. (ninguna necesidad)1 - 2
- 3 - 4 - 5(mucha necesidad) En caso de que
exista esta necesidad indique qué curso
demandaría y de qué nivel (básico o
avanzado) _______________________________________
_________________________
6
ESQUEMA CUESTIONARIOS 2
TODO EL PERSONAL DE ADMINISTRACIÓN Y SERVICIOS DE
LA UNIVERSIDAD DE SEVILLA. CAPACITACIÓN PARA EL
PUESTO 1. Tengo necesidad de un conocimiento
adicional sobre los principios de actuación en mi
puesto de trabajo. (ninguna necesidad)1 - 2 - 3 -
4 - 5(mucha necesidad) 2. Necesito conocimientos
adicionales para introducir mejoras en mi puesto
de trabajo. (ninguna necesidad)1 - 2 - 3 - 4 -
5(mucha necesidad) CAPACITACIÓN EN
INNOVACIONES 6. Necesitaría conocimientos y
habilidades adicionales para afrontar la
implantación de los nuevos planes de estudio en
mi puesto de trabajo. (ninguna necesidad)1 - 2 -
3 - 4 - 5(mucha necesidad). ( ) no tengo
información suficiente para responder. 7.
Necesito conocimientos adicionales sobre la
legislación que afecta a mi puesto de
trabajo. (ninguna necesidad)1 - 2 - 3 - 4 -
5(mucha necesidad). FORMACIÓN GENERAL 9.
Necesito realizar cursos sobre diversas
herramientas ofimáticas para mi puesto de
trabajo. (ninguna necesidad)1 - 2 - 3 - 4 -
5(mucha necesidad). En caso de que exista esta
necesidad explicite qué cursos demandaría y de
qué nivel (básico o avanzado) __________________
__________________________________________________
_____________________
7

• METODOLOGÍA

• -Muestra
• Estudio por cuotas

• Por una parte RESPONSABLES DE ÁREAS DE SERVICIO Y
  ADMINISTRADORES DE CENTRO (PUESTOS DE
  RESPONSABILIDAD INTERMEDIA) conocedores de la
  realidad existente y dinamizadores del proceso.

• Por otra parte TODO EL PERSONAL DE APOYO DE
  ADMINISTRACIÓN Y SERVICIO de la Universidad de
  Sevilla que voluntariamente colabora en la
  cumplimentación del cuestionario.

8

• PROCEDIMIENTO

• Puestos de responsabilidad intermedia .
• a) Remisión cuestionario junto con una carta de
  presentación del Gerente.
• b) Convoca a responsables a una reunión con el
  Vicegerente de Recursos Humanos un responsable
  del Secretariado de Formación y un asesor en el
  diseño y evaluación del programa.

• Todo el personal de apoyo de Administración y
  Servicios.
• a) A través de los responsables se les informa
  que voluntariamente pueden cumplimentar el
  cuestionario de necesidades formativas sobre su
  puesto de trabajo.
• b) Posibilidad de realizar una entrevista con
  responsables del Secretariado de Formación.

9

• RESULTADOS EVALUACIÓN DE NECESIDADES

• Clasificación de necesidades formativas en
  función del criterio de prioridad (si prioritario
  - no prioritario).
• - Aquellos ítems cuya frecuencia de respuestas 4
  (bastante necesidad) y 5 (mucha necesidad) es
  igual o superior al cincuenta por ciento del
  total de respuestas.

10
(No Transcript)
11
(No Transcript)
12
(No Transcript)
13
EVALUACIÓN DE OBJETIVOS.

• OBJETIVO.

Valorar la suficiencia de los objetivos
planteados en el II Plan de Formación para
satisfacer las necesidades detectadas.

• METODOLOGÍA.

- Revisión y análisis de otros planes de
formación. - Consulta a expertos en formación. -
Consulta a implicados en procesos
universitarios. - Especificación de objetivos por
cada A.F. (ficha técnica).
14
EVALUACIÓN DEL DISEÑO.

• OBJETIVO.

Valorar la coherencia interna del diseño
planteado en el II Plan de Formación con respecto
a los objetivos propuestos a partir de las
necesidades detectadas.

• METODOLOGÍA.

- Revisión y análisis de otros planes de
formación. - Consulta a expertos en formación. -
Consulta a implicados en procesos
universitarios. - Especificación de
destinatarios duración participantes lugar
calendario ... por cada A.F. (ficha técnica).
15
(No Transcript)
16
EVALUACIÓN DE LA IMPLEMENTACIÓN.

• OBJETIVO.

Valorar la posible discrepancia y sus causas
entre lo implementado con respecto a lo
programado en el II Plan de Formación.

• METODOLOGÍA.

- Cuestionario durante la implementación de las
AA.FF. - Entrevista con formadores para analizar
la posible discrepancia entre ejecutado/implementa
do
17
No esperes a que acabe la acción formativa con
la intención de mejorar haznos llegar cualquier
opinión por pequeña que sea sobre los apartados
que aparecen a continuación. Muchas gracias por
tu colaboración. NOMBRE DEL CURSO
________________________________________________
(Fecha en que se cumplimenta este impreso
________ de___________ de___) 1. Objetivos del
curso____________________________________________
____ 2. Los contenidos del curso
___________________________________________ 3.
El ambiente (compañerismo participación...)____
_______________________ 4. Los formadores
(interés motivación...) _______________________
________ 5. Los materiales y/o recursos
(mobiliario condiciones ambientales recursos
didácticos apuntes escritos...)________________
_________________________ 6. Otras
sugerencias______________________________________
___________
18
EVALUACIÓN DE RESULTADOS.

• OBJETIVOS (Kirkpatrik 1999)

• Nivel 1 reacción de los participantes.

• Nivel 2 grado de aprendizaje.

• Nivel 3 transferencia al puesto de trabajo.

• Nivel 4 impacto de la formación en la
  organización.

19
METODOLOGÍANIVEL 1 REACCIÓN DE LOS PARTICIPANTES
CUESTIONARIO DE SATISFACCIÓN.

• Objetivos y contenidos.

1.1. A su juicio se han alcanzado los objetivos
previstos. 1.2. Los temas se han tratado con la
profundidad que permitía la duración del curso.

• Metodología y ambiente.

2.1. La documentación entregada ha sido de
calidad. 2.2. La acción formativa ha sido
realista y práctica.

• Utilidad y valoración global.

3.1. La acción formativa es útil para mi puesto
de trabajo. 3.2. La acción formativa merece una
buena valoración global.
20
(No Transcript)
21
Gráficas ítems mejor y peor valorado de la A.F
(porcentaje)
Ítem mejor valorado (Las condiciones del aula
mobiliario y ambiente de aprendizaje han sido
buenas)
Ítem peor valorado (La duración del curso ha
sido adecuada a los objetivos y contenidos)
22
Gráfica ítem valoración global de la A.F
(porcentaje)
Ítem valoración global (El curso merece una
valoración global de... )
23
Gráfica global ítems de la acción formativa
(medias)
24
Gráficas ítems mejor y peor valorado
profesor (porcentaje)
Ítem mejor valorado (El profesor domina la
materia)
Ítem peor valorado (Las enseñanzas
transmitidas se adecuan a los objetivos y
contenidos)
25
Gráfica ítem valoración global del profesor
(porcentaje)
Ítem valoración global (El profesor merece una
valoración global de... )
26
Gráfica global ítems del profesor (medias)
27
METODOLOGÍANIVEL 2 GRADO DE APRENDIZAJE.
Estadístico de contraste
PRETEST
IMPLEMENTACIÓN A.F.
POSTEST
Análisis calidad métrica de las pruebas
28
PERFIL DE ÍTEMS
29
EJEMPLO DIFERENCIA DE MEDIAS
30
IMPLICACIONES METODOLÓGICASNIVELES 3 Y4
TRANSFERENCIA E IMPACTO

• DESARROLLO DE SISTÉMAS DE INDICADORES.

• DISEÑO DE GRUPO CONTROL NO EQUIVALENTE CON PRUEBA
  PREVÍA Y POSTERIOR.

• Cómo se traduce la acción formativa en acciones y
  resultados concretos en el puesto de trabajo.

• Cómo repercute la formación en la institución.

31
O1 X O2 --------------------------------- O1 O2
Tender hacia un diseño de discontinuidad en la
regresión.
O1 O O.......... On X On1........ O Onk
-------------------------------------------------
--------------------------- O1 O O..........
On X On1........ O Onk
Modelización de variables relevantes
C O1 X O2 ---------------------------------
C O1 O2
32
6. Optimización del diseño evaluativo mediante
técnicas analíticas

• ANALISIS FACTORIAL.

• Identificar VV subyacentes que expliquen la
  relación de las observadas en torno a la
  satisfacción con las AA.FF.

• Identificar un pequeño número de factores que
  expliquen la mayoría de la varianza observada con
  respecto a los niveles de satisfacción sobre las
  AA.FF.

33
RESULTADOS ANALISIS FACTORIAL 1 (n1100)
34
(No Transcript)
35
(No Transcript)
36
f1
f2
f3
X1
X2
X3
X4
X5
X6
X7
X8
X9
X10
X11
X12
2
1
3
4
5
6
7
9
8
10
11
12
37
(IMPLICACIONES ANALÍTICAS 2).

• ANALISIS JERARQUICO LINEAL Y NO LINEAL.

• Cómo influye la estructura anidada de los datos
  (sujetos y cursos) en los niveles de satisfacción.

38
RESULTADOS ILUSTRATIVOS ANALISIS MULTINIVEL
(multivariado)
39
(No Transcript)
40
(No Transcript)
41

• Conclusiones
• Evaluación como proceso de programación.
• Información para la reflexión proceso de mejora
  continua
• Es difícil la programación sin evidencias
• Evaluación-Programación de la formación
  elementos de intervención en la organización