Usabilidad en Entornos MDA: Propuesta y Estudio Emprico

1
Jornadas de Ingeniería del Software y Bases de
Datos (JISBD 2006), Sitges, 3-6 Octubre

• Usabilidad en Entornos MDA Propuesta y Estudio
  Empírico

Silvia Abrahão1, Emilio Insfrán1 y Jean
Vanderdonckt2
1Departmento de Sistemas Informáticos y
Computación (DSIC) Universidad Politécnica de
Valencia sabrahao, einsfran_at_dsic.upv.es
2Belgian Laboratory of Computer-Human Interaction
(BCHI) Université Catholique de Louvain (UCL),
Bélgica vanderdonckt_at_isys.ucl.ac.be
2
Contenido

• Introducción
• Trabajos Relacionados
• Incorporación de Usabilidad en Entornos MDA
• Diseño y Ejecución del Experimento
• Análisis e Interpretación de Resultados
• Problemas de Usabilidad y Implicaciones en el PIM
  y PSM
• Conclusiones

3
Introducción

• Las organizaciones de desarrollo del software
  reconocen la relevancia de la usabilidad en el
  éxito de los productos software.
• La usabilidad no es debidamente tratada en las
  prácticas actuales de la Ingeniería del Software
  (IS).
• El 80 de los costes de mantenimiento de software
  se deben a problemas de interacción entre usuario
  y sistema, y no a problemas técnicos. De ellos,
  el 64 están relacionados con problemas de
  usabilidad (Landauer)
• Algunos trabajos abordan el problema de la
  integración de técnicas y actividades de
  evaluación de usabilidad en procesos de
  desarrollo software convencionales.

4
Introducción

• La aparición del enfoque del desarrollo de
  software dirigido por modelos (DSDM) con sus
  características particulares
• Separación de funcionalidad y detalles de
  implementación.
• Uso de modelos durante todo el proceso de
  desarrollo por medio de transformaciones (hasta
  la obtención del código del software final).
• Supone un reto para la evaluación de
  usabilidad!
• Existen varias aplicaciones de MDA para el
  desarrollo de sistemas software (e Interfaces de
  Usuario) pero ninguno integra la usabilidad de
  forma explícita.
• No hay propuestas sistemáticas que evalúan la
  usabilidad de las aplicaciones software obtenidas
  como parte de un proceso de transformaciones
  sucesivas.

5
Contenido

• Introducción
• Trabajos Relacionados
• Incorporación de Usabilidad en Entornos MDA
• Diseño y Ejecución del Experimento
• Análisis e Interpretación de Resultados
• Problemas de Usabilidad y Implicaciones en el PIM
  y PSM
• Conclusiones

6
Trabajos RelacionadosÁmbito de la Ingeniería del
Software (IS)

• En los últimos años se han propuesto varios
  métodos y ambientes de desarrollo basados en
  modelos
• También muchas herramientas CASE han sido
  propuestas con la finalidad de proporcionar algún
  tipo de automatización y gestionar estos modelos
• Together, UMT, AndroMDA, RationalRose, Poseidon y
  OlivaNova
• Algunos modelos utilizados
• Modelos estructurales para capturar la estructura
  del sistema (diagrama de clases UML)
• Modelos de comportamiento para describir la
  funcionalidad del sistema (diagramas de estados,
  actividad, secuencia, etc.).

7
Trabajos RelacionadosÁmbito de la Interacción
Persona Ordenador (IPO)

• Ambientes de desarrollo de interfaz de usuario
  basado en modelos
• Primera generación ambiente run-time para los
  modelos de interfaz de usuario (Cousin y
  Humanoid).
• Segunda generación soporte para el modelado
  abstracto del interfaz de usuario en un alto
  nivel de abstracción (Fuse, Trident y Mecano).
• Algunos modelos utilizados
• Modelos de dominio que aportan una descripción de
  las entidades de dominio (modelos declarativo de
  datos o modelos orientado a objetos)
• Modelos de tareas que representan los requisitos
  de interacción del usuario, del cual se derivan
  los modelos abstractos del interfaz.

8
Trabajos RelacionadosÁmbito de la Interacción
Persona Ordenador (IPO)

• Con la iniciativa MDA surgen otras propuestas
• Generación de aplicaciones específicas de dominio
  en la plataforma J2EE a partir de una descripción
  declarativa del sistema (Jespersen y Linvald
  2003)
• Método y herramienta asociada (Teresa) para el
  desarrollo de IU multiplataforma a partir de
  modelos conceptuales y transformaciones entre
  modelos (Mori, Paterno, Santoro 2003).
• Metodología para el desarrollo de IU en distintas
  plataformas que define modelos, lenguajes de
  especificación y herramientas que apoyan el
  método basado en los modelos subyacentes
  (Vanderdonckt 2005).

9
Trabajos RelacionadosSituación Actual

• Hasta ahora, se han iniciado varios intentos para
  el desarrollo sistemático de IU basado en
  modelos.
• No se ha alcanzado todavía un consenso y ningún
  método estándar ha emergido de estas propuestas.
• Aunque varios trabajos han sido conducidos en los
  campos de la IS e IPO para ver cómo MDA puede ser
  aplicado, ninguno de ellos integra explícitamente
  la usabilidad en el proceso de desarrollo MDA.
• No tenemos referencias de ninguna propuesta que
  realice ningún tipo de evaluación de usabilidad
  de las IU generadas para mejorar los modelos PIM
  y PSM correspondientes.

10
Contenido

• Introducción
• Trabajos Relacionados
• Incorporación de Usabilidad en Entornos MDA
• Diseño y Ejecución del Experimento
• Análisis e Interpretación de Resultados
• Problemas de Usabilidad y Implicaciones en el PIM
  y PSM
• Conclusiones

11
Incorporación de Usabilidad en Entornos
MDAObjetivos

• Definir un marco conceptual genérico que
  incorpore la usabilidad en procesos de desarrollo
  MDA
• 1. Identificar qué Métodos de Evaluación de
  Usabilidad (UEM) del ámbito IPO pueden ser
  aplicados y en qué momento del proceso.
• La usabilidad de un sistema software obtenido en
  un proceso MDA puede evaluarse
• CIM evaluando los modelos de requisitos, de
  tareas o de dominio que representan los
  requisitos de interfaz o de tareas de usuarios
• PIM evaluando los modelos que representan el
  interfaz abstracto del usuario (Modelos de
  Diálogo, Modelos de Presentación)
• PSM evaluando los modelos de interfaz concreto
  (si los hay)
• CM evaluando el interfaz de usuario final.

12
Incorporación de Usabilidad en Entornos
MDAObjetivos

• Se pueden aplicar los siguientes métodos de
  evaluación
• UEM predictivos no tienen acceso los usuarios,
  incluyen un equipo de especialistas en
  usabilidad. Para el proceso de inspección se
  utilizan directrices o heurísticas (evaluación
  heurística, action analysis, inspección de
  estándares, etc).
• UEM empíricos participan usuarios, evaluadores,
  observadores y expertos en usabilidad. En esta
  categoria se utilizan técnicas tales como pensar
  en voz alta, user testing, etc.
• 2. Instanciar el marco propuesto a procesos (y
  herramientas) MDA especificos
• 3. Validar el marco conceptual propuesto mediante
  experimentación
• Como resultado se obtiene una lista de Problemas
  de Usabilidad (PU)
• 4. Elaborar un plan de recomendaciones de cambios
  
• Describir cómo los PU pueden ser corregidos en
  los modelos que correspondan (PIM o PSM).

13
Incorporación de Usabilidad en Entornos MDA

• Correspondencias entre las actividades de un
  proceso MDA genrico y actividades de evaluación
  de usabilidad

Devido a las transformaciones entre modelos y la
trazabilidad explícita entre éstos, los cambios
realizados en el PIM o PSM son reflejados
directamente en el CM
14
Instanciación del marco a un entorno
MDAOlivaNova Model Execution (ONME)

• El desarrollo de aplicaciones en ONME se basa en
• Modelo conceptual (PIM)
• Modelo de Objetos
• Modelo Dinámico
• Modelo Funcional
• Modelo de Presentación
• Compilador de modelos establece las reglas de
  transformación específicas para una plataforma
  tecnológica (PSM) del modelo conceptual a la
  aplicación final (CM).

Instanciación UEM Test de Usuario Fase del
proceso Modelo de Codigo (Interfaz Usuario)
15
Instanciación del marco a un entorno
MDAOlivaNova Model Execution (ONME)

• El Modelo de Presentación se especifica mediante
  de un lenguaje de patrones
• Nivel 1. Árbol de jerarquía de acciones
• Nivel 2. Unidades de interacción (UI)
• UI Servicio
• UI Población
• UI Instancia
• UI Maestro-Detalle
• Nivel 3. Patrones elementales
• Selección definida permite enumerar los elementos
  válidos para un argumento de servicio.
• Patrón de información complementaria permite
  especificar información adicional que será
  mostrada al usuario.

16
Contenido

• Introducción
• Trabajos Relacionados
• Incorporación de Usabilidad en Entornos MDA
• Diseño y Ejecución del Experimento
• Análisis e Interpretación de Resultados
• Problemas de Usabilidad y Implicaciones en el PIM
  y PSM
• Conclusiones

17
Diseño del Experimento

• Se ha realizado un experimento (Dic. 2005) para
  evaluar la usabilidad de las interfaces de
  usuario generadas con la herramienta ONME.
• El objetivo del experimento según el paradigma
  Goal-Question-Metric (GQM) ha sido
• Analizar interfaz de usuario generado
• Con el propósito de evaluar una aplicación en
  producción
• Con respecto a su Usabilidad
• Desde el punto de vista de un grupo de usuarios
  reales de la aplicación
• En el contexto de su entorno de trabajo simulado
  en un laboratorio de usabilidad

18

• (ISO 9241-11)

• Usabilidad grado en que un producto puede ser
  utilizado por usuarios específicos para lograr
  objetivos específicos con efectividad, eficiencia
  y satisfacción en un contexto de uso especificado.

resultado deseado
Contexto Uso
Metas
Usuario
Tarea
Medidas Usabilidad
Efectividad
Equipo
Eficiencia
Entorno
Satisfacción
Resultado de uso
Producto
19
Diseño del ExperimentoVariables y Medidas

• Efectividad completitud y precisión con la que
  los usuarios realizan ciertas tareas.
• Tasa de compleción no asistida porcentaje de
  subtareas realizadas con éxito sin la
  intervención del instructor
• Tasa de compleción asistida porcentaje de
  subtareas realizadas con éxito con la
  intervención del instructor
• Frecuencia de asistencia número de asistencias
  realizadas por el instructor al usuario en cada
  tarea.
• Eficiencia relaciona el nivel de efectividad
  alcanzado con la cantidad de recursos empleada
• Eficiencia Temporal Tasa de compleción tarea
  /tiempo tarea.
• Satisfacción actitudes positivas hacia el uso
  del producto.
• Questionnaire for User Interface Satisfaction
  (QUIS)

20
Diseño del ExperimentoObjeto Experimental

• La aplicación evaluada fue el sistema de gestión
  de una compañía de abastecimiento de agua (AdB).
  La aplicación fue generada a partir de su modelo
  conceptual en la plataforma .NET.

• El objeto de la evaluación fueron dos tareas
  representativas de la aplicación
• Tarea 1 tarea compleja dependiente del dominio
• Tarea 2 tarea medianamente compleja
  independiente del dominio de la aplicación.

• Tarea 1 Crear Abonado

21
Diseño del ExperimentoSujetos

• El experimento ha involucrado ocho usuarios
  reales, todos ellos empleados de las empresas
  AdB y CARE Technologies.
• El nivel de experiencia de los usuarios en el
  dominio de la aplicación y en la tecnología ONME
  se han considerado como variables independientes

Nielsen sugiere que los mejores resultados con
tests de usabilidad se obtienen con cinco
usuarios.
22
Operación y Ejecución del Experimento

• Se ha instalado un Laboratorio de usabilidad en
  la empresa para conducir el experimento. La
  interacción del usuario con la aplicación ha sido
  grabada en vídeo.
• Un instructor y un observador participaron en el
  estudio.
• Tareas experimentales
• Cuestionario demográfico confirmar datos
  personales y actitud de los usuarios hacia la
  tecnología en general, el uso de ordenadores, el
  uso de AdB y su experiencia con la tecnología
  ONME.
• Ejecución de las dos tareas
• Cuestionario de Satisfación (QUIS) medir las
  reacciones de los usuarios y cuatro medidas de
  factores específicos del interfaz (factores de la
  pantalla, terminología y retroalimentación del
  sistema, factores de aprendizaje y capacidades
  del sistema).
• Entrevista

23
Contenido

• Introducción
• Trabajos Relacionados
• Incorporación de Usabilidad en Entornos MDA
• Diseño y Ejecución del Experimento
• Análisis e Interpretación de Resultados
• Problemas de Usabilidad y Implicaciones en el PIM
  y PSM
• Conclusiones

24
Análisis e InterpretaciónEficiencia y Efectividad

• Los usuarios llevaron un promedio de 14 minutos
  para terminar la Tarea 1.
• El 37,5 de los usuarios terminaron con éxito la
  tarea sin asistencia.
• Las subtareas 4 y 6 son las que los usuarios han
  requerido más asistencia.
• En términos de eficiencia, los usuarios 4, 5 y 8
  han tenido un rendimiento mucho mejor que los
  demás (eficiencia es independiente de la
  experiencia de los usuarios).

25
Análisis e InterpretaciónEficiencia y Efectividad

• Los usuarios expertos en el dominio y noveles en
  la tecnología ONME tuvieron un desempeño mejor
  que los demás usuarios.
• Este es un buen indicador de la facilidad de uso
  de ONME ya que los usuarios noveles han podido
  completar una tarea compleja sin asistencia.

26
Análisis e InterpretaciónSatisfacción

• En general, las opiniones sobre la satisfacción
  fueron positivas ya que los valores medios
  superaron al valor neutro (4).
• El constructor reacciones del usuario ha quedado
  por debajo de la media, indicando que los
  usuarios han tenido dificultades para completar
  algunas subtareas, como se ha comprobado en los
  vídeos.

27
Análisis e InterpretaciónSatisfacción

• Los usuarios noveles en el dominio y en la
  tecnología juzgaron la aplicación más
  satisfactoria que los otros tipos de usuario.

• Análisis de validez de construcción del QUIS
  (correlación inter-ítem)
• El constructor capacidad del sistema fue excluido
• Las correlaciones medias entre cada ítem quedaron
  entre 0,64 y 0,94
• Análisis de fiabilidad del QUIS (? de Crombach)
• Reacciones del usuario 0,842
• Factores de la pantalla 0,814
• Term. y retroalim. del sistema 0,922
• Factores de aprendizaje 0,805

28
Contenido

• Introducción
• Trabajos Relacionados
• Incorporación de Usabilidad en Entornos MDA
• Diseño y Ejecución de un Experimento
• Análisis e Interpretación de Resultados
• Problemas de Usabilidad y Implicaciones en el PIM
  y PSM
• Conclusiones

29
Problemas de Usabilidad y sus Implicaciones

• Debido a la transformación de modelos que
  implementa las relaciones entre el PIM (interfaz
  abstracto) y los componentes software del
  interfaz de usuario (CM), los problemas de
  usabilidad detectados en el CM pueden ser
  corregidos en el PIM y PSM respectivos.
• Algunos problemas de usabilidad identificados
• Falta de etiquetas descriptivas
• Problemas de navegación (pasos cíclicos e
  innecesarios)
• Mecanismos de búsqueda poco flexibles o
  incorrectos
• Items de menú y nombres de ventanas
  inconsistentes
• Falta de retroalimentación en selecciones de
  usuario
• Mensajes de error poco significativos.

30
Problemas de Usabilidad que afectan el PIM

• Una vez identificados los problemas, para cada
  uno se debe determinar su origen (PIM o PSM) para
  elaborar un plan de recomendaciones.
• Por ejemplo, el problema de los mensajes poco
  significativos afecta a la calidad de los
  mensajes de error.
• Mensaje de error que apareció durante la
  realización de la tarea 1
• La cardinalidad máxima para el abonado no se
  cumple. Como máximo una instancia de abonado está
  permitida.
• Aunque el mensaje informa sobre la forma de
  corregir el error, las indicaciones no son
  significativas para los usuarios finales.
• El origen de este problema está en el PIM (Modelo
  de Presentación) y corresponde a la propiedad
  mensaje de validación del Patrón de
  Introducción de una UI de servicio.

31
Recomendación de Cambio en el PIM
32
Problemas de Usabilidad que afectan el PSM

• Problemas de usabilidad que afectan a las reglas
  de transformación (PSM)
• Falta de conexión entre las funciones de la
  aplicación generada y la ayuda de referencia
• Falta de actualización automática en un conjunto
  de visualización (rejilla) después de la
  ejecución de un servicio (por ejemplo, al crear
  cliente). Una posible solución sería refrescar
  los datos después de la ejecución de cada
  servicio.

33
Beneficios de MDA

• Se ha observado que algunos atributos de
  usabilidad son garantizados durante el proceso de
  transformación en entornos MDA
• Atributos de asistencia al usuario (user
  guidance)
• Retroalimentación visual en menús para
  seleccionar opciones (tooltips)
• Retroalimentación visual en menus y dialogos
  cuando el cursor lo señala
• Retroalimentación visual al seleccionar objetos
• Atributos de legibilidad
• Consistencia en la posición de los elementos de
  interfaz
• Los mensajes de error aparecen siempre en la
  misma posición del IU
• Esto proporciona evidencia empírica de la calidad
  intrínseca de las IU generadas por una
  herramienta MDA.

34
Contenido

• Introducción
• Trabajos Relacionados
• Incorporación de Usabilidad en Entornos MDA
• Diseño y Ejecución del Experimento
• Análisis e Interpretación de Resultados
• Problemas de Usabilidad y Implicaciones en el PIM
  y PSM
• Conclusiones

35
Conclusiones

• Se ha presentado un marco conceptual que
  incorporara la usabilidad en los procesos de
  desarrollo de software dirigido por modelos.
• Dicho marco ha sido instanciado en un entorno MDA
  específico con el objetivo de evaluar la
  usabilidad de las IU generadas automáticamente.
• Se ha llevado a cabo un experimento con un grupo
  de usuarios reales que proporcionó una lista de
  problemas de usabilidad.
• La evaluación fue conducida sobre el interfaz de
  usuario (CM) y proporcionó información para la
  mejora de los modelos PIM y PSM y CM (como
  consecuencia del proceso de transformación de
  código).
• Los resultados proporcionaran evidencia empírica
  de la calidad intrínseca de las IU generadas por
  una herramienta MDA.

36
Conclusiones

• La evaluación de usabilidad incorporada a los
  procesos de desarrollo MDA facilita la obtención
  de aplicaciones software con un alto nivel de
  usabilidad.
• Las actividades de modelado-transformación-evalu
  ación realizados de forma iterativa permite que
  la usabilidad sea obtenida por construcción y no
  a mano como es habitual.
• Trabajos Futuros
• Instanciar el marco propuesto a otras
  herramientas MDA (OO-H)
• Utilizar otros métodos de evaluación de
  usabilidad (predictivos y empíricos) en distintos
  modelos (CIM-PIM-PSM-CM)
• Estudiar la correlación entre los problemas
  identificados en los distintos niveles
• Determinar mecanismos para automatizar la
  corrección de ciertos problemas de usabilidad