Sincronizaci

1
Sincronización

• http//piglet.uccs.edu/cs525/synmm/Blakowski20.p
  df
• http//piglet.uccs.edu/cs525/synmm/synmm.htm

2
Índice

• Introducción
• Nociones de sincronización
• Requerimientos de presentación
• Modelos de referencia
• Especificación de la sincronización

3
INTRODUCCIÓN
4
Introducción I

• Los sistemas multimedia avanzados se caracterizan
  por
• La generación integrada y controlada por
  ordenador, y
• Almacenamiento, comunicación, manipulación y
  presentación de
• Medios dependientes e independientes del tiempo.

5
Introducción II

• Sincronización en los sistemas multimedia se
  refiere a las relaciones temporales entre
  diferentes elementos multimedia.
• En un sentido mas amplio se puede utilizar el
  término, comprendiendo
• Los contenidos
• Las relaciones espacio temporales entre los
  diferentes elementos multimedia.

6
Elementos multimediadependientes del tiempo

• Se pueden representar como un flujo del elemento.
• Existen relaciones temporales entre unidades
  consecutivas del flujo multimedia.
• Si todas las unidades presentan la misma duración
  el elemento multimedia es continuo.
• Un ejemplo es el vídeo conjunto de frames
  ordenados de duración fija.

7
Elementos multimediaindependientes del tiempo

• Cualquiera de los elementos multimedia
  tradicionales como el texto y las imágenes.

8
Nociones de sincronización
9
Características generales

• Definiciones de sistemas multimedia
• Aspectos básicos de la sincronización
• Sincronización inter e intra-elemento
• Unidades lógicas de datos
• Tipos de sincronización

10
Introducción

• La sincronización entre elementos multimedia
  comprende las relaciones entre elementos
  dependientes e independientes del tiempo.
• Ejemplo de sincronización entre medios continuos
  es el vídeo y el audio.
• Ejemplo de sincronización entre elementos
  dependientes e independientes es el de una cinta
  de audio y un carrusel de diapositivas.

11
Definiciones de Sistema Multimedia

• Dependiendo del número de elementos multimedia.
• Dependiendo del tipo de medios soportados
  dependientes e independientes del tiempo.
• Dependiendo del grado de integración, entendiendo
  esta como que los diferentes elementos permanecen
  independientes pero pueden ser procesados y
  presentados juntos.

12
Definición conjunta

• Combinando los tres criterios anteriores, un
  sistema multimedia puede definirse como
• Un sistema o aplicación que soporta el
  procesamiento integrado de varios tipos de
  elementos multimedia con al menos uno de los
  medios dependiente del tiempo.

13
Clasificación de los medios usados en sistemas
multimedia
Mezclan medios analógicos Dependientes del
tiempo Con medios digitales Independientes del
tiempo
14
Aspectos básicos de la sincronización

• Relaciones entre contenidos
• Relaciones espaciales
• Relaciones temporales

15
Relaciones entre contenidos

• Ejemplo los datos de una hoja de cálculo y su
  representación gráfica.
• En los documentos multimedia integrados es
  importante expresar estas relaciones
  explícitamente con el fin de permitir una
  actualización automática de las diferentes vistas
  de los mismos datos.

16
Relaciones espaciales

• Definen
• el espacio usado para la presentación de un
  elemento multimedia
• en un dispositivo de salida
• en un cierto instante de tiempo
• en una presentación multimedia
• Ejemplos
• Tamaño de una ventana Windows
• Espacio físico en multimedia contextual

17
Relaciones temporales

• Definen las dependencias temporales entre
  elementos multimedia.
• Ejemplo
• Las relaciones entre audio y vídeo en una
  grabación de un concierto.

18
Sincronización intra-elemento

• Se refiere a las relaciones temporales entre
  varias unidades de presentación en un elemento
  multimedia dependiente del tiempo.
• Por ejemplo una secuencia de vídeo de 25
  frames/seg. Cada frame debe mostrarse cada 40
  mseg.

19
Sincronización inter-elemento

• Se refiere a la sincronización entre diferentes
  elementos multimedia.
• Por ejemplo

20
Unidades Lógicas de Datos

• Los elementos multimedia dependientes del tiempo
  consisten normalmente de una secuencia de
  unidades de información denominadas Unidades
  Lógicas de Datos (ULD).
• Se pueden observar diferentes niveles de
  granularidad a la hora de definir una ULD. P. e.
• Una sinfonía digitalizada tiene movimientos,
  notas musicales y muestras digitalizadas.

21
Unidades Lógicas de Datos

• Los diferentes niveles de granularidad que
  implican la descomposición jerárquica de los
  elementos multimedia pertenecen en general a dos
  tipos diferentes de jerarquías
• La que implica los contenidos (p. e. movimientos
  y notas de la sinfonía)
• La que implica la codificación de los datos (p.
  e. muestreo de la señal)

22
Unidades Lógicas de Datos

• Pueden clasificarse en
• Cerradas
• Duración predecible
• Ejemplos ULDs parte de medios continuos como
  vídeo y audio.
• Abiertas
• Duración no predecible antes de la ejecución de
  la presentación.
• Ejemplos Cámara o micrófono, en general objetos
  que incluyen la interacción con el usuario.

23
Clasificación de las ULDs

• En el caso del vídeo digital se suele asociar ULD
  a frame.
• Por ejemplo para un vídeo de 30 imágenes por
  segundo, cada ULD tiene una duración de 1/30 seg.

24
Clasificación de las ULDs

• En otros casos, por ejemplo el audio digital, la
  muestra individual es demasiado pequeña para
  considerarse. En este caso una ULD se considera
  formada por 512 muestras.

25
Clasificación de las ULDs

• En los elementos multimedia generados en un
  ordenador la duración de la ULD pueden ser
  seleccionada por el usuario.
• Un ejemplo son los frames de una animación,
  dependiendo de la velocidad de presentación se
  pueden usar mas o menos frames por unidad de
  tiempo.

26
Clasificación de las ULDs

• En algunas ocasiones las ULD varían en duración.
• Por ejemplo el registro de eventos de una
  interfaz gráfica de usuario para reproducir la
  interacción del usuario.

27
Clasificación de las ULDs

• Las ULD abiertas de duración no predecible tienen
  lugar en el caso de que las ULD no tienen una
  duración inherente.
• Un ejemplo de este tipo es una interacción de
  usuario en la cual la duración de dicha
  interacción no se conoce por adelantado.

28
Clasificación de las ULDs

• Otros ejemplos
• Sincronización de labios necesita un alto nivel
  de acoplamiento entre las LDU de audio y video.
• Una presentación de diapositivas con comentarios
  grabados debe estar relacionada temporalmente.

29
Tipos de sincronización

• Sincronización en vivo
• Las señales se graban y reproducen juntas.
• Sincronización artificial
• Las señales se graban separadas y se reproducen
  juntas.

30
Sincronización en vivo
31
Sincronización artificial

• Su importancia radica en permitir una relación de
  sincronización flexible entre diferentes medios.
• Se distinguen dos fases
• Especificación las relaciones temporales entre
  medios se definen de forma explícita.
• Presentación un sistema run-time presenta los
  datos de un modo sincronizado.

32
Requerimientos de presentación
33
Introducción

• Para presentar correctamente los datos multimedia
  en la interfaz de usuario, es esencial la
  sincronización.
• No es posible suministrar una medida objetiva de
  la sincronización desde el punto de vista del
  usuario.
• Puesto que la percepción varia de persona a
  persona, sólo se pueden aplicar criterios
  heurísticos para determinar si la presentación es
  correcta o no.

34
Qué requisitos comprende la presentación?

• En la sincronización intra-objeto, la exactitud
  concerniente al retraso en la presentación de las
  ULD.
• En la sincronización inter-objeto la exactitud en
  la presentación en paralelo de los objetos
  multimedia.

35
The gap problem
Problema ocasionado por el bloqueo de una de las
dos fuentes dependientes del tiempo
36
Soluciones al gap problem

• Bloqueo restringido utiliza como mecanismo de
  re-sincronización la presentación repetida de la
  última muestra o una presentación alternativa.
• Re-muestreo de un flujo consiste en acelerar o
  retrasar el flujo con el fin de alcanzar la
  sincronización. Puede ser off-line o on-line.
• Eliminar o añadir elementos consiste en insertar
  o borrar partes de un flujo.

37
Sincronización de labiosDefiniciones

• Se refiere a las relaciones temporales entre
  flujos de audio y vídeo en el caso particular del
  habla.
• Las diferencias de tiempo entre LDU de audio y
  vídeo relacionadas se conocen como skew.

38
Sincronización de labiosMedidas en usuarios

• La región de sincronía se extiende desde -80 ms
  (retraso de audio) hasta 80 ms (adelanto del
  audio). Tolerable para la mayoría de los
  usuarios.
• La región de fuera de sincronía se extiende por
  encima de -160 ms y 160 ms. No es aceptable por
  prácticamente ningún usuario.
• Existe una zona transitoria (audio por encima del
  vídeo) donde a mayor cercanía del locutor mas
  fácil detectar el error.
• Existe otra zona transitoria (vídeo por encima
  del audio) que aunque se comprota de forma
  semejante a la anterior sin embargo resulta mas
  tolerante para los usuario.

39
Sincronización de un señalador

• Trabajo realizado en CSCW compartiendo varios
  usuarios un puntero (señalador) y señales de
  audio.
• La zona de sincronía cuando el audio está por
  encima del puntero es de 750 ms y cuando el
  puntero está por delante del audio de 500 ms.
• La zona de sincronía está por encima de -1000
  ms y 1250 ms.

40
Modelo de referencia para la sincronización
multimedia
41
Introducción

• Se necesita un modelo de referencia para
• Comprender los diferentes requerimientos para una
  presentación multimedia.
• Identificar y estructurar los mecanismos run-time
  que apoyan la ejecución de la sincronización.
• Identificar interfaces entre mecanismos run-time.
• Comparar soluciones para la sincronización
  multimedia.

42
Clasificaciones existentes

• Clasificación general de Little y Ghafoor (1990)
• Niveles físico, sistemas y humano.
• Sincronización intraflujo e interflujo
• Sincronización en directo o artificial
• Modelo de Gibbs, Breiteneder y Tsichichritzis
  (1993)
• Mapea un objeto multimedia sincronizado en un
  flujo de bytes no interpretado.
• Ehley, Furth y Ilyas (1994)
• Clasifican las técnicas intermedias de
  clasificación que se utilizan para controlar los
  saltos entre flujos de acuerdo con el tipo y
  ubicación del control de sincronización.
• Distinguen entre un control distribuido basado en
  protocolos, distribución basada en servidores y
  distribución sobre nodos sin estructura de
  servidores.
• Meyer, Effelsberg y Steinmetz (1993)
• Capa de medios para sincronización intraflujo de
  medios dependientes del tiempo.
• Capa de flujos para sincronización interflujo de
  flujos de medios
• Capa de objetos para la presentación, incluyendo
  la presentación de objetos no dependientes del
  tiempo.

43
Modelo de referencia para la sincronización
Es un modelo de cuatro capas, cada una de las
cuales implementa Mecanismos de sincronización
proporcionados por un interfaz apropiado
44
Capa de elemento multimedia I

• Una aplicación opera como un flujo continuo de un
  elemento multimedia que es tratado como una
  secuencia de ULD.
• El proceso lee y escribe ULD en un loop durante
  tanto tiempo como los datos están disponibles.

45
Capa de elemento multimedia II

• Utilizando esta capa, la misma aplicación es
  responsable de la sincronización, utilizando
  mecanismos de control de flujo.
• Si varios flujos se desarrollan en paralelo, la
  necesidad de compartir recursos puede alterar los
  requerimientos de tiempo real.
• También hay que tener en cuenta si el sistema es
  local o distribuido.

46
Capa de flujo I

• Opera en flujos continuos de elemento multimedia.
• En un grupo, todos los flujos se presentan en
  paralelo utilizando mecanismos para la
  sincronización interflujo.
• El elemento multimedia continuo, es visto como
  flujo de datos con restricciones implícitas de
  tiempo. Los ULD son son visibles.

47
Capa de flujo II

• Esta capa deriva de la abstracción suministrada
  por la integración de elementos multimedia
  analógicos.
• En el proyecto Athena del MIT, los elementos
  continuos son introducidos por canales separados
  en el ordenador.
• En estos sistemas la sincronización en vivo entre
  varios elementos multimedia continuos se lleva a
  cabo por dispositivos específicos.

48
Capa de objeto

• Trabaja con todos los tipos de elementos
  multimedia sin diferenciar entre medios continuos
  discretos.
• Esta capa toma una especificación de
  sincronización como entrada y es responsable de
  la correcta temporalización de toda la
  presentación.

49
Capa de especificación I

• Es una capa abierta
• Contiene aplicaciones y las herramientas permiten
  crear especificaciones de sincronización.

50
Métodos de especificación

• Basadas en intervalos
• Permiten la especificación de relaciones
  temporales entre los intervalos de tiempo de la
  presentación de elementos multimedia.
• Basadas en ejes
• Relaciona eventos de las presentaciones con los
  ejes compartidos por los elementos de la
  presentación.
• Basadas en el flujo
• A determinados puntos de sincronización el flujo
  de la presentación es sincronizado.
• Basadas en eventos
• Los eventos disparan las acciones de la
  presentación.

51
Sincronización en Entornos distribuidos

• Es mas compleja que en entornos locales.
• Debido al almacenamiento distribuido de la
  información y a las diferentes localizaciones de
  los elementos multimedia implicados en la
  presentación.
• La comunicación entre el almacenamiento y el
  sitio de la presentación introduce retrasos y
  saltos adicionales.

52
Transporte de la especificación de sincronización
I

• En el nodo destino de la presentación, los
  componentes de la misma necesitan la
  especificación de sincronización en el momento
  que el elemento multimedia vaya a ser mostrado.

53
Transporte de la especificación de sincronización
II

• Existen tres aproximaciones principales para la
  llegada de la información de sincronización al
  destino.
• Llegada de toda la información de sincronización
  antes del comienzo de la presentación.
• Utilización de un canal de sincronización
  adicional.
• Flujos de datos multiplexados

54
Combinación de elementos I

• En algunos casos es posible sincronizar elementos
  multimedia, combinando los mismos en un nuevo
  elemento.
• Esta aproximación puede utilizarse para reducir
  las demandas de recursos de comunicación.
• P. E. Una animación y dos imágenes que deben
  superponerse a un vídeo pueden mezclarse para
  formar un nuevo vídeo.

55
Combinación de elementos II
56
Sincronización de reloj I

• En los sistemas distribuidos, debe considerarse
  la exactitud de la sincronización entre los
  relojes de la fuente y el destino.

57
Sincronización de reloj II

• Muchos esquemas de sincronización necesitan
  conocer las relaciones temporales.
• Este conocimiento es la base para los esquemas de
  sincronización globales basados en el tiempo.
• También es la base para esquemas que necesitan
  que las operaciones en nodos distribuidos estén
  coordinadas para asegurar por una parte la
  llegada a tiempo y por otra que no lleguen
  demasiado pronto y evitar el overflow del buffer.

58
Sincronización de reloj III

• El problema es especialmente importante para la
  sincronización en el caso de múltiples fuentes.

Fuente A (audio) Ta, Oa
Na
Destino AV Tav
Fuente V (vídeo) Tv, Ov
Nv
59
Sincronización de reloj IV

• Si una presentación sincronizada de audio y vídeo
  debe comenzar al tiempo Tav en el nodo destino,
  la transmisión de audio de la fuente A debe
  comenzar a
• Ta Tav Na Oa
• Siendo Na el retraso de la red
• Siendo Oa el offset del reloj del nodo A con
  relación al reloj destino.
• Para la fuente del nodo V, el tiempo de comienzo
  de la transmisión de vídeo es
• Tv Tav Nv - Ov

60
Sincronización de reloj V

• Es posible reservar cierta capacidad del buffer
  de destino y comenzar la transmisión del audio y
  el vídeo con antelación, para garantizar que las
  unidades multimedia requeridas están disponibles.
• Debido a que la capacidad necesaria de buffer en
  el nodo destino depende del posible offset y
  debemos asumir una capacidad limitada del buffer,
  es necesario limitar el offset máximo.
• Este hecho puede ser alcanzado con protocolos de
  sincronización del reloj que permiten una
  sincronización con una exactitud en el rango de
  10 ms.

61
Relaciones múltiples de comunicación
62
Sincronización en pasos múltiples

• Sincronización durante la adquisición de los
  elementos multimedia (p. e. digitalización)
• Sincronización durante la recuperación (p. e.
  acceso a marcos de un vídeo almacenado)
• Sincronización durante la libración de ULD a la
  red
• Sincronización durante el transporte
• Sincronización en el destino
• Sincronización en el dispositivo de salida

63
Especificación de sincronización
64
Introducción

• La especificación de sincronización de un
  elemento multimedia describe todas las
  dependencias temporales de los elementos
  multimedia incluidos en el elemento multimedia.
• Se produce utilizando herramientas en la capa de
  especificaciones y es utilizada en la interfaz de
  la capa de elementos.

65
Aspectos que debe comprender

• Especificaciones de sincronización intra-elemento
  para los elementos multimedia de la presentación.
• Descripciones de Calidad de Servicio para la
  sincronización intra-elemento.
• Especificaciones de sincronización inter-elemento
  para elementos multimedia de la presentación.
• Descripciones de Calidad de servicio para
  sincronización inter-elemento.

66
Calidad de servicio para un elemento multimedia

• Incluye la calidad concerniente a ULDs simples de
  un elemento multimedia y la exactitud con la que
  las relaciones temporales entre ULDs de este
  elemento multimedia deben completarse si el
  elemento multimedia es un elemento dependiente
  del tiempo.

67
Parámetros de Calidad de Servicio para un
elemento multimedia
Imagen Vídeo Audio
Profundidad de color Profundidad de color Muestreo lineal o logarítmico
Resolución Resolución Tamaño de la muestra
Frecuencia de los frames Frecuencia de muestreo
Temblor Temblor
Razón de error Razón de error
68
Calidad de servicio para la sincronización
MEDIO MEDIO MODO CALIDAD DE SERVICIO
Vídeo Animacion Correlacionado /- 120 ms
Vídeo Audio Sincronización de labios /- 80 ms
Vídeo Imagen Superposición /- 240 ms
Vídeo Imagen No superposición /- 500 ms
Vídeo Texto Superposición /- 240 ms
Vídeo Texto No superposición /- 500 ms
Audio Animación Correlación de eventos /- 80 ms
Audio Audio Fuertemente acoplado (stereo) /- 11 ms
Audio Audio Débilmente acoplado (diálogo) /- 120 ms
Audio Audio Débilmente acoplado (fondo) /- 500 ms
Audio Imagen Fuertemente acoplado (música con notas /- 5 ms
Audio Imagen Débilmente acoplado (carrusel diapositivas) /- 500 ms
Audio Texto Anotación de texto /- 240 ms
Audio Puntero Audio relacionado con movimiento puntero - 500 ms / 700 ms
69
Calidad de servicio para dos elementos multimedia
relacionados

• Nivel de producción
• Se refiere a la calidad de servicio a ser
  garantizada antes de la presentación de los datos
  en la interfaz de usuario.
• Implica el registro de datos sincronizados para
  ser visualizados posteriormente.
• Nivel de presentación
• Define lo que es razonable a nivel de interfaz de
  usuario.
• Tiene que ver con la percepción.

70
Especificaciones basadas en intervalo

• En este sistema, la duración de la presentación
  de un elemento es contemplada como un intervalo.
• Dos intervalos de tiempo pueden estar
  sincronizados en 13 modos distintos
• A antes de B, A superpuesto a B, A comienza con
  B, A igual que B, A encuentra a B, A durante B, A
  finaliza con B
• Y los inversos de los anteriores excepto igual

71
Especificaciones basadas en intervalos
72
Mejora de la especificación basada en intervalos
73
Sincronización basada en ejes
Ejemplo base
74
Sincronización basada en un temporizador global

• Todos los elementos multimedia individuales son
  añadidos a un eje de tiempo que representa una
  abstracción en tiempo real.
• Permite buenas abstracciones de la estructura
  interna de un elemento multimedia individual.
• Este tipo de sincronización puede no ser
  suficiente para expresar las relaciones de
  sincronización entre diferentes flujos de
  presentación.

75
Sincronización basada en Ejes virtuales

• En éste método es posible especificar sistemas de
  coordenadas con unidades de medida definidas por
  el usuario.
• En el ejemplo el eje pitch (tono) es mapeado como
  frecuencia y el eje beat (compás) como
  temporizador.

76
Ejes virtuales
Aplicado al caso ejemplo
77
Especificaciones basadas en el control de flujo

• Especificaciones basadas en la jerarquía
• Están basadas en dos operaciones principales
• Sincronización en serie de acciones, p. e. Una
  secuencia de diapositivas.
• Sincronización en paralelo de acciones, p. e.
  Movimiento de labios y locución.

78
Especificaciones basadas en el control de flujo
79
Especificaciones basadas en el control de flujo

• Puntos de referencia
• En este caso los elementos multimedia
  individuales son contemplados como secuencias de
  ULD cerradas.
• Los tiempos de comienzo y parada de la
  presentación de un elemento multimedia
  conjuntamente con los tiempos de comienzo de las
  sub-unidades de los elementos multimedia
  dependientes del tiempo se llaman puntos de
  referencia.
• La sincronización entre elementos se define
  mediante la conexión de los puntos de referencia
  de los elementos multimedia.
• Un conjunto de puntos de referencia conectados se
  llama punto de sincronización.

80
Sincronización de punto de referencia
81
Redes de Petri temporalizadas

• Reglas de funcionamiento
• Una transición se desencadena si todos los
  lugares de entrada contienen un token no
  bloqueante.
• Si se desencadena una transición, se elimina un
  token por cada entrada y se añade un token por
  cada salida.
• Cuando se añade un token a un nuevo lugar aquel
  se bloquea durante la duración asignada a dicho
  lugar.

82
Ejemplos de Redes de Petri
83
Ejemplos de Redes de Petri
84
Sincronización basada en eventos

• Las acciones de presentación son iniciadas por
  eventos de sincronización
• Comienzo
• Final
• Preparación
• Los eventos pueden ser externos (generadosr de
  tiempos) o internos de la presentación (generado
  al alcanzar una ULD especifica en un objeto
  dependiente del tiempo.

85
Scripts

• Es una descripción textual del escenario de
  sincronización.
• Frecuentemente los scripts acaban constituyendo
  un lenguaje de programación.
• Un ejemplo típico es un script basado en un
  método jerárquico que soporta tres operaciones
  principales
• Presentación serie
• Presentación paralela
• Presentación repetida