Seminario de rob

1
Seminario de robótica

• Segunda Parte
• Captura de imágenes

2
Contenidos

• Introducción
• Sensores inteligentes
• Tecnologías de los sensores
• Lectura continua y espaciada
• CCD
• CMOS
• Otros
• Color
• Formatos de imagen y transmisión
• PAL
• Escaneado progresivo
• Sensorizado inteligente (Smart Sensors)
• El ojo humano como sensor inteligente
• Sensor Log-polar
• Otros ejemplos de chips de visión
• Análisis de movimiento basado en cambios

3
Introducción

• Ventajas de la información visual
• Se puede extraer mucha información con precisión.
• Es efectiva en un amplio rango de distancias.
• Problemas de la información visual
• Precisión y un amplio campo de visión implican
  gran cantidad de datos.
• Alto coste computacional combinado con
  restricciones de tiempo real.
• Diversidad de algoritmos de visión artificial
• Restricciones de consumo, peso y espacio (módulo
  portable por un vehículo autónomo).

4
Introducción Sensores inteligentes

• Los sensores de visión inteligentes realizan
  alguna labor de procesado adicional aparte de la
  propia captura de la imagen.
• Suelen ser dispositivos de aplicación específica
  pues la tarea que realizan suele tener un
  objetivo concreto
• Chip detector de movimiento
• Chip detector de bordes, etc.
• Ventajas
• Velocidad Se puede utilizar el paralelismo,
  además de reducir la información a ser tratada.
• Tamaño En un único chip se puede integrar la
  cámara y el procesado, haciéndolo especialmente
  interesante para robots.
• Consumo Se eliminan etapas innecesarias y el
  consumo de tener que enviar mucha información a
  gran velocidad.
• Integración y modularidad Liberan a la CPU de
  tareas y permite su integración en sistemas de
  forma jerárquica.

5
Introducción Sensores inteligentes

• Inconvenientes
• Falta de flexibilidad Normalmente sólo sirven
  para una función específica por lo que no suele
  ser óptimo utilizarlos para otra cosa, aunque
  quizá se podría.
• Resolución Normalmente el procesamiento viene
  incluido junto a cada píxel, haciéndolos más
  grandes de lo normal y limitando así la
  resolución máxima del sensor.
• La calidad suele ser baja debido al ruido
  digital, falta de emparejamiento, estrategia de
  captura, escasa relación de apertura, etc.
• El diseño es también complejo y arriesgado.

6
Tecnologías de los sensores

• Las primeras cámaras estaban basadas en un tubo
  de rayos catódicos. Hoy en día todos los
  dispositivos de captura de imágenes están basados
  en semiconductor.
• El objetivo de los sensores es capturar la luz y
  transformarla en una magnitud medible
  (normalmente tensión o corriente).
• Los dispositivos semiconductores transforman la
  luz en corriente gracias a la unión P-N

7
Sensores Lectura continua y espaciada

• Los sensores pueden capturar la luz de dos
  formas
• De forma continua en cualquier instante se puede
  leer la información visual sobre la célula.
• De forma espaciada la célula necesita un tiempo
  de carga durante el cual no se puede leer.
• Las más utilizadas son las de lectura espaciada,
  pues ofrecen mayor precisión y menor ruido.
• Las de lectura continua son interesantes pues
  permiten acceder a cualquier píxel de un sensor
  de imágenes en cualquier instante, sin embargo,
  presentan un alto ruido y poseen escasa
  sensibilidad.

8
Sensores CCD

• La tecnología CCD (Charge Coupled Device) es la
  que mayor calidad ofrece.
• Hasta hace muy poco era la tecnología más
  utilizada.
• Con el aumento de la calidad de los CMOS y su
  bajo coste, los dispositivos CCD se utilizan cada
  vez menos pues resultan más caros.
• Por otro lado, las características propias de
  esta tecnología limitan la flexibilidad que se
  necesita para la realización de sensores
  inteligentes.
• La circuitería externa que necesitan es compleja.

9
Sensores CCD Características

• Los CCD están basados en la captura y transporte
  de carga.
• Son por tanto dispositivos basados en integración
  y la lectura no se puede hacer de forma continua.
• Las células CCD transfieren las cargas en serie
  por lo que un acceso aleatorio a los píxeles
  tampoco es posible en el propio sensor.
• Estas características los hacen inadecuados para
  la realización de sensores inteligentes.
• Sin embargo su calidad es muy buena pues no se
  introduce ruido en el proceso de captura y
  transporte de la información visual.

10
Sensores CCD Funcionamiento

• Durante un tiempo de exposición a la luz (tiempo
  de integración) se va generando una carga en la
  unión PN proporcional al tiempo y a la intensidad
  de la luz.
• En la figura se muestra un CCD de dos fases.
• Creando tensiones adecuadas entre las dos fases
  se puede ir transportando la carga hacia el
  exterior del sensor como si fuera un registro de
  desplazamiento analógico.

11
Sensores CCD una cámara típica

• Un sensor CCD típico está compuesto por las
  células CCD formando una matriz.
• Una vez transcurrido el tiempo de integración
  todos los CCD transfieren su carga por columnas a
  un CCD de manera que se lee una fila cada vez.
• Este CCD conteniendo la fila es leído a
  continuación en serie.
• La carga analógica se suele mandar tal cual al
  exterior del chip, aunque cada vez son más los
  sensores que incorporan un conversor
  analógico/digital entregando una salida
  directamente digital.
• Ver dibujo en la pizarra.

12
Sensores CMOS

• La tecnología CMOS es la que se utiliza
  habitualmente para la realización de circuitos
  integrados digitales.
• La principal característica es su bajo coste
  debido a su gran popularización.
• Esta tecnología permite la integración de
  circuitos de procesado junto con las células de
  captura. Son por tanto ideales para la
  realización de sensores inteligentes.
• La transformación de carga a corriente debe
  realizarse en la propia célula, de manera que
  puede aparecer ruido asociado a este proceso.
• Debido a la flexibilidad de la tecnología se
  pueden hacer células de integración y también de
  lectura continua.
• Dado que la transformación de las cargas se hace
  en cada célula, es posible acceder a cada una de
  forma individual.

13
Sensores CMOS Funcionamiento

• La lectura espaciada, basada en un tiempo de
  integración, es la más utilizada pues ofrece
  mayor calidad.
• En la figura se muestra el diagrama de bloques de
  una célula básica (píxel) de un sensor CMOS
  basado en integración.

Salida
Muestreo Retención
Sensor
Capacidad
Buffer
14
Sensores CMOS Funcionamiento

• Circuito básico basado en integración.
• Es la más sencilla y es de acceso aleatorio.
• Pero tiene muchos transistores y se puede
  simplificar un poco.

15
Sensores CMOS Funcionamiento

• Célula de acceso casi aleatorio.
• El circuito que convierte carga en corriente,
  muestrea y retiene es común a todos.

16
Sensores CMOS Funcionamiento

• Células basadas en conducción y de acceso
  realmente aleatorio.
• Presentan mayor ruido.
• El tiempo de acceso es alto.
• Se pueden tener respuestas logarítmicas con
  facilidad (como el ojo humano).

17
Sensores CMOS Funcionamiento

• Célula básica logarítmica

18
Sensores CMOS Funcionamiento

• Respuesta logarítmica y ancho de banda

19
Color

• Los dispositivos semiconductores apenas son
  sensibles al color.
• Lo ideal es tener 3 sensores con un filtro de
  color por cada píxel para obtener una componente
  RGB realista.
• Se pueden poner tres matrices completos cada uno
  con un filtro de color, rojo, verde y azul.
• Se pueden usar tres células sensoras por cada
  píxel.
• Poner tres sensores completos es una opción muy
  utilizada en cámaras de vídeo pues ofrece una
  gran calidad y no es caro.
• Sin embargo no parece la opción adecuada para
  cámaras compactas y de bajo coste.
• La segunda opción viene limitada por la
  resolución propia del sensor que en general no es
  muy alta.
• Para soluciones de bajo coste se utiliza una
  máscara de filtros de color.

20
Color Filtro Bayer

• La tecnología más utilizada para obtener imágenes
  en color consiste en ponerle a cada píxel un
  filtro rojo, verde o azul.
• Como los sensores son matrices cuadradas es
  complicado elegir cómo se distribuyen estos tres
  colores.
• Una distribución muy utilizada es la Bayer.
• En esta distribución se han tenido en cuenta el
  peso de cada color en el espectro y los
  solapamientos entre los diferentes colores.

• El cálculo de las componentes RGB se realiza
  promediando los vecinos del píxel.
• El promedio es complejo y está basado en tablas
  que depende del color, de los filtros, etc.
• En este promedio no sólo intervienen los vecinos
  más cercanos, sino el resto de píxels.

21
Color Filtro Bayer

• La resolución de color, utilizando un filtro
  Bayer, es menor que la propia del sensor.
• Sin embargo es difícil precisar de qué resolución
  se dispone en color.
• Normalmente cuando se da la resolución de un
  sensor en color, se está dando la del sensor en
  B/N.

Imagen real
Imagen del sensor
Imagen reconstruida
22
Formatos de imagen y transmisión

• El primer uso que se le dio a las cámaras fue el
  de ser usadas para Televisión.
• La forma en que las imágenes son leídas y
  enviadas está muy influenciado por estos orígenes
  de la captura de imágenes.
• La resolución de las imágenes, la velocidad de
  adquisición e incluso el tipo de muestreo han
  sido durante años los propios de las imágenes de
  televisión.
• Gracias a la proliferación de los sensores CMOS
  de bajo coste se han podido realizar cámaras cuyo
  formato está más orientado a la era digital que
  la de la televisión.
• Así hoy en día es posible encontrar cámaras con
  multitud de resoluciones, velocidades de
  adquisición (más allá de los 25 fps) y, sobre
  todo, el tipo de muestreo que ya no tiene que ser
  el entrelazado.

23
Formato PAL

• El objetivo de la televisión es que las imágenes
  se vean con el menor parpadeo posible y la mayor
  resolución.
• Los tubos de televisión, debido a su
  persistencia, realizan un barrido que debe ser de
  al menos 50 veces por segundo para no notar
  demasiado el parpadeo.
• Con la tecnología propia de los comienzos de la
  televisión, no era posible enviar una imagen
  completa (625 líneas) 50 veces por segundo.
• La solución consistía en enviar media imagen cada
  vez en una vez se enviaban las líneas pares y en
  la siguiente las impares.
• Las cámaras de video PAL utilizan el mismo
  sistema cada 20 ms (1/50 segundos) se captura la
  mitad de la imagen, bien la par o bien la impar.
• Esto tiene el problema de que no podemos tener
  una imagen completa en un momento dado en un
  instante sólo se tiene la imagen par o la impar,
  y si juntamos ambas, se tiene una imagen completa
  pero que no corresponde a un mismo instante de
  tiempo.
• La reproducción de estas imágenes en un monitor
  es perfecto, sin embargo su procesado digital
  presenta numerosos problemas.

24
Formato PAL Detalles

• El color se envía superpuesto a la señal de gris
• Las señales de sincronización de línea y cuadro
  son pulsos de tensión.

Ejemplo de dos líneas PAL
25
Formato PAL Detalles
26
Formato PAL Ejemplo entrelazado
27
Formato PAL Ejemplo entrelazado
28
Formato PAL Resoluciones

• PAL
• 25 fps
• 625 líneas (576 de imagen)
• VHS 300x360
• NTSC
• 29.97 fps
• 525 líneas
• Vídeo Digital
• VideoCD (VCD) 352x288 (320x240 NTSC) (no
  entrelazado)
• SuperVCD (SVCD) 480x576 (480x480 NTSC)
• DV y DVD 720x576 (720x480)
• Procesamiento
• VGA,XVGA varias
• Otras

29
Adquisición tradicional de imágenes

• Normalmente se dispone de un ordenador con una
  tarjeta capturadora.
• La tarjeta capturadora acepta una cámara que
  envía una señal de video PAL.
• Las imágenes por tanto tienen las limitaciones
  vistas anteriormente impuestas por el sistema
  PAL.

30
Escaneado progresivo

• Los sensores para cámaras de tipo PAL utilizan
  una lectura entrelazada de las líneas.
• Los sensores de algunas cámaras digitales (las
  que sirven para procesado de imágenes) utilizan
  una lectura continua llamada Progressive Scan
  (Escaneo progresivo).
• En este tipo de sensores se capta la imagen
  completa en un mismo instante de tiempo.
• Posteriormente se puede leer de forma continua o
  entrelazada, pero el instante en que la imagen
  fue tomada es siempre el mismo.

31
Adquisición digital de imágenes

• Desde el punto de vista del procesado digital de
  imágenes interesa
• Que no exista entrelazado.
• Que la resolución pueda elegirse libremente.
• Que la velocidad de adquisición sea también
  libre.
• Hasta hace pocos años todos los sensores y
  cámaras eran de tipo PAL.
• Gracias al interés en el procesado digital de
  imágenes, la aparición de las cámaras digitales,
  la mejora en la tecnología de los televisores,
  los DVD, etc., es ya muy corriente encontrar hoy
  en día sensores para procesado digital.
• Captura de imágenes digitales
• FireWire (IEEE 1394)
• USB 2.0

32
El ojo humano como sensor inteligente

• El ojo humano, y el de muchos animales, presenta
  características idóneas para el procesado digital
  de imágenes.
• Muchos sensores inteligentes se han basado en
  algunas de las características de los ojos
  biológicos, desde los sistemas de visión de los
  insectos hasta el del ser humano.
• Miles de años de evolución han producido sistemas
  naturales de visión realmente eficientes.
• La investigación en visión artificial apenas
  lleva unos 50 años.

33
El ojo humano como sensor inteligente

• Estructura

34
El ojo humano como sensor inteligente

• Estructura y distribución de píxeles

35
Sensor espacio-variante log-polar

• Se inspira en la distribución no uniforme de
  píxeles del ojo humano.
• Pero también tiene características matemáticas
  interesantes.
• Ver presentación aparte.

36
Retinas de silicio

• Las retinas artificiales intentan emular algunas
  de las funciones que realiza la retina del ojo
  humano.
• Son por tanto sensores que realizan algún
  procesado simple a nivel de píxel.
• Ejemplo Mahowalds y Meds silicon retinas

37
Retinas de silicio Mahowald and Delbrück's
stereo matching chips
38
Retinas de silicio Retina booleana de Bernard y
otros

• En esta retina la digitalización se realiza en la
  propia célula.
• La digitalización es una binarización simple.
• Algunas operaciones incluyen los desplazamientos,
  las copias, conjunción, inversión, etc.
• Se pueden programar diferentes acciones, lo que
  le confiere cierta flexibilidad.

39
Retinas de silicio Andreou and Boahen

• En las retinas artificiales normalmente se
  realizan operaciones analógicas entre píxeles
  vecinos.
• La retina de Andreou and Boahen es un ejemplo más.

40
Retinas de silicio Filtro Gaussiano de Kobayashi
y otros

• Ejemplo de la implementación de un filtro
  Gaussiano analógico.

41
PASIC sensor from Linköping University
42
MAP2200

• Como la anterior pero
• Más resolución (256x256).
• ALU mejorada.
• Posibilidad de comunicación entre columnas.

43
Standley's orientation detection chip
44
Ward Syrzycki's Receptive Field Sensors
45
Keast Sodini's CCD/CMOS Imager and Processor
46
Venier et al.'s Solar Illumination Monitoring
Chip
47
Sensores espacio-temporales

• Los sensores vistos hasta ahora realizaban un
  procesador estático de la señal, es decir,
  procesaban la información espacial del sensor.
• Los sensores espacio-temporales realizan un
  procesado que depende también del tiempo.
• La mayoría de estos sensores sirven para la
  detección del movimiento.

48
Lyons eye

• Es uno de los primeros.
• Se utilizaba para los ratones ópticos.

49
Tanner and Mead's correlating motion detection
chip

• La imagen anterior es binaria y se guarda en
  latches.

50
Tanner and Mead's optic flow motion detection chip
51
Bair and Koch's motion detection chip

• Se trata de un circuito que mide el paso por cero.

52
Delbrück's focusing chip

• Calcula el enfoque de la imagen.
• Resta la imagen original de la suavizada.
• El enfoque se tiene cuando esta diferencia es
  máxima.

53
Delbrück's velocity tuned motion sensor

• Detecta movimiento basado en correlación.
• Detecta movimiento en un sentido y a un
  velocidad.
• La idea es ir sumando los píxeles añadiendo un
  cierto retraso.

54
Meitzler et al.'s sampled-data motion chip

• Se basa en correlación y en lugar de un retraso,
  se tiene un circuito de muestreo y retención.
• Permite la detección de movimiento en dos
  sentidos.

55
Moini et al.'s insect vision-based motion
detection chip

• Está basado en la visión de los insectos.
• El circuito básicamente hace la derivada
  temporal, dando la tendencia del cambio del
  píxel.
• La información es del tipo (incremento,
  decremento, no cambio).

56
Moini et al.'s second insect vision-based motion
detection chip

• Se trata de una versión mejorada del anterior.
• Al igual que el otro se trata de un sensor 1D
  formado por 64 células.

57
Dron's multi-scale veto CCD motion sensor

• Se basa en detectar bordes.
• Se aplican filtros espaciales tal como aparece en
  la figura.

58
Gottardi and Yang's CCD/CMOS motion sensor

• Es un sensor de una dimensión.
• Está basado en correlación.
• Se comparan las dos últimas imágenes desplazadas
  hasta 5 píxeles, en uno y otro sentido.

59
Indiveri et al.'s time-to-crash sensor

• Está basado en redes de neuronas.
• Calcula el tiempo al impacto, según esta fórmula

60
Indiveri et al.'s direction-of-heading detector

• Busca el FOE (Focus Of Expansion).
• Se basa en el paso por cero del flujo óptico.

61
McQuirk's CCD focus of expansion estimation chip

• Calcula FOE suponiendo que en esos puntos el
  cambio temporal es menor.
• Usa CCD y CMOS.

62
Sarpeshkar et al.'s pulse mode motion detector

• Está basado en correlacionar un píxel anterior
  con sus vecinos.

63
Meitzler et al.'s 2D position and motion
detection chip

• Se utilizaba para detectar la posición del sol en
  globos estratosféricos.

64
Aizawa et al.'s Image Sensor with Compression

• Se compara cada píxel con su anterior, y si no ha
  cambiado significativamente, no se lee.
• 32x32 píxels.
• Este sensor abre la posibilidad de procesado
  basado en cambios.

65
CNNUC Sensores neuronales

• Desarrollados en el CNM de Sevilla.
• Cada sensor es una neurona.
• El último llegaba a 64x64 elementos

66
Etienne-Cummings et al.'s Motion Detector Chip