Seguimiento de objetos

Dificultades del seguimiento

Además del reto de seguimiento que causa el clutter, los cambios de aspecto del objeto en el plano de la imagen dificulta el seguimiento causado por uno o más de los siguientes factores siguientes:

• Cambios de posición. El objeto móvil de interés varia su aspecto cuando se proyecta sobre el plano de la imagen, por ejemplo, al girar.
• Iluminación ambiente. La dirección, la intensidad y el color de la luz de ambiente influyen en el aspecto del objeto de interés. Asimismo, los cambios en la iluminación global son con frecuencia un reto en las escenas al aire libre.
• Ruido. El proceso de adquisición de imágenes introduce en la señal de la imagen un cierto grado de ruido que depende de la calidad del sensor. Las observaciones del objeto de interés pueden dañarse y por tanto afectar al rendimiento del seguidor.
• Oclusiones. Puede ser que un objeto de interés no se observe bien cuando sea parcial o totalmente tapado por otros objetos en la escena. Las oclusiones son generalmente debidas a:
  • Un objeto de interés que se mueve detrás de un objeto estático, como por ejemplo una columna.
  • Otros objetos que se mueven en la escena de manera que entorpecen la visión de un objeto de interés.

Representación del objeto

En un escenario de seguimiento, un objeto se puede definir como cualquier cosa que sea de interés para su posterior análisis. Los objetos se pueden representar mediante sus formas y apariencias. A continuación se describen las representaciones de forma del objeto utilizadas generalmente:

• Puntos. El objeto está representado por un punto, es decir, por un centroide o por un conjunto de puntos. En general, la representación de puntos es adecuada para el seguimiento de objetos que ocupan pequeñas regiones en una imagen.
• Formas geométricas primitivas. La forma del objeto se representa con un rectángulo, una elipse, etc. El movimiento de estas representaciones es generalmente modelada por la translación, afinidad o la transformación proyectiva (homografía). Aunque las formas geométricas primitivas son más adecuadas para la representación de objetos rígidos simples, también se utiliza para el seguimiento de objetos no rígidos.
• Silueta del objeto y contorno. La representación del contorno define el límite de un objeto. La región dentro del contorno se conoce como la silueta del objeto. Estas representaciones son adecuadas para el seguimiento de formas complejas no rígidas.
• Modelos articulados de forma. Los objetos articulados están formados por partes del cuerpo que están unidas por articulaciones. Por ejemplo, el cuerpo humano es un objeto articulado por el torso, piernas, manos, cabeza y pies unidos por articulaciones. La relación entre estas partes se rige por los modelos del movimiento cinemático. Para representar un objeto articulado, se puede modelar los componentes utilizando cilindros o elipses.
• Modelos esqueléticos. El esqueleto del objeto se puede extraer mediante la transformación del eje medio de la silueta del objeto. La representación del esqueleto se puede utilizar para modelar objetos articulados y rígidos.

También hay varias maneras de representar las características de aspecto de los objetos. Hay que tener en cuenta que las representaciones de forma también se pueden combinar con las de aspecto para llevar a cabo el seguimiento. Algunas de las representaciones de aspecto más comunes son:

• La densidad de probabilidad del aspecto de los objetos. Las estimaciones de densidad de probabilidad del aspecto de los objetos pueden ser paramétricas o no paramétricas. Esta densidad de probabilidad (color, textura) se puede calcular a partir de las regiones de la imagen especificada por los modelos de forma (región interior de una elipse o un contorno).
• Plantillas. Las plantillas están formadas con formas geométricas simples o siluetas. Una de las ventajas de las plantillas es que aporta tanto la información espacial como la de aspecto. Las plantillas, sin embargo, solo codifican el aspecto de los objetos generados a partir de una única vista. Por tanto, solo son adecuadas para seguir objetos donde las posiciones no varíen considerablemente al largo del seguimiento.
• Modelos activos de aspecto. Los modelos activos de aspecto se generan mediante el modelado simultáneo de la forma del objeto y su aspecto. En general, la forma del objeto se define por un conjunto de puntos de referencia. Similar a la representación basada en el contorno, los puntos de referencia pueden residir en la frontera del objeto o, alternativamente, pueden residir dentro de la región de éste. Por cada punto de referencia se guarda un vector de aspecto en forma de color, textura o magnitud del gradiente. Los modelos activos de aspecto requieren una fase de entrenamiento donde tanto la forma como su aspecto asociados se conocen a partir de un conjunto de muestras.
• Modelos de aspecto multivista. Estos modelos codifican diferentes puntos de vista de un objeto. Un método para representar los diferentes puntos de vista de un objeto es generar un subespacio de las proyecciones que se han dado.

Selección de características

Seleccionar las características adecuadas tiene un papel fundamental en el seguimiento. En general, la característica visual más deseada es la singularidad porque los objetos se pueden distinguir fácilmente en el espacio de características. Los detalles de las características más comunes son los siguientes:

• Color: En el procesamiento de imágenes se utiliza normalmente el espacio de color RGB (rojo, verde y azul) para representar esta característica. A pesar de ello, el espacio RGB no es un espacio de color percentualmente uniforme, y por tanto se han utilizado una gran variedad de espacios de color en el seguimiento. El color aparente de un objeto se ve influenciado principalmente por dos factores físicos:
  • La distribución de energía espectral de la fuente.
  • Las propiedades de reflectancia de la superficie del objeto.
• Márgenes. Los límites de los objetos suelen generar fuertes cambios en la intensidad de la imagen. La detección de márgenes se utiliza para identificar dichos cambios. Una propiedad importante de los márgenes es que son menos sensibles a los cambios de iluminación en comparación con las características de color. Los algoritmos que hacen un seguimiento de los límites de los objetos suelen utilizar los márgenes como características representativa.
• Flujo óptico. EL flujo óptico es un campo denso de desplazamiento de vectores que define la translación de cada píxel en una región. Se calcula mediante la restricción de brillantez constante y se utiliza generalmente como característica de la segmentación basada en movimiento, así como en aplicaciones de seguimiento.
• Textura. La textura es una medida de la variación de intensidad de una superficie que cuantifica las propiedades como por ejemplo la suavidad y la regularidad. En comparación con el color, la textura requiere una etapa de procesamiento para generar los descriptores. Similares a las características de límites, las características de textura son menos sensibles a los cambios de iluminación en comparación con el color.

Detección de la imagen

Cada método de seguimiento requiere un mecanismo de detección de objetos, ya sea en cada fotograma o cuando el primer objeto aparece en el vídeo. Un método común para la detección de objetos es el uso de la información de un solo fotograma. No obstante, algunos métodos de detección de objetos hacen uso de la información temporal calculada a partir de una secuencia de imágenes para reducir así el número de falsas detecciones. Esta información temporal se calcula generalmente con la técnica frame differencing, que pone de manifiesto las regiones cambiantes en tramos consecutivos. Una vez se tiene en cuenta las regiones del objeto en la imagen, es entonces tarea del seguidor de realizar la correspondencia de objeto de un fotograma a otro para generar el seguimiento. Los métodos más populares en el contexto del seguimiento de objetos son:

• Los detectores de puntos.
• La sustracción del fondo.
• La segmentación.

Segmentación

El objetivo de los algoritmos de segmentación de la imagen es dividir la imagen en regiones perceptualmente similares. Cada algoritmo de segmentación abarca dos problemas, los criterios para una buena partición y el método para conseguir la partición eficiente. Existen diferentes técnicas de segmentación de objetos en movimiento que se pueden separar en dos grandes grupos: las basadas en movimientos y las basadas en características espaciotemporales.

Técnicas basadas en movimiento

Estas técnicas hacen uso principalmente de la información de movimiento. Dentro de este grupo podemos diferenciar dos tipos: los que trabajan con el movimiento en dos dimensiones (2D) y los que lo hacen en tres (3D). Dentro de las técnicas en dos dimensiones encontramos:

• Técnicas basadas en las discontinuidades del flujo óptico. Esta técnica realiza la segmentación basada en el desplazamiento o en el flujo óptico. Este desplazamiento o flujo óptico de un píxel es un vector de movimiento que representa el movimiento entre el píxel en una imagen y el píxel correspondiente en la siguiente imagen.
• Técnicas basadas en la detección de cambios. El principal objetivo de estos algoritmos es la detección de los píxeles del objeto y los píxeles de fondo. Los algoritmos de detección asumen que el fondo es normalmente estacionario y tiene un movimiento simple global y que además los cambios entre imágenes consecutivas son debidos al movimiento.

Los modelos de movimiento en 2D son simples, pero menos realistas. Como consecuencia, los sistemas de segmentación en 3D son los más utilizados en la práctica. Dentro de los métodos en tres dimensiones se pueden distinguir dos algoritmos diferentes:

• Estructura a partir del movimiento, llamados SFM (Structure from motion).
• Algoritmos paramétricos.

El SFM generalmente maneja escenas 3D que contienen información relevante de profundidad, mientras que en los métodos paramétricos no se asume esta profundidad. Otra diferencia importante entre los dos algoritmos es que en el SFM se asume un movimiento rígido, mientras que en los algoritmos paramétricos solo se asume rigidez de movimiento en partes de la escena.

Técnicas espaciotemporales

Los métodos de segmentación basados únicamente en movimiento son sensibles a las inexactitudes de la valoración de movimiento. Para solucionar estos problemas, en los métodos espaciotemporales se propone complementar el movimiento mediante el uso de la información espacial. Hay dos enfoques dominantes:

• Basados en límites. Estos métodos se basan en la extracción de márgenes muy prominentes para segmentar los objetos de interés. Las características de los márgenes también se han utilizado en el contexto de modelos activos de contorno.
• Basados en regiones. Esta técnica se centra en un conjunto de regiones o particiones iniciales generalmente definidas con características espaciales o espaciotemporales. El objetivo de esta partición es proporcionar un soporte mayor sobre el cual se derivará el movimiento. Utilizando la información de toda la región, el movimiento se utiliza para guiar el proceso de segmentación.

Técnicas de seguimiento de objetos

El seguimiento de objetos es una tarea muy importante dentro del campo del procesado de vídeo. El objetivo principal de las técnicas de seguimiento de objetos es generar la trayectoria de un objeto a través del tiempo, posicionando éste dentro de la imagen. Podemos hacer una clasificación de técnicas según tres grandes grupos: seguimiento de puntos, seguimiento de núcleo (kernel) y seguimiento de siluetas.