Fusión multisensorial en entornos complejos y dinámicos: métodos bioinspirados, arquitecturas basadas en agentes inteligentes e interfaces multimodales y aumentadas

TIN2010-20845-C03-01

Ministerio de Economía y Competitividad

Universidad de Castilla-La Mancha

Investigador principal: Antonio Fernández-Caballero

DURACIÓN: 01/01/2011 - 31/12/2013

El proyecto "INTerpretación multisensorial de comportamientos y situaciones para una INTervención INTeligente en entornos complejos y dinámicos" (INT³) es un proyecto coordinado, continuación de los proyectos TIN2007-67586-C02, TIN2004-07661-C02 y TEC2008- 02077/TEC, que profundiza aún más en la tarea de la comprensión del entorno, con la novedad notable de la introducción de la fusión de datos multisensorial.

El objetivo principal es el de apoyar al operador humano en la toma de decisiones objetivas y consistentes en entornos complejos y dinámicos. El proyecto abarca la detección y la interpretación de eventos predefinidos susceptibles de lanzar un aviso de comportamiento o situación anómalos.

Los objetivos concretos del sistema de interpretación multisensorial de comportamientos y situaciones para la intervención inteligente en entornos complejos y dinámicos son:

1. Monitorizar el escenario complejo, usando todas las capacidades de los distintos tipos de sensores usados y, además, de un modo cooperativo/colaborativo entre los diversos sensores del sistema.


2. Optimizar e implementar los algoritmos de segmentación de los elementos de interés, así como el etiquetado y el seguimiento de los objetos para que se pueda dar al sistema la capacidad de procesamiento en tiempo real.


3. Crear nuevos mecanismos de interpretación conjunta de la información proveniente de distintas fuentes y facilitar la realización de actividades de interpretación, reconocimiento, clasificación o demanda de nueva información.


4. Diseñar interfaces de usuario multimodales y aumentadas que puedan responder a peticiones de forma muy intuitiva.


5. Diagnosticar los comportamientos y situaciones a partir de la información captada por cada uno de los sensores, así como por medio de la fusión de datos de los distintos sensores que conforman el sistema.


6. Actuar de un modo inteligente sobre el escenario con apoyo de robots móviles en función del diagnóstico obtenido anteriormente.

Objetivos del Subproyecto UCLM: OUCLM1, OUCLM2, OUCLM3, OUCLM4, OUCLM5, OUCLM6, OUCLM7, OUCLM8

Objetivos asociados al PT2 “Arquitectura del sistema de fusión multisensorial”:

• OUCLM1: Diseño de una arquitectura basada en agentes inteligentes para la fusión multinivel (niveles 0 a 5) de datos monitorizados multisensoriales.

Objetivos asociados al PT3 “Interfaces multimodales y aumentadas”:

• OUCLM2: Diseño de una interfaz avanzada jerárquica para una representación individual y/o conjunta más comprensible, usable y accesible de los sensores usados en monitorización, y que permita estructurar la inf27 Marzo, 2012del sistema de forma que ésta sea automática o semiautomática.
• OUCLM3: Aplicación de técnicas de virtualidad aumentada de apoyo al humano para la interpretación de comportamientos y situaciones.

Objetivos asociados al PT8 “Fusión multisensorial”:

• OUCLM4: Mejora de la segmentación de elementos de interés a partir de la fusión multisensorial de nivel 0 y 1 usando el método bioinspirado de computación acumulativa. Especial énfasis en la fusión de los datos sin procesar devueltos por el escáner láser con la información de vídeo para la caracterización más precisa de los elementos que aparecen en la escena monitorizada.
• OUCLM5: Mejora de la identificación y del seguimiento de elementos de interés a partir de la fusión multisensorial de nivel 1 usando el método bioinspirado de computación acumulativa.
• OUCLM6: Mejora de la interpretación de comportamientos y situaciones a partir de técnicas de fusión multisensorial de nivel 2 y 3 usando el método bioinspirado de inhibición lateral y autómatas finitos.

Objetivos asociados al PT9 “Actividades de integración”:

• OUCLM7: Aportación a la creación de un prototipo genérico para la interpretación multisensorial de comportamientos y situaciones en la intervención inteligente en escenarios complejos y dinámicos– arquitectura, interfaz de usuario y fusión de datos (objetivo compartido en gran parte con subproyectos UNED y UAH).
• OUCLM8: Particularización del prototipo genérico en prototipo específico para la monitorización inteligente de personas mayores en residencia y hogar.