Ontology engineering and reasoning to support real world human behavior recognition

Resumen

----- RESUMEN ----- -- Introducción -- El reconocimiento de la conducta humana [1] ha despertado mucho interés recientemente debido a su aplicación para impulsar cambios de comportamiento en los dominios de la salud y el bienestar [2]. No obstante, la mayoría de los sistemas de reconocimiento del comportamiento humano disponibles hasta la fecha sufren dos limitaciones que los hacen poco adecuados para trabajar en el mundo real: están diseñados para trabajar sobre una configuración predeterminada de sensores y para ser usados en el dominio de una aplicación específica. Sin embargo, los sistemas de reconocimiento que trabajan en condiciones reales están sujetos a fallos o defectos de los sensores [3] y a cambios en el despliegue [4] que son imprevisibles durante la fase de diseño y que afectan directamente al buen funcionamiento del sistema de reconocimiento. Asimismo, el reconocimiento de expresiones más informativas sobre el contexto humano requiere analizar múltiples componentes del comportamiento tales como los aspectos físicos y mentales [1], los cuales por el momento solo se han investigado de forma aislada. En vista de estas limitaciones, existe la necesidad de (1) describir exhaustivamente el conjunto heterogéneo de recursos que participan en el sistema de reconocimiento de la conducta humana, (2) seleccionar dinámicamente los sensores de recambio para garantizar la continuidad del reconocimiento, (3) describir de forma íntegra la información sobre el contexto humano, y (4) inferir automáticamente expresiones descriptivas del contexto para el análisis del comportamiento. Las ontologías [5] son descripciones formales que tienen una semántica implícita, lo que proporciona interoperabilidad y permite el razonamiento. Además las ontologías superan los modelos no-semánticos en términos de flexibilidad, extensibilidad, generalidad, expresividad y en el desacoplamiento del conocimiento del código. Por lo tanto, existe una clara oportunidad de mejorar los sistemas de reconocimiento de la conducta mediante el uso de ontologías y razonamiento ontológico. Por eso, el objetivo de esta tesis es investigar sobre la posible aplicación de ontologías y razonamiento ontológico con el fin de resolver algunas de las limitaciones más importantes a las que los sistemas de reconocimiento del comportamiento humano se ven sujetos durante su operación en condiciones reales. -- Selección de sensores basada en ontologías para el reconocimiento continuo del comportamiento -- Esta tesis presenta MIMU-Wear, una ontología OWL 2 [6] que proporciona interoperabilidad sintáctica y compatibilidad semántica para los sistemas de reconocimiento del comportamiento. MIMU-Wear describe exhaustivamente las plataformas vestibles (también conocidas como “wearables”) equipadas con sensores inerciales y magnéticos (conocidos como MIMU por su nombre en inglés “magnetic and inertial measurement units”). Esta ontología describe las capacidades de los MIMUs,! por ejemplo sus propiedades de medición y las características de las plataformas vestibles sensorizadas, incluyendo su localización en el cuerpo y sus propiedades de supervivencia. MIMU-Wear ofrece una semántica implícita que permite la interpretación automática de las descripciones de los recursos, la abstracción de la tecnología subyacente y la abstracción del método de selección de sensores de la infraestructura del sistema de reconocimiento. La ontología MIMU-Wear construye sobre SSN [7], una ontología estándar del W3C, y está diseñada de una manera modular conectando varias ontologías para dominios específicos: la MIMU Ontology describe las características de los MIMUs; la MIMU Capabilities Ontology modela las capacidades de medición o sensado de los MIMUs; la MIMU Magnitudes Ontology representa las diferentes magnitudes observadas por los MIMUs; la MIMU Units Ontology representa las unidades de medida necesarias para describir las capacidades de los MIMUs; la Wearable Sensor Platform Ontology modela las características de las plataformas vestibles sensorizadas; la Human Body Ontology modela las partes del cuerpo humano que representan las localizaciones donde se portan las plataformas vestibles; y la Wearable Survival Range Ontology modela las condiciones de supervivencia de los sistemas vestibles. La modularidad de MIMU-Wear permite que esta ontología sea reutilizable en otros dominios. La Wearable Sensor Platform Ontology se podría usar para describir la localización en el cuerpo humano de cualquier sensor vestible, no sólo de MIMUs, por ejemplo la ubicación en el tórax de una banda para medir electrocardiograma. Del mismo modo, la MIMU Ontology se podría utilizar para describir cualquier MIMU, es decir no sólo los vestibles sino también los incluidos en las plataformas de inteligencia ambiental. Por ejemplo, las características de un MIMU integrado en una taza o una puerta en un escenario de inteligencia ambiental podrían modelarse fácilmente usando la MIMU Ontology. Además, el hecho de que MIMU-Wear monte sobre SSN, una ontología estándar del W3C y ampliamente utilizada por la comunidad científica, facilita la adopción generalizada de MIMU-Wear, ya que podría integrarse directamente con cualquier otra ontología que haga uso de SSN. Esta tesis propone un nuevo método que permite seleccionar dinámicamente sensores de recambio entre los disponibles en las plataformas vestibles para cuando un MIMU perteneciente al sistema de reconocimiento del comportamiento sufre alguna anormalidad y necesita ser remplazado. Este método de selección de sensores se basa en la ontología MIMU-Wear y aplica técnicas de razonamiento ontológico y de consultas a la ontología. Las reglas SWRL [8] definen las características de los sensores candidatos a remplazar un MIMU en el sistema de reconocimiento y permiten inferir que sensores son buenos candidatos y cuáles no. El método de selección de sensores establece el proceso de ejecución iterativa de diferentes consultas SPARQL [9] sobre las descripciones ontológicas de los MIMUs con el fin de seleccionar el MIMU más adecuado para la sustitución del defectuoso. El método de consultas iterativas permite que si no se encuentra ningún resultado para una consulta, se ejecute otra menos restrictiva o con un criterio de búsqueda diferente. La evaluación del método de selección de sensores en un escenario realista en el área de reconocimiento de la actividad demuestra que la sustitución de un MIMU anómalo asegura la continuidad de reconocimiento. Es decir, la fiabilidad del sistema de reconocimiento se recupera con respecto a la situación de fallo después de la sustitución del sensor anómalo. Para el caso de estudio, la fiabilidad del sistema de reconocimiento cae más de un tercio con respecto a su valor de referencia cuando uno de los sensores falla. La sustitución del sensor afectado con el sensor seleccionado a través del método ontológico muestra una mejoría, que en el mejor de los casos permite restaurar prácticamente las capacidades de reconocimiento del sistema y en el peor de los casos consigue al menos que la fiabilidad del sistema supere la que se obtendría en caso de seleccionar el sensor de remplazo de forma arbitraria. El método de selección de sensores propuesto en esta tesis ayuda a mantener el sistema de reconocimiento funcionando de forma continua aunque los sensores sufran alguna anomalía. Sin embargo, este es sólo uno de los posibles escenarios en los que se puede aplicar la ontología MIMU-Wear y el método basado en consultas ontológicas. MIMU-Wear también se podría utilizar al arranque del sistema de reconocimiento para identificar qué sensores deben ser activados en función de la fiabilidad esperada del sistema y del rendimiento pretendido. Del mismo modo, la ontología se podría utilizar para la auto-calibración de algunos parámetros de la red de sensores de acuerdo con las restricciones de energía u objetivos de eficiencia. En todos estos escenarios, un método basado en el razonamiento ontológico y la consulta de la ontología similar al que se propone en esta tesis se podría aplicar de forma sencilla. -- Inferencia de contexto basada en ontologías para el análisis del comportamiento humano -- Esta tesis presenta la Mining Minds Context Ontology, una ontología OWL 2 para modelar de forma exhaustiva expresiones descriptivas de contexto. Esta ontología está diseñada para modelar los contextos más comunes en escenarios de salud y bienestar y que se dan en estilos de vida sedentarios y activos. Por lo tanto, esta ontología modela múltiples primitivas de contexto, tales como la actividad física, la locación y la emoción, así como contextos más abstractos, tales como inactividad, hacer ejercicio, trabajo en la oficina o comer, los cuales pueden derivarse de la combinación de estas primitivas. La Mining Minds Context Ontology permite representar cualquier combinación de primitivas de contexto (contextos de bajo nivel), incluso para diferentes dominios, con el fin de inferir representaciones más abstractas de contexto (contextos de alto nivel). La incorporación, sin precedentes hasta la fecha, de las emociones en la definición del contexto permite representar contextos de alto nivel que sólo pueden identificarse cuando la persona evidencia una emoción específica. No obstante, para asegurar su aplicabilidad en múltiples escenarios, la ontología ha sido definida de forma que se permita la identificación de algunos contextos de alto nivel incluso en ausencia de información sobre las emociones. Esta tesis presenta un método basado en ontologías para derivar información de contexto de alto nivel de la combinación de varios contextos de bajo nivel. Este nuevo método se basa en la Mining Minds Context Ontology y aplica razonamiento OWL 2 DL para inferir contexto de alto nivel a partir de primitivas básicas de contexto de bajo nivel. La High-Level Context Architecture es la arquitectura del sistema que implementa el método de identificación de contexto y que permite inferir automáticamente y en tiempo real expresiones descriptivas del contexto. La High-Level Context Architecture consta de cuatro componentes: el High-Level Context Builder que genera los conceptos ontológicos para representar el contexto del usuario; el High-Level Context Reasoner que verifica y clasifica el contexto de alto nivel; el High-Level Context Notifier que notifica a terceros sobre la identificación de un nuevo contexto de alto nivel; y el Context Manager que almacena la información de contexto. La evaluación del método de inferencia de información más descriptiva del contexto permite demostrar que con esta información se puede mejorar el funcionamiento de los sistemas de reconocimiento de la conducta. El método propuesto no sólo resulta eficaz para derivar nueva información contextual sino que también es robusto a los errores introducidos por los sistemas de reconocimiento de los contextos de bajo nivel. De hecho, los estudios desarrollados en este trabajo demuestran que el error introducido en el contexto de bajo nivel tiene un menor impacto en los contextos de alto nivel. La High-Level Context Architecture es el motor del proceso de inferencia de comportamiento abstracto en Mining Minds [10], una plataforma digital en el ámbito de la salud y el bienestar. A pesar de que el método de inferencia de contexto ha sido ideado para esta plataforma, la High-Level Context Architecture se ha definido de una manera que permite su uso en cualquier otro ámbito. De hecho, en caso de que el método de inferencia del contexto tuviera que aplicarse a un nuevo dominio y eso requiriera identificar nuevos contextos, la High-Level Context Architecture no necesitaría modificación alguna y sólo se tendría que extender la ontología.Esto se debe a una de las propiedades principales de las ontologías: el desacoplamiento del conocimiento y del código. -- Conclusiones -- El propósito de esta tesis fue investigar sobre la posible aplicación de ontologías y razonamiento ontológico con el fin de resolver algunas de las limitaciones más importantes de los sistemas de reconocimiento del comportamiento humano cuando son operados en condiciones reales. Para ello se definieron cuatro objetivos que se han alcanzado con éxito. Concretamente, las contribuciones de esta tesis son las siguientes: 1. MIMU-Wear: Una ontología OWL 2 modular que describe exhaustivamente las plataformas vestibles equipadas con sensores MIMU. 2. MIMU Ontology: Una ontología OWL 2 que describe las características de los MIMUs, por ejemplo sus propiedades de medición. 3. Wearable Sensor Platform Ontology: Una ontología OWL 2 que modela las características de las plataformas vestibles sensorizadas, incluyendo su localización en el cuerpo y sus propiedades de supervivencia. 4. Human Body Ontology: Una ontología OWL 2 que modela las partes del cuerpo humano. 5. Un método basado en la ontología MIMU-Wear, las reglas SWRL y las consultas SPARQL que permite seleccionar sensores de forma dinámica para ayuda a mantener el sistema de reconocimiento funcionando de forma continua. 6. Mining Minds Context Ontology: Una ontología OWL 2 para modelar de forma exhaustiva expresiones descriptivas de contexto. 7. Un método basado en la Mining Minds Context Ontology y en el razonamiento OWL 2 DL para la inferencia automática de contexto más descriptivo que permite explicar mejor el comportamiento. 8. High-Level Context Architecture (HLCA): Una arquitectura del sistema que implementa el método de identificación de contexto y su realización en Java. Estas contribuciones suponen un primer paso hacia una nueva generación de sistemas de reconocimiento del comportamiento humano para el mundo real. Algunas de las posibles líneas de trabajo futuras versan sobre la incorporación de los sensores disponibles en textiles inteligentes al proceso de selección, la consideración de la incertidumbre en el reconocimiento del comportamiento humano y la provisión de interoperabilidad entre diversos sistemas de reconocimiento.