Mecanismos formales para la representación y extracción de expresiones de referencia en sistemas data-to-text

Resumen

En el ámbito de la Generación de Lenguaje Natural, los sistemas data-to-text tienen como objetivo producir descripciones textuales de aspectos de interés de un conjunto de datos. Uno de los problemas clave en este ámbito es la generación de expresiones de referencia, que son frases nominales destinadas a identificar unívocamente un objeto o conjunto de objetos, denominado objetivo, de otros objetos presentes en un contexto, en cuyo caso se dice que las expresiones tienen éxito referencial, y se dice que el objetivo es referible. Las expresiones de referencia permiten a los sistemas data-to-text generar descripciones mediante la referencia y la caracterización de estructuras en los datos como, por ejemplo, las regiones en las imágenes digitales. Un primer paso en la generación de expresiones de referencia en lenguaje natural es obtener una representación computacional de la semántica de la expresión utilizando algún formalismo de representación del conocimiento. Un enfoque habitual es representar una expresión de referencia como un conjunto de propiedades básicas de los objetos, que se referirá al conjunto de objetos del contexto que satisfacen todas las propiedades, si las hay. Desde un punto de vista lógico, la expresión de referencia tiene la semántica de una conjunción de propiedades. En la literatura es posible encontrar diferentes propuestas ad-hoc para determinar una expresión de referencia para un objeto o conjunto dado. Además, se han empleado varios marcos formales como la Teoría de Grafos, los Grafos Conceptuales, la Satisfacción de Restricciones y las Lógicas Descriptivas para resolver el problema de la generación de expresiones de referencia (ger). El uso de marcos formales contribuye a la solución del problema en varios aspectos. Por ejemplo, permitiendo en algunos casos un poder expresivo más allá de las simples conjunciones de propiedades. Además, la formulación de ger en términos de estos marcos formales nos permite aprovechar los algoritmos y resultados existentes en el ámbito de estos marcos para resolver el problema ger. Una de las principales contribuciones de esta Tesis Doctoral es la propuesta de un nuevo marco para ger basado en el uso del Análisis de Conceptos Formales (acf), una teoría matemática que formaliza los conceptos en un contexto como aquellos pares (A, B) tales que A es el conjunto de objetos que comparten todas las propiedades en B y, al mismo tiempo, B es el conjunto de propiedades que son satisfechas por todos los objetos en A. Demostramos que un conjunto de objetos A es referible en un contexto si, y sólo si, existe un concepto formal de la forma (A, B) en el contexto, por lo que podemos determinar los conjuntos referibles obteniendo todos los conceptos formales de un contexto, que es uno de los principales problemas en acf, y para el que existen diferentes algoritmos. Más concretamente, estos algoritmos calculan el retículo asociado al orden parcial entre conceptos formales que puede definirse en términos de inclusión de conjuntos de los conjuntos de objetos. También hemos podido utilizar este retículo para proporcionar caracterizaciones del conjunto de expresiones de referencia para cada conjunto referible, un recurso crucial para elegir la expresión más adecuada para un determinado conjunto objetivo en términos de preferencias del usuario. Estas capacidades proporcionadas por el uso de acf para ger no son proporcionadas simultáneamente por ningún otro marco formal. La otra contribución principal de nuestro trabajo se refiere a la generalización de ger al caso de propiedades graduales como «alto» para las que no es posible definir una frontera clara entre el cumplimiento y el incumplimiento de la propiedad. Una forma habitual de representar tales propiedades es mediante conjuntos difusos definidos por funciones de pertenencia que asignan un grado de pertenencia en [0, 1] a cada elemento del dominio de la propiedad. En este ámbito hemos aportado avances en dos direcciones: 1. Cuando las propiedades son graduales, el éxito referencial también lo es. Por lo tanto, es necesario proporcionar medidas del éxito referencial de las expresiones de referencia que implican propiedades graduales. En este contexto, hemos proporcionado los axiomas que debe satisfacer cualquier medida de este tipo. También hemos mostrado que es posible definir medidas de éxito referencial a partir de medidas de especificidad de conjuntos difusos, que miden el grado en que un conjunto difuso es un singleton crisp. Esto nos ha llevado a profundizar en el estudio de la especificidad, con varios resultados novedosos: primero, una caracterización de las medidas de especificidad en tres familias con comportamientos diferentes, siendo cada familia apropiada para diferentes propósitos durante la construcción y evaluación final de las expresiones de referencia. En segundo lugar, una metodología para construir medidas de especificidad a partir de medidas de distancia entre conjuntos difusos. Por último, la propuesta de medidas de posibilidad y necesidad de éxito referencial para aquellos casos en los que los grados asociados a las propiedades representan incertidumbre posibilista. Para medir el éxito referencial cuando el objetivo es un conjunto de objetos, algunos de estos resultados se han generalizado al caso de las medidas de k-especificidad, que miden el grado en que un conjunto difuso es un conjunto clásico con k elementos. 2. Hemos proporcionado una extensión de acf al caso gradual basada en la Teoría de Representación por Niveles, que es una alternativa a la Teoría de Conjuntos Difusos para representar la gradualidad. Nuestra extensión se beneficia de las principales características de la Teoría de Representación por Niveles: en primer lugar, se emplea un conjunto finito de niveles en (0, 1] para representar diferentes grados de «relajación» de los criterios de pertenencia; en segundo lugar, los conjuntos graduales se representan como asignaciones de conjuntos clásicos a niveles; finalmente, las operaciones entre conjuntos graduales se realizan como las correspondientes operaciones clásicas aplicadas a los conjuntos clásicos en los mismos niveles de forma independiente. Más allá de los conjuntos, las representaciones por niveles pueden emplearse para cualquier otro objeto y noción matemática, como elementos (como asignaciones de elementos individuales a niveles), predicados, algoritmos, etc. En consecuencia, la extensión de cualquier sistema formal crisp al caso gradual es única y directa. Además, a diferencia de los conjuntos difusos, las extensiones mantienen todas las propiedades del caso crisp. Utilizando estas características hemos podido extender nuestros resultados crisp sobre el uso de acf para ger al caso de las propiedades graduales. Para poner a prueba nuestras propuestas, hemos desarrollado un prototipo de prueba de concepto, denominado Refer4Learning, que implementa un juego referencial, un tipo muy conocido de sistema de image-to-text. El prototipo está orientado a la enseñanza de conceptos visuales básicos como el color, la forma, el tamaño, etc. a estudiantes de las primeras etapas educativas. Utilizando este prototipo, hemos realizado experimentos con sujetos adultos para analizar la correspondencia entre algunas de nuestras medidas de calidad y el rendimiento del sistema en función de las preferencias de los usuarios. Adicionalmente, mediante una colaboración interdisciplinar con investigadores en Visión por Computador, hemos demostrado que nuestras técnicas pueden integrarse con la extracción de objetos y propiedades graduales a partir de imágenes utilizando técnicas basadas en Aprendizaje Profundo, permitiendo generar automáticamente expresiones referenciales para objetos y conjuntos de objetos a partir de imágenes. Estos resultados son potencialmente útiles en varias aplicaciones como sistemas de imagen a texto, recuperación de información visual y sistemas de diálogo interactivo sobre información visual.