Control de la complejidad en modelos no lineales

Resumen

El aprendizaje mediante ejemplos constituye una de las áreas de investigación más importantes dentro del campo de la inteligencia artificial, Una posible formalización del aprendizaje mediante ejemplos es suponer la existencia de una función subyacente que represente al conjunto de observaciones, y que sea capaz de generalizar. La capacidad de generalización se define en esta tesis mediante el error cuadrático sobre la distribución completa que define el sistema estocástico, y se denominará Riesgo de Predicción. Dentro de este marco general la potencia de representación de los modelos dados constituye una parte fundamental de estudio. Los modelos no lineales se caracterizan por su gran flexibilidad para representar cualquier dependencia subyacente a partir de un conjunto de datos. Dentro de los sistemas no lineales, las redes neuronales constituyen una de las clases de funciones aproximadoras más ampliamente utilizadas dado que son aproximadores universales. El coste de su flexibilidad es la presencia de un número importante de parámetros cuyos valores han de ser correctamente establecidos, tanto en la elección de la arquitectura como en la especificación de la dimensión y complejidad. Al problema de elegir de forma óptima la complejidad de un modelo se le denomina Selección de Modelos. El problema de la selección de modelos se basa en el Principio de Occam por el cual dadas dos hipótesis con igual rendimiento, se debe elegir siempre la hipótesis más simple. Existe una gran variedad de métodos de selección de modelos que utilizan un amplio rango de técnicas estadísticas e ilustran la gran creatividad de los investigadores por intentar resolver este problema desde distintas perspectivas. La mayoría de estos métodos han sido diseñados para modelos lineales y la utilización en modelos no lineales no está exenta de condiciones que reducen su aplicabilidad de forma notable en gran parte de las situaciones