Big data ensembles for classification and smart data extraction

Resumo

La presente tesis aborda diferentes temas: clasificación supervisada estándar, filtrado de ruido y clasificación desbalanceada. Todos ellos girando en torno a un denominador común, métodos de ensemble en Big Data para obtener Smart Data. Los objetivos considerados han sido: 1. Estudio del estado actual en escalabilidad de herramientas Big Data, proveyendo un estudio analítico y experimental de dichas herramientas con el objetivo de adquirir un mayor conocimiento sobre el rendimiento de las plataformas actuales. 2. Estudio del estado del arte en preprocesamiento de datos Big Data como un método para obtener Smart Data, incluyendo un estudio teórico y empírico, mostrando todas las debilidades y fortalezas de los desarrollos actuales en dichas áreas. 3. Desarrollo de un ensemble distribuido para clasificación basado en preprocesamiento de datos, centrado en la creación de datos altamente diversos a través del preprocesamiento de datos en Big Data. 4. Abordar el problema del ruido en los datos en entornos Big Data, demostrando que el ruido en los datos no puede ser ignorado en Big Data, así como proveyendo las primeras soluciones propuestas para abordar este problema. 5. Desarrollo de un método de ensemble basado en Smart Data para clasificación de datos Big Data desbalanceados usando preprocesamiento de datos, capaz de abordar problemas Big Data de forma eficiente. Para cumplir estos objetivos, varias técnicas escalables y distribuidas han sido desarrolladas utilizando una plataforma para computación distribuida, denominada Apache Spark. Nuestras propuestas nos han permitido aplicar diversos métodos de tipo ensemble tanto para clasificación como para preprocesamiento de datos en Big Data, con el objetivo de obtener datos de calidad o Smart Data. Así mismo, hemos contribuido a completar la escasez presente en muchas bibliotecas de métodos para aprendizaje automático a gran escala, proveyendo métodos para clasificación supervisada estándar, filtrado de ruido, así como clasificación desbalanceada.