Innovaciones metodológicas en la evaluación de la formación continúa

Resumen

La formación continua puede ser definida como un conjunto planificado de acciones cuya función es aportar a los participantes conocimiento y/o habilidades que permitan la mejora del desempeño en sus puestos de trabajo (Buckley y Caple, 1991). "line-height: 150%; font-family: 'Times New Roman','serif'; font-size: 12pt">Actualmente, las distintas instituciones públicas y privadas conceden a este tipo de formación una gran importancia dentro del marco del desarrollo económico en España acorde con el del resto de Europa, tal como se desprende de las cifras invertidas desde el Fondo Social Europeo (2007).Se entiende que el enriquecimiento de las cualidades profesionales de los trabajadores que con la formación continua se busca, promueve el empleo estable y la mejora del servicio que el trabajador ofrece, lo que se traduce en el término tan en boga �desarrollo sostenible�.En este contexto, y con este trabajo de tesis doctoral se plantea que la evaluación es considerada imprescindible no sólo para analizar y demostrar el valor de la formación, sino también para su planificación e implementación. Como cualquier programa, es fundamental tratar de demostrar empíricamente que está funcionando desde un referente adecuado con los modelos teóricos existentes.Concretamente en programas de formación, esto es especialmente necesario porque se invierten muchos recursos, de manera obligada por la normativa actual en el caso de las instituciones públicas. Y lograr sacar lo máximo de estos programas tiene consecuencias muy positivas a nivel individual, tanto profesional como personal, para los trabajadores y quienes se benefician de su trabajo, y a nivel organizacional para la empresa en la que trabajan.Este trabajo pretende aportar directrices claras para llevar a cabo tanto el diseño como la evaluación de programas de formación continua; así, en la primera parte, tras una exhaustiva revisión teórica, la elaboración de una versión integradora de una escala de medición de la calidad de estudios primarios, la aplicación de dicho instrumento en el ámbito de la formación continua y un meta-análisis, se intenta determinar qué aspectos metodológicos habrían de tenerse en cuenta para optimizar los programas de formación y en qué sentido se podrían mejorar; y en la segunda parte del trabajo, se presenta un ejemplo práctico en distintos planes de formación que trata de aportar evidencias empíricas de la validez de la escala previamente mencionada.Concretamente, en la PRIMERA PARTE se presentan cuatro capítulos.En el capítulo 1, tras un estudio de la literatura sobre evaluación de programas en general y en particular sobre evaluación de la formación publicada hasta septiembre de 2006, se observa cómo los constructos de las variables sobre las que se actúa en procesos de formación continua raramente son delimitadas y/o definidas operativamente. Esta situación es consecuencia de varios aspectos:- La acumulación, en gran medida desorganizada, de modelos teóricos tanto sobre evaluación en general como sobre formación continua en particular. - Los modelos teóricos son generales y por tanto difíciles de adaptar para su aplicación a condiciones particulares de intervención; presentan dimensiones genéricas, no contextualizadas en ámbitos representativos de intervención, en lugar de delimitar variables operativas.Con la intención de aportar información organizada, sistematizada y presentada de la manera más operativa posible para que resulte útil para elegir en qué modelo basar la evaluación en función del contexto, se presentan los principales modelos al uso considerando los siguientes aspectos, siempre que se expliciten (información disponible en http://innoevalua.us.es): - El objetivo del modelo definiendo operativamente las dimensiones que plantea.- Las fases (metodología) para su desarrollo y la operacionalización de cada una de ellas. - La utilidad del modelo; dónde puede aplicarse.Y para concretar aún más, se especifica para cada modelo (siempre que la información sea dada) el acrónimo �u t o s ti� (Chacón y Shadish, en prensa, adaptado de Shadish, Cook y Campbell, 2002a). Se determinan por tanto los usuarios a los que el modelo puede adaptarse (units), la intervención que se propone (treatment), los resultados que se recogen (output), el contexto (setting) y el momento de medida (time).En este capítulo se llega a la conclusión, de manera general, a tres aspectos concretamente: a) los modelos carecen de operativización de las variables que entran en juego en la evaluación de programas; b) los instrumentos que se utilizan no suelen presentar estudios de validez; c) las evaluaciones suelen ser sumativas o de resultados (no se evalúa el proceso muy a menudo). Pero, ¿qué ocurriría si se les preguntara acerca de esto a los expertos? ¿Qué variables considerarían claves para determinar la calidad de un programa de intervención? ¿La calidad del dato recogido? ¿El número de medidas tomadas y los momentos de medida? ¿Serán estos datos viables?Para responder a esto, en el capítulo 2 se elaboró una escala de medición de la calidad metodológica de estudios primarios, siguiendo un procedimiento deductivoinductivo al perfilar el instrumento desde la bibliografía, posteriormente tras la obtención de datos empíricos en distintos contextos, de nuevo volviendo al estudio de la bibliografía y, así, sucesivamente.Concretamente, los pasos que se siguieron fueron los siguientes: se recogieron, según la bibliografía, los ítems que miden la calidad de las intervenciones; se hizo un primer estudio exploratorio aplicando el instrumento a programas de intervención psicológica; se realizó posteriormente un estudio de validez de contenido donde expertos en diseño y evaluación de programas, calidad, y revisiones sistemáticas y meta-análisis, puntuaron tres dimensiones (representatividad, utilidad y disponibilidad del dato); se realizó otra versión de la escala donde se incluyeron nuevos ítems propuestos por expertos y donde se aclararon los conceptos que provocaron dudas; se realizó otra aplicación del instrumento, esta vez en el ámbito de la formación continua; y, finalmente, se llevaron a cabo las modificaciones necesarias para que el instrumento elaborado fuera aplicable a todo tipo de estudio sin diferenciación.Esta última característica es la mayor novedad aportada cuando se compara esta escala con otras previamente elaboradas y publicadas, ya que la literatura en este ámbito presenta un claro sesgo hacia los estudios experimentales. Sin embargo, la última versión de la escala no se presenta como algo definitivo y cerrado, sino como la propuesta más novedosa dentro de un proceso deductivo-inductivo que aún se encuentra en marcha.En el capítulo 3, la versión más reciente de la escala es aplicada a los trabajos encontrados referidos a formación continua para vislumbrar en qué aspectos se podría incidir para mejorar estos programas. Una vez detectados los puntos débiles y enumeradas las posibles razones de la existencia de dichas debilidades, se proponen mejoras para optimizar los programas de formación continua.Pero, ¿son eficaces los programas de formación continua publicados? Si la respuesta es afirmativa, ¿qué variables están relacionadas con su éxito? ¿Coincide esta información con la hasta ahora recogida proveniente de los modelos teóricos de evaluación, la bibliografía recogida referida a calidad, la opinión de los expertos en la materia y la evaluación de los programas de formación publicados?Para responder a estas preguntas, en el capítulo 4 se realiza un estudio metaanalítico con las publicaciones que tratan sobre formación continua que presentan la información suficiente para su inclusión. Se determina el grado de eficacia presentado por estos programas y las variables moderadoras que provocan la heterogeneidad entre los resultados encontrados.A continuación, en la SEGUNDA PARTE de este trabajo, y siguiendo las fases de evaluación de programas propuesta por Anguera y Chacón (en prensa, a) y Alvira(1991), también recogido por el Centro de Formación y Perfeccionamiento del PAS de la Universidad de Sevilla (1999); tomando en detección de necesidades el modelo de Chacón, Lara y Pérez (2002c) adaptado de Witkin y Altschuld (1995); y los pasos de la evaluación de resultados según Kirkpatrick (1999), se presenta una visión más práctica de lo hasta ahora tratado a través de su aplicación a la formación continua realizada por tres organizaciones distintas: Diputación de Sevilla, el Centro de Formación del Personal de Administración y Servicios de la Universidad de Sevilla y el Instituto Andaluz del Deporte. Se trata no sólo de describir la evaluación en estas instituciones, sino además de proponer mejoras para el futuro y aportar información operativizada y concreta para que cualquier interesado pudiera aplicar a cualquier plan de formación estas actuaciones.Concretamente, en referencia a la evaluación llevada a cabo antes de la realización de las acciones formativas, el capítulo 5 aporta una descripción del estudio de detección de necesidades donde se explica el diseño utilizado y el proceso seguido para la recogida de los datos. Como innovación, se analizan éstos con distintos métodos de escalamiento para estudiar cuál, siendo el más sencillo, resulta más útil para la posterior toma de decisiones basada en la evidencia. Concretamente, los métodos utilizados son el de Dunn-Rankin (Arce, 1994) y tres métodos elaborados por Thurstone que parten de la Ley de juicios categóricos (Barbero, 1993): intervalos sucesivos, intervalos aparentemente iguales y ordenación por rangos.El capítulo 6 hace referencia a la evaluación durante la realización de las acciones formativas. Concretamente, se aporta una descripción del procedimiento a llevar a cabo para tratar de encontrar posibles puntos que mejorar en el mismo momento en que se detectan y se muestran posibles instrumentos de recogida de esta información.Los siguientes dos capítulos hacen referencia a la evaluación de resultados después de finalizar la realización de las acciones formativas. En el capítulo 7, se describe la evaluación de la satisfacción de los participantes en las acciones formativas y se trata de detectar las debilidades del proceso y los resultados y, a partir de ahí, proponer posibles mejoras para solventarlas.En el capítulo 8, se presenta la descripción de la evaluación de los conocimientos adquiridos por los participantes; entre otras cuestiones, se presentan unas posibles directrices a seguir para elaborar pruebas de medición de conocimientos; además, se presenta una visión descriptiva de la evaluación de la transferencia de lo aprendido al puesto de trabajo donde, entre otras cuestiones, se aporta un posible cuestionario como instrumento de recogida de información.El capítulo 9 recoge las conclusiones obtenidas tras la realización de este trabajo, sirve como reflexión acerca de los resultados obtenidos y presenta posibles vías de desarrollo futuro.