Escala de Eficacia del Manual de metodología observacional: Análisis factorial confirmatorio
Luz María Flores Herrera¹, Jimena Rosas Torres, Marcos Bustos Aguayo
Facultad de Estudios Superiores Zaragoza
Resumen
Existen pocas escalas que evalúen la eficacia del material didáctico contemplando la perspectiva de profesores y alumnos, dejando de lado la valoración de la funcionalidad del material, lo que ha dado como resultado una actualización descontextualizada del material; debido a esto, con base en la operacionalización de la eficacia dada por Ogalde y Bardavid (2016) se creó la Escala de Eficacia del Manual de Metodología Observacional, la cual contempla la valoración de alumnos y profesores que utilizan el material. Sin embargo, la estructura factorial de dicha escala no ha sido confirmada, por ello el objetivo del estudio financiado por DGAPA- PAPIME (PE300718) fue aportar evidencia de la validez de constructo de la escala, con los resultados obtenidos X²=97.17 con p= 0.00 CFI=0.92, NFI=0.90 y NNFI=0.90. Se concluye que laescala es válida y confiable, permitiendo a los profesores y alumnos de una universidad pública valorar el material didáctico.
Palabras clave: Recursos didácticos, Eficacia, Evaluación, Validez y Alumnos.
Resumo
Existem poucas escalas que avaliam a efetividade do material didático contemplando a avaliação dos professores e alunos, fazendo omissão da funcionalidade do material, o que resultou em uma atualização descontextualizada do material; Devido a isso, com base na operacionalização da efetividade dada por Ogalde e Bardavid (2016), foi criada a Escala de Eficiência do Manual de Metodologia Observacional, que considera a avaliação de alunos e professores que utilizam o material didático. Porém, a estrutura fatorial desta escala não foi confirmada, de modo que o objetivo do estudo financiado por DGAPA- PAPIME (PE300718) foi fornecer evidências da validade de construção da escala, com os resultados obtidos X² = 97.17 comp = 0.00 CFI = 0.92, NFI = 0.90 eNNFI = 0.90. Conclui-se que a escala é válida e confiável, permite que professores e alunos de uma universidade pública avaliem o material didático.
Palavras-chave: Recursos de ensino, eficácia, avaliação, validade e estudantes.
Se han propuesto diversas definiciones de material didáctico, las cuales incluyen todos aquellos materiales o recursos utilizados como mediadores entre docentes y alumnos, y que tienen como objetivo facilitar el proceso de enseñanza-aprendizaje favoreciendo la construcción de habilidades y destrezas, así como la formación de valores y actitudes (Manrique & Gallego, 2012; Ogalde & Bardavid, 2016; Predes, 2001). Dada la importancia que tienen los recursos didácticos en el proceso de enseñanza-aprendizaje es fundamental mantenerlos en evaluación y actualización constante para lograr una mayor calidad educativa (Ballart, 1992).
Uno de los procesos centrales de la investigación educativa es la evaluación, ya que esta permite la mejora continua; para realizarla es necesario recopilar información válida y fiable sobre los materiales didácticos utilizados en el contexto escolar, permitiendo las adecuaciones que ayuden al alumno a construir y consolidar los conocimientos de forma eficiente. Todo este proceso debe realizarse en función de la eficacia didáctica, es decir, evaluar si los recursos didácticos utilizados cumplen con los objetivos con los que fueron creados (Ballart, 1992; Santos, 1991).
Existen dos tendencias principales en la evaluación de la eficacia didáctica, la evaluación cuantitativa en la cual se utilizan escalas estandarizadas, y la evaluación cualitativa, la cual considera el contexto y la opinión de los profesores y alumnos acerca del material didáctico (Santos, 1991). Se han realizado diversas evaluaciones desde el enfoque cuantitativo, que han llevado a entender que la eficacia de un material está dada por sus características técnicas y de contenido, y no por su funcionalidad ni su interacción con los usuarios directos (Ballesta, 1995).
En consecuencia, existe un gran número de escalas de evaluación que se han centrado en el criterio de expertos sobre la eficacia de los recursos didácticos (véase tabla 1), dejando fuera la evaluación que puedan realizar profesores y alumnos sobre la funcionalidad del material, de tal forma que las modificaciones realizadas corren el riesgo de encontrarse descontextualizadas y no ser funcionales para los usuarios del material (Carvallo, 2006).
Tabla 1. Instrumentos que evalúan el material didáctico. |
||||
Instrumento |
Forma de medición |
Dimensiones |
Público al que es dirigido |
Descripción psicométrica. |
Escala de evaluación para materiales impresos (Maillo, 1973, citado en Predes, 2001) |
Autorreporte en 50 reactivos en respuestas tipo Likert |
|
Directivos, coordinadores y expertos |
No ha sido sometida a un proceso de validación |
Escala de evaluación para libros de texto (Predes, 2001) |
Autorreporte en 28 reactivos en respuesta dicotómica – o + |
|
Directivos, coordinadores y expertos |
No ha sido sometida a un proceso de validación |
Rúbrica para la evaluación de recursos didácticos (Aguilar, Saderi, Rodríguez, Sánchez, Méndez, Morate & Campos, 2016) |
Autorreporte en 16 reactivos, en la cual se asigna calificación del 0 al 10 para cada aspecto |
|
Directivos, coordinadores y expertos |
No ha sido sometida a un proceso de validación |
Tabla 1. Instrumentos que evalúan el material didáctico (Continuación) |
||||
Instrumento |
Forma de medición |
Dimensiones |
Público al que es dirigido |
Descripción psicométrica. |
Escala de evaluación al material didáctico (Ogalde y Bardavid, 2016) |
Autorreporte en 29 reactivos en respuesta tipo Likert |
|
Directivos, coordinadores, expertos y profesores |
No ha sido sometida a un proceso de validación |
Entrevista de opinión al material didáctico de Metodología Observacional (Flores, Rosas, Rodríguez & Blanco, 2018) |
Autorreporte en 25 preguntas abiertas |
|
Directivos, coordinadores, expertos y profesores |
Fue sometida a validez de contenido por jueces expertos |
Escala de eficacia del manual de metodología Observacional (Flores, Rosas, Rodríguez & Blanco, 2018) |
Autorreporte en 18 reactivos en respuesta de tipo Likert |
|
Directivos, coordinadores, expertos, profesores y alumnos |
AFE: los 18 reactivos explican el 92.32 % de la varianza, la consistencia interna de la dimensión del contenido es α= 0.83, Mientras que la de Estética es de α=0.80 |
Nota: AFE= Análisis Factorial Exploratorio |
Por tal motivo, autores como Guerrero (2009) y Marqués (2010) plantean que la eficacia didáctica solo puede ser evaluada desde un punto de vista holista, que está en función de la calidad didáctica del material y de las formas de utilización, considerando su capacidad de transmitir información, sus características técnicas y fácil manejo, y a la par observar, preguntar y contrastar la opinión de los usuarios directos del recurso didáctico para conocer las necesidades de los profesores y alumnos.
Siguiendo esta línea, Ogalde y Bardavid (2016), proponen que la evaluación desde un punto de vista holista debe ir encaminada a la eficacia didáctica global de un material; a partir de esto plantean los siguientes criterios de evaluación: criterios psicológicos, los cuales consideran aspectos psicológicos del alumno y su relación con el material didáctico; criterios pedagógicos, relacionados con la forma en que se estructura el material como la explicación de los contenidos, que la dificultad vaya de menor a mayor y que exista una coherencia interna, criterios de contenido que se refieren al contenido del material, si es actual, veraz, adecuado y suficiente, además de criterios técnicos que evalúan la calidad de la producción de los materiales como la claridad y facilidad de lectura, calidad en las imágenes, bibliografía e índices.
A partir de estos criterios, Ogalde y Bardavid (2016) elaboraron una escala de evaluación para el material didáctico que consideraba tanto a expertos como a profesores; a pesar de ello, deja fuera la evaluación de los alumnos, quienes pueden proporcionar información importante sobre la funcionalidad del material. Por tal motivo, recuperando los criterios planteados por Ogalde y Bardavid (2016), se crea la Escala de eficacia del manual de metodología Observacional, la cual es una de las primeras aproximaciones en considerar en el proceso de evaluación a los dos usuarios del material didáctico, alumnos y profesores, además de considerar que la eficacia didáctica está determinada por aspectos técnicos, funcionales y de contenido del material (Flores, Rosas, Rodríguez y Blanco, 2018).
Si bien, aun cuando existen estudios que evalúan el material didáctico, desde el enfoque cuantitativo no se encontró evidencia de la aplicación del modelamiento mediante ecuaciones estructurales para la validación del constructo de eficacia del material didáctico, por lo que este estudio pretende aportar evidencia en un modelo estructural de la validez de constructo de la Escala de eficacia del manual de Metodología Observacional y así confirmar la estructura factorial obtenida en el Análisis Factorial Exploratorio (dos factores).
Método
Participantes
Para la selección de los participantes, en una universidad pública se contactó a los distintos profesores que imparten la asignatura MO y se invitó a los alumnos a participar en el estudio, haciendo énfasis en que la participación era voluntaria y garantizando la total confidencialidad de los datos obtenidos.
La muestra fue seleccionada mediante la técnica de muestreo no probabilístico intencional; quedó compuesta por 200 estudiantes de los cuales 87 eran hombres (43 %) y 112 mujeres (56%), los rangos de edad oscilaron entre 18 y 27 años (M=20.5, DE=2.12), todos los participantes reportaron haber utilizado el manual de dicha asignatura.
Instrumento
Se utilizó la Escala de Eficacia del Manual de Metodología Observacional, la cual evalúa qué tanto el material didáctico facilita el establecimiento de situaciones didácticas, tomando en cuenta aspectos como las características del material y la forma en que son utilizados como la cantidad de información transmitida, la organización y su función didáctica (Predes, 2001). Consta de 18 reactivos agrupados en dos categorías (a) aspectos de contenido del manual y (b) aspectos estéticos del manual, todos los reactivos contaron con un formato de respuesta de tipo Likert de 1 a 4 (1= totalmente en desacuerdo, y 4= totalmente de acuerdo).
Procedimiento
La aplicación del instrumento se realizó en las aulas escolares y con la presencia de uno de los autores del estudio. Tanto al profesor a cargo como a los alumnos se les explicó de forma breve el objetivo de la investigación, haciendo énfasis en que la información proporcionada era anónima y confidencial; posteriormente se entregó el instrumento para que fuera respondido. Se aclararon dudas que los participantes presentaron y finalmente se agradeció su participación. Se trata de un diseño metodológico de tipo trasversal, ya que la recogida de datos se realizó en un único momento.
Análisis de datos
Para llevar a cabo el análisis factorial confirmatorio (AFC) se siguieron los lineamientos propuestos por Pérez (2004) y Corral, Frías y González (2001) quienes proponen que el tamaño de la muestra para este análisis debe ser igual a 200 participantes para probar las características psicométricas de la escala. Los análisis descriptivos y el análisis factorial exploratorio se realizaron con el programa SPSS en su versión 24, posteriormente se realizó el análisis factorial confirmatorio con el programa EQS versión 6.1.
Resultados
Para examinar la distribución de los reactivos según las respuestas se realizó un análisis de frecuencias con la finalidad de conocer cómo se conformó el grupo de datos. Lo anterior demostró que los 18 reactivos desplegaron frecuencias en todas sus opciones de respuesta. Las medias de los reactivos tienen valores de 2.4 y 3.2, los cuales corresponden a 2 (Desacuerdo) y 3 (De acuerdo), lo que indica que los valores de respuesta no se aglutinan en los extremos.
Con la finalidad de identificar que los reactivos discriminan entre puntuaciones altas y bajas, se realizó una prueba de discriminación de reactivos para grupos extremos (prueba t de Student) tomando en cuenta los percentiles 25 y 75; se descartaron los reactivos 9, 11 y 18 ya que no discriminaban entre puntuaciones altas y bajas.
Previo al AFE, se revisó su factibilidad por medio del índice de Kaiser-Meyer-Olkin (KMO) y la prueba de esfericidad de Bartlett; estas pruebas permiten confirmar si el constructo estudiado puede estar compuesto por factores. Se obtuvieron valores de de KMO= 0.89 y prueba Bartlett (chi- cuadrada X²= 1250.27, sig.= 0.00), lo que nos indica que es factible realizar el AFE.
Posteriormente se realizó el AFE por el método de componentes principales con rotación oblicua (direct oblimin), se seleccionaron los factores que aglutinaran al menos tres reactivos y cuyas cargas factoriales fueran iguales o mayor a 0.40, cuidando la claridad conceptual. El AFE agrupó 12 reactivos en dos factores (véase tabla 2) que explican 30.21% de la varianza y cuenta con una confiabilidad de alfa de Cronbach de α=0.77. El primer factor quedó compuesto por 7 reactivos, los cuales evalúan el contenido de las lecturas por lo que se nombró Contenido. Tiene consistencia interna de α=0.85 y explica el 18.86% de la varianza. El segundo factor está compuesto por 5 reactivos, los cuales evalúan aspectos estéticos del material (orden, legibilidad, diseño y materiales), por lo que se decidió nombrarlo Estética. Este factor tiene un valor alfa de α=0.75 y explica el 11.35% de la varianza.
Tabla 2. Ponderación de Factores con rotación Oblicua de la Escala de Eficacia del Manual de Metodología Observacional |
||
Reactivo |
Factores |
|
1 |
2 |
|
15. Los ejercicios son acordes a la asignatura. |
0.816 |
0.375 |
14.Las lecturas del compendio proporcionan conceptos claves (análisis secuencial, catálogos, observación, etc.). |
0.800 |
0.293 |
5.El contenido del compendio es adecuado a la materia MO. |
0.787 |
0.332 |
6.Los temas del compendio son diversos. |
0.675 |
0.384 |
10.Las lecturas detallan la construcción de catálogos. |
0.592 |
0.275 |
16.En el compendio se describe la matriz de transición. |
0.572 |
0.371 |
7.Los temas de las lecturas son dinámicos. |
0.568 |
0.260 |
13.El material fotocopiado es legible. |
0.219 |
0.760 |
8.Las lecturas que integran el compendio están ordenadas. |
0.191 |
0.751 |
17.El compendio tiene un índice. |
0.354 |
0.637 |
3. El compendio tiene divisiones entre temas. |
0.302 |
0.635 |
1.La presentación de las lecturas es adecuada. |
0.283 |
0.480 |
α- Factor |
0.85 |
0.750 |
α- Total |
0.77 |
|
Varianza factor |
18.86 |
11.350 |
Varianza total |
30.21 |
Finalmente se procedió a confirmar la estructura factorial obtenida en el AFE a través de un Análisis Factorial Confirmatorio (AFC), por el método de modelamiento por ecuaciones estructurales con el programa EQS 6.1. Para aceptar el modelo se tomaron en cuanta los valores de Chi- cuadrada, el cual debía ser pequeño y no significativo; también fueron evaluados los índices de bondad de ajuste Comparative Fit Index (CFI), Betler- Bonett Normed Fit Index y Betler Bonett Nonnormed Fit Index, los cuales deben ser mayores o iguales a 0.90 y el error cuadrático medio de aproximación (RMSEA) debe estar entre los valores 0.10 y 0.05 (Byrne, 2010). El modelo resultante se muestra en la figura 1, presenta un valor de Chi- cuadrada de χ²=97.17 y una p=0.00, índices de bondad de ajuste con valores de CFI=0.92, NFI=0.90 y NNFI=0.90 y un RMSEA=0.09; además el modelo presenta un índice alfa de Cronbach α=0.87, lo que indica que es un modelo válido y confiable para la medición de la Eficacia del material didáctico.
Figura 1. Modelo estructural de la Escala de Eficacia del Manual de Metodología observacional.
Discusión
Para elevar la calidad educativa es necesario investigar todos los factores que intervienen en el proceso de enseñanza-aprendizaje; uno de esos factores son los recursos didácticos, los cuales tienen la finalidad de facilitar la tarea docente y ser una herramienta para los alumnos en la adquisición de saberes, recursos cognitivos, emocionales y actitudinales (Díaz- Barriga y Hernández, 2010). Para garantizar que los recursos didácticos cumplan su objetivo es necesario mantener una evaluación constante tanto de aspectos de contenido como funcionales; de lo contrario, los materiales se irán quedando obsoletos a los avances del conocimiento y de la tecnología (Santos, 1991).
La evaluación de la eficacia de los recursos didácticos hasta ahora se había realizado contemplando la valoración de expertos y profesores sobre aspectos objetivos del material, dejando fuera la valoración de estudiantes quienes pueden brindar información sobre la funcionalidad del material; por tal motivo es importante contar con escalas que contemplen una evaluación participativa del material y que evalúen los aspectos funcionales del material didáctico, por ello este estudio tuvo como objetivo validar la Escala de Eficacia del Manual de Metodología Observacional, ya que contempla los aspectos antes mencionados (Carvallo, 2006).
Para cumplir este objetivo se estimó la validez de constructo y confiabilidad de la escala a través del AFE; posteriormente se confirmó la estructura factorial a través de AFC, finalmente se calculó la consistencia interna por medio del alfa de Cronbach; los valores obtenidos indican que el objetivo se alcanzó.
La escala obtenida está formada por 10 reactivos agrupados en dos factores, los cuales se encuentran relacionados entre sí; es unidimensional y homogénea para calcular un puntaje total, lo que se puede constatar con la confiabilidad total (α=0.87).
El AFC concuerda con la estructura teórica planteada por Ogalde y Bardavid (2016), quienes consideran que por medio de los criterios estéticos y de contenido se puede verificar la eficacia global del material didáctico; por otro lado, la escala de Eficacia del material didáctico cuenta con valores CFI=0.92, NFI=0.90 y NNFI=0.90 y un RMSEA=0.09 yuna alfa de Cronbach α=0.87, lo que indica que cuenta con buena consistencia interna e índices de bondad de ajuste adecuados
En los reactivos descartados de esta escala durante el AFC (8. Las lecturas que integran el compendio están ordenadas y 13. El material fotocopiado es legible) se aprecia que estos están contenidos en otro reactivo (1. La presentación de las lecturas es adecuada y 17. El compendio tiene un índice); estos reactivos agrupan tanto el orden como la apariencia referidos en los reactivos descartados.
Con los resultados obtenidos se puede deducir que existe una adecuada medición de la eficacia didáctica del material utilizado en la asignatura de Metodología Observacional, confirmando lo propuesto por Ogalde y Bardavid (2016). Finalmente, esta investigación aporta una escala válida y confiable que evalúa la eficacia didáctica del manual de metodología observacional la cual permite valorar la funcionalidad del material a través de los usuarios directos de este (profesores y alumnos), permitiendo la correcta actualización de los materiales utilizados para la construcción de aprendizaje en una universidad pública (Flores, Rosas, Rodríguez y Blanco, 2018)
En ese sentido, las implicaciones y contribuciones de este trabajo son las siguientes. Se aporta una escala breve de diez reactivos que contribuye a la investigación educativa ya que permite identificar qué aspectos son poco funcionales del material didáctico desde la mirada de profesores y alumnos, permitiendo una mejora continua y así lograr la calidad educativa. Un aspecto relevante de la metodología presentada es su congruencia con la predisposición metodológica del análisis de los reactivos, ya que el análisis factorial confirmatorio, además de verificar la validez y confiabilidad de una escala, también permite obtener modelos que indiquen cómo se relacionan los factores que construyen la eficacia didáctica (Bryen, 2010).
A pesar de esto, sería importante estudiar si esta escala puede ser adaptada para la evaluación de recursos didácticos de otras asignaturas en población universitaria.
Referencias
Ballart, X. (1992). ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso. Barcelona, España: Ministerio para la Administración Pública
Ballesta, J. (1995). Funciones didácticas de los materiales curriculares. Pixel- Bit, 5, 29- 45 Universidad de Murcia
Byrne, B. (2010). Structural equation modeling with AMOS: Basic concepts, application, and programing (2nd Ed.). New York, NY: Routledge
Carvallo, M. (2006). Factores que afectan el desempeño de los alumnos mexicanos en edad de educación secundaria: Un estudio dentro de la corriente de eficacia escolar. Revista electrónica Iberoamericana sobre calidad, eficacia y cambio en educación, 4 (3), 30-53.
Corral, V., Fría, A. & González, L. (2001). Análisis cuantitativos de variables latentes. México: Editorial UniSon.
Díaz-Barriga, A., F. & Hernández, R., G. (2010). Estrategias docentes para un aprendizaje significativo. Una interpretación constructivista. México: Max Graw Hill.
Flores, H.L.M., Rosas, T.J., Rodríguez, V.M.V. & Blanco, B.F.A (2018). Construcción de la Escala de opinión al material didáctico de Metodología Observacional. Vertientes. Revista Especializada en Ciencias de la Salud. Número Especial, 151-154.
Guerrero, A., A. (2009). Los materiales didácticos en el aula. Revista digital para profesionales de la enseñanza, (5), 1-7.
Manrique, O. & Gallego, H. (2012). El material didáctico para la construcción de aprendizajes significativos. Revista Colombiana de Ciencias Sociales, 4 (1), 101-108
Marqués, G., P. (2010). Los medios didácticos. México: Secretaria de Educación Pública.
Ogalde, I. & Bardavid, E. (2016). Los materiales didácticos: medios y recursos de apoyo a la docencia. México: Editorial Trillas.
Pérez, C. (2004). Técnicas de análisis multivariante de datos. Aplicaciones con SPSS. Madrid, España: Pearson Education.
Predes, E., M. (2001). Evaluación de manuales escolares. Revista de Medios y Educación, 16, 77-100.
Santos, M. A. (1991). ¿Cómo evaluar los materiales? Cuadernos de Pedagogía, 194, 29-31. Recuperado de http://campusmoodle.proed.unc.edu.ar/pluginfile.php/51428/mod_resource/c ontent/0/Unidad_4/evaluacion_de_materiales_santos_guerra.pdf