Escala de Eficacia del Manual de metodología observacional: Análisis factorial confirmatorio

Luz María Flores Herrera¹, Jimena Rosas Torres, Marcos Bustos Aguayo

Facultad de Estudios Superiores Zaragoza

Se han propuesto diversas definiciones de material didáctico, las cuales incluyen todos aquellos materiales o recursos utilizados como mediadores entre docentes y alumnos, y que tienen como objetivo facilitar el proceso de enseñanza-aprendizaje favoreciendo la construcción de habilidades y destrezas, así como la formación de valores y actitudes (Manrique & Gallego, 2012; Ogalde & Bardavid, 2016; Predes, 2001). Dada la importancia que tienen los recursos didácticos en el proceso de enseñanza-aprendizaje es fundamental mantenerlos en evaluación y actualización constante para lograr una mayor calidad educativa (Ballart, 1992).

Uno de los procesos centrales de la investigación educativa es la evaluación, ya que esta permite la mejora continua; para realizarla es necesario recopilar información válida y fiable sobre los materiales didácticos utilizados en el contexto escolar, permitiendo las adecuaciones que ayuden al alumno a construir y consolidar los conocimientos de forma eficiente. Todo este proceso debe realizarse en función de la eficacia didáctica, es decir, evaluar si los recursos didácticos utilizados cumplen con los objetivos con los que fueron creados (Ballart, 1992; Santos, 1991).

Existen dos tendencias principales en la evaluación de la eficacia didáctica, la evaluación cuantitativa en la cual se utilizan escalas estandarizadas, y la evaluación cualitativa, la cual considera el contexto y la opinión de los profesores y alumnos acerca del material didáctico (Santos, 1991). Se han realizado diversas evaluaciones desde el enfoque cuantitativo, que han llevado a entender que la eficacia de un material está dada por sus características técnicas y de contenido, y no por su funcionalidad ni su interacción con los usuarios directos (Ballesta, 1995).

En consecuencia, existe un gran número de escalas de evaluación que se han centrado en el criterio de expertos sobre la eficacia de los recursos didácticos (véase tabla 1), dejando fuera la evaluación que puedan realizar profesores y alumnos sobre la funcionalidad del material, de tal forma que las modificaciones realizadas corren el riesgo de encontrarse descontextualizadas y no ser funcionales para los usuarios del material (Carvallo, 2006).

Por tal motivo, autores como Guerrero (2009) y Marqués (2010) plantean que la eficacia didáctica solo puede ser evaluada desde un punto de vista holista, que está en función de la calidad didáctica del material y de las formas de utilización, considerando su capacidad de transmitir información, sus características técnicas y fácil manejo, y a la par observar, preguntar y contrastar la opinión de los usuarios directos del recurso didáctico para conocer las necesidades de los profesores y alumnos.

Siguiendo esta línea, Ogalde y Bardavid (2016), proponen que la evaluación desde un punto de vista holista debe ir encaminada a la eficacia didáctica global de un material; a partir de esto plantean los siguientes criterios de evaluación: criterios psicológicos, los cuales consideran aspectos psicológicos del alumno y su relación con el material didáctico; criterios pedagógicos, relacionados con la forma en que se estructura el material como la explicación de los contenidos, que la dificultad vaya de menor a mayor y que exista una coherencia interna, criterios de contenido que se refieren al contenido del material, si es actual, veraz, adecuado y suficiente, además de criterios técnicos que evalúan la calidad de la producción de los materiales como la claridad y facilidad de lectura, calidad en las imágenes, bibliografía e índices.

A partir de estos criterios, Ogalde y Bardavid (2016) elaboraron una escala de evaluación para el material didáctico que consideraba tanto a expertos como a profesores; a pesar de ello, deja fuera la evaluación de los alumnos, quienes pueden proporcionar información importante sobre la funcionalidad del material. Por tal motivo, recuperando los criterios planteados por Ogalde y Bardavid (2016), se crea la Escala de eficacia del manual de metodología Observacional, la cual es una de las primeras aproximaciones en considerar en el proceso de evaluación a los dos usuarios del material didáctico, alumnos y profesores, además de considerar que la eficacia didáctica está determinada por aspectos técnicos, funcionales y de contenido del material (Flores, Rosas, Rodríguez y Blanco, 2018).

Si bien, aun cuando existen estudios que evalúan el material didáctico, desde el enfoque cuantitativo no se encontró evidencia de la aplicación del modelamiento mediante ecuaciones estructurales para la validación del constructo de eficacia del material didáctico, por lo que este estudio pretende aportar evidencia en un modelo estructural de la validez de constructo de la Escala de eficacia del manual de Metodología Observacional y así confirmar la estructura factorial obtenida en el Análisis Factorial Exploratorio (dos factores).

Método

Participantes

Para la selección de los participantes, en una universidad pública se contactó a los distintos profesores que imparten la asignatura MO y se invitó a los alumnos a participar en el estudio, haciendo énfasis en que la participación era voluntaria y garantizando la total confidencialidad de los datos obtenidos.

La muestra fue seleccionada mediante la técnica de muestreo no probabilístico intencional; quedó compuesta por 200 estudiantes de los cuales 87 eran hombres (43 %) y 112 mujeres (56%), los rangos de edad oscilaron entre 18 y 27 años (M=20.5, DE=2.12), todos los participantes reportaron haber utilizado el manual de dicha asignatura.

Instrumento

Se utilizó la Escala de Eficacia del Manual de Metodología Observacional, la cual evalúa qué tanto el material didáctico facilita el establecimiento de situaciones didácticas, tomando en cuenta aspectos como las características del material y la forma en que son utilizados como la cantidad de información transmitida, la organización y su función didáctica (Predes, 2001). Consta de 18 reactivos agrupados en dos categorías (a) aspectos de contenido del manual y (b) aspectos estéticos del manual, todos los reactivos contaron con un formato de respuesta de tipo Likert de 1 a 4 (1= totalmente en desacuerdo, y 4= totalmente de acuerdo).

Procedimiento

La aplicación del instrumento se realizó en las aulas escolares y con la presencia de uno de los autores del estudio. Tanto al profesor a cargo como a los alumnos se les explicó de forma breve el objetivo de la investigación, haciendo énfasis en que la información proporcionada era anónima y confidencial; posteriormente se entregó el instrumento para que fuera respondido. Se aclararon dudas que los participantes presentaron y finalmente se agradeció su participación. Se trata de un diseño metodológico de tipo trasversal, ya que la recogida de datos se realizó en un único momento.

Análisis de datos

Para llevar a cabo el análisis factorial confirmatorio (AFC) se siguieron los lineamientos propuestos por Pérez (2004) y Corral, Frías y González (2001) quienes proponen que el tamaño de la muestra para este análisis debe ser igual a 200 participantes para probar las características psicométricas de la escala. Los análisis descriptivos y el análisis factorial exploratorio se realizaron con el programa SPSS en su versión 24, posteriormente se realizó el análisis factorial confirmatorio con el programa EQS versión 6.1.

Resultados

Para examinar la distribución de los reactivos según las respuestas se realizó un análisis de frecuencias con la finalidad de conocer cómo se conformó el grupo de datos. Lo anterior demostró que los 18 reactivos desplegaron frecuencias en todas sus opciones de respuesta. Las medias de los reactivos tienen valores de 2.4 y 3.2, los cuales corresponden a 2 (Desacuerdo) y 3 (De acuerdo), lo que indica que los valores de respuesta no se aglutinan en los extremos.

Con la finalidad de identificar que los reactivos discriminan entre puntuaciones altas y bajas, se realizó una prueba de discriminación de reactivos para grupos extremos (prueba t de Student) tomando en cuenta los percentiles 25 y 75; se descartaron los reactivos 9, 11 y 18 ya que no discriminaban entre puntuaciones altas y bajas.

Previo al AFE, se revisó su factibilidad por medio del índice de Kaiser-Meyer-Olkin (KMO) y la prueba de esfericidad de Bartlett; estas pruebas permiten confirmar si el constructo estudiado puede estar compuesto por factores. Se obtuvieron valores de de KMO= 0.89 y prueba Bartlett (chi- cuadrada X²= 1250.27, sig.= 0.00), lo que nos indica que es factible realizar el AFE.

Posteriormente se realizó el AFE por el método de componentes principales con rotación oblicua (direct oblimin), se seleccionaron los factores que aglutinaran al menos tres reactivos y cuyas cargas factoriales fueran iguales o mayor a 0.40, cuidando la claridad conceptual. El AFE agrupó 12 reactivos en dos factores (véase tabla 2) que explican 30.21% de la varianza y cuenta con una confiabilidad de alfa de Cronbach de α=0.77. El primer factor quedó compuesto por 7 reactivos, los cuales evalúan el contenido de las lecturas por lo que se nombró Contenido. Tiene consistencia interna de α=0.85 y explica el 18.86% de la varianza. El segundo factor está compuesto por 5 reactivos, los cuales evalúan aspectos estéticos del material (orden, legibilidad, diseño y materiales), por lo que se decidió nombrarlo Estética. Este factor tiene un valor alfa de α=0.75 y explica el 11.35% de la varianza.

Finalmente se procedió a confirmar la estructura factorial obtenida en el AFE a través de un Análisis Factorial Confirmatorio (AFC), por el método de modelamiento por ecuaciones estructurales con el programa EQS 6.1. Para aceptar el modelo se tomaron en cuanta los valores de Chi- cuadrada, el cual debía ser pequeño y no significativo; también fueron evaluados los índices de bondad de ajuste Comparative Fit Index (CFI), Betler- Bonett Normed Fit Index y Betler Bonett Nonnormed Fit Index, los cuales deben ser mayores o iguales a 0.90 y el error cuadrático medio de aproximación (RMSEA) debe estar entre los valores 0.10 y 0.05 (Byrne, 2010). El modelo resultante se muestra en la figura 1, presenta un valor de Chi- cuadrada de χ²=97.17 y una p=0.00, índices de bondad de ajuste con valores de CFI=0.92, NFI=0.90 y NNFI=0.90 y un RMSEA=0.09; además el modelo presenta un índice alfa de Cronbach α=0.87, lo que indica que es un modelo válido y confiable para la medición de la Eficacia del material didáctico.

Figura 1. Modelo estructural de la Escala de Eficacia del Manual de Metodología observacional.

Discusión

Para elevar la calidad educativa es necesario investigar todos los factores que intervienen en el proceso de enseñanza-aprendizaje; uno de esos factores son los recursos didácticos, los cuales tienen la finalidad de facilitar la tarea docente y ser una herramienta para los alumnos en la adquisición de saberes, recursos cognitivos, emocionales y actitudinales (Díaz- Barriga y Hernández, 2010). Para garantizar que los recursos didácticos cumplan su objetivo es necesario mantener una evaluación constante tanto de aspectos de contenido como funcionales; de lo contrario, los materiales se irán quedando obsoletos a los avances del conocimiento y de la tecnología (Santos, 1991).

La evaluación de la eficacia de los recursos didácticos hasta ahora se había realizado contemplando la valoración de expertos y profesores sobre aspectos objetivos del material, dejando fuera la valoración de estudiantes quienes pueden brindar información sobre la funcionalidad del material; por tal motivo es importante contar con escalas que contemplen una evaluación participativa del material y que evalúen los aspectos funcionales del material didáctico, por ello este estudio tuvo como objetivo validar la Escala de Eficacia del Manual de Metodología Observacional, ya que contempla los aspectos antes mencionados (Carvallo, 2006).

Para cumplir este objetivo se estimó la validez de constructo y confiabilidad de la escala a través del AFE; posteriormente se confirmó la estructura factorial a través de AFC, finalmente se calculó la consistencia interna por medio del alfa de Cronbach; los valores obtenidos indican que el objetivo se alcanzó.

La escala obtenida está formada por 10 reactivos agrupados en dos factores, los cuales se encuentran relacionados entre sí; es unidimensional y homogénea para calcular un puntaje total, lo que se puede constatar con la confiabilidad total (α=0.87).

El AFC concuerda con la estructura teórica planteada por Ogalde y Bardavid (2016), quienes consideran que por medio de los criterios estéticos y de contenido se puede verificar la eficacia global del material didáctico; por otro lado, la escala de Eficacia del material didáctico cuenta con valores CFI=0.92, NFI=0.90 y NNFI=0.90 y un RMSEA=0.09 yuna alfa de Cronbach α=0.87, lo que indica que cuenta con buena consistencia interna e índices de bondad de ajuste adecuados

En los reactivos descartados de esta escala durante el AFC (8. Las lecturas que integran el compendio están ordenadas y 13. El material fotocopiado es legible) se aprecia que estos están contenidos en otro reactivo (1. La presentación de las lecturas es adecuada y 17. El compendio tiene un índice); estos reactivos agrupan tanto el orden como la apariencia referidos en los reactivos descartados.

Con los resultados obtenidos se puede deducir que existe una adecuada medición de la eficacia didáctica del material utilizado en la asignatura de Metodología Observacional, confirmando lo propuesto por Ogalde y Bardavid (2016). Finalmente, esta investigación aporta una escala válida y confiable que evalúa la eficacia didáctica del manual de metodología observacional la cual permite valorar la funcionalidad del material a través de los usuarios directos de este (profesores y alumnos), permitiendo la correcta actualización de los materiales utilizados para la construcción de aprendizaje en una universidad pública (Flores, Rosas, Rodríguez y Blanco, 2018)

En ese sentido, las implicaciones y contribuciones de este trabajo son las siguientes. Se aporta una escala breve de diez reactivos que contribuye a la investigación educativa ya que permite identificar qué aspectos son poco funcionales del material didáctico desde la mirada de profesores y alumnos, permitiendo una mejora continua y así lograr la calidad educativa. Un aspecto relevante de la metodología presentada es su congruencia con la predisposición metodológica del análisis de los reactivos, ya que el análisis factorial confirmatorio, además de verificar la validez y confiabilidad de una escala, también permite obtener modelos que indiquen cómo se relacionan los factores que construyen la eficacia didáctica (Bryen, 2010).

A pesar de esto, sería importante estudiar si esta escala puede ser adaptada para la evaluación de recursos didácticos de otras asignaturas en población universitaria.

Referencias

Adjuntos:

Escala de eficacia.pdf