Validez de constructo de un cuestionario para evaluar cursos en línea: perspectiva de los alumnos

Construct validity of a questionnaire to evaluate online courses: students’ perspective

Efrén Raúl Ponce-Rosas^[1], Rocío Dávila-Mendoza^[2],
Irma Jiménez-Galván^[3] y María Esther Urrutia-Aguilar^[4]

División de Estudios de Posgrado, Facultad de Medicina, UNAM

Introducción

La Uni­ver­si­dad Nacio­nal Autó­no­ma de Méxi­co (UNAM), ofre­ce a sus aspi­ran­tes de pos­gra­dos, el Pro­gra­ma de Maes­tría en Docen­cia para la Edu­ca­ción Media Supe­rior (MADEMS), que com­pren­de a 14 cam­pos del cono­ci­mien­to y par­ti­ci­pan 15 enti­da­des aca­dé­mi­cas de la UNAM (nue­ve Facul­ta­des, tres Escue­las Nacio­na­les y tres Ins­ti­tu­tos).

El Plan de estu­dios de MADEMS ini­ció des­de 2003, en 2016 se inclu­yó la asig­na­tu­ra Méto­dos de Inves­ti­ga­ción Edu­ca­ti­va (MIE); esta mate­ria es de elec­ción opta­ti­va del área socio-éti­co-edu­ca­ti­va y se ubi­ca en el pri­mer semes­tre de cua­tro en total (UNAM, 2019).

La asig­na­tu­ra de MIE se ha impar­ti­do en for­ma inin­te­rrum­pi­da y la han cur­sa­do sie­te gene­ra­cio­nes de maes­tran­tes de MADEMS des­de 2016 a 2022 en los for­ma­tos b‑learning y e‑learning: este últi­mo por la emer­gen­cia sani­ta­ria por COVID-19.

La eva­lua­ción de los cur­sos en línea ha sido obje­to de inte­rés cre­cien­te por diver­sos auto­res; el ver­ti­gi­no­so avan­ce de las tec­no­lo­gías de infor­ma­ción y comu­ni­ca­ción (TIC) de las dos últi­mas déca­das, sus apli­ca­cio­nes en la edu­ca­ción y el desa­rro­llo de pla­ta­for­mas edu­ca­ti­vas, entre otros fac­to­res, han hecho posi­ble que actual­men­te, se ofrez­can infi­ni­dad de cur­sos en este for­ma­to.

El tra­ba­jo con­si­de­ra­do pio­ne­ro para el pro­pó­si­to de eva­luar los cur­sos en línea es el de Man­ce­bo y Tor­nos (1998) quien pro­po­ne una lis­ta de cote­jo de 86 ítems dis­tri­bui­dos en cua­tro sec­cio­nes; todas las pre­gun­tas tie­nen como opcio­nes de res­pues­ta una esca­la tipo Likert de 5 opcio­nes. El autor no uti­li­zó algún pro­ce­di­mien­to de vali­da­ción de cons­truc­to; reco­no­ció que se cons­tru­yó con base en su expe­rien­cia y orien­ta a la eva­lua­ción des­de la pers­pec­ti­va del pro­fe­sor y los alum­nos. Por su par­te, San­dia et al., (2005) seña­lan que en la estruc­tu­ra de los cur­sos en línea exis­ten tres com­po­nen­tes impor­tan­tes: humano, tec­no­ló­gi­co e ins­truc­cio­nal. Los auto­res pro­po­nen sie­te áreas de la eva­lua­ción de este tipo de cur­sos en las que se inte­gran 32 acti­vi­da­des. Ade­más, enfo­can a la eva­lua­ción des­de la pers­pec­ti­va de los dise­ña­do­res y no pro­po­nen algún ins­tru­men­to espe­cí­fi­co. Con­clu­yen que los eva­lua­do­res deben defi­nir sus pro­pios cri­te­rios de eva­lua­ción des­de dife­ren­tes pers­pec­ti­vas en su con­tex­to edu­ca­ti­vo.

Otra pro­pues­ta es el cues­tio­na­rio para la eva­lua­ción de cur­sos apo­ya­dos en tec­no­lo­gías de la infor­ma­ción y la comu­ni­ca­ción, para la eva­lua­ción de cur­sos apo­ya­dos en TIC, con­tie­ne 166 ítems dis­tri­bui­dos en 5 áreas; uti­li­za esca­las de res­pues­ta tipo Likert, su enfo­que es orien­ta­do a las opi­nio­nes de los alum­nos; no hay evi­den­cia de tipo alguno de vali­da­ción.

En Espa­ña, Rodrí­guez et al., (2010) pro­po­ne un mode­lo de eva­lua­ción mul­ti­di­men­sio­nal en las áreas: peda­gó­gi­ca, tec­no­ló­gi­ca, dise­ño de inter­faz, ges­tión, apo­yo y eva­lua­ción; en esta pro­pues­ta se inclu­ye la labor tuto­rial. El ins­tru­men­to cons­ta de 29 ítems, esca­la Likert y dise­ña­do para la eva­lua­ción des­de la pers­pec­ti­va de los alum­nos. Este tra­ba­jo repor­tó la con­fia­bi­li­dad del cues­tio­na­rio y uti­li­zó aná­li­sis fac­to­rial para deter­mi­nar la vali­dez de cons­truc­to. Los auto­res solo repor­tan coefi­cien­tes de corre­la­ción inter-ítems, un resu­men de la varian­za expli­ca­da y el coefi­cien­te de con­fia­bi­li­dad alfa de Cron­bach de 0.90.

Al pare­cer, las ten­den­cias en la eva­lua­ción de estos tipos de cur­sos, ini­cial­men­te se enfo­ca­ron des­de la pers­pec­ti­va de los pro­fe­so­res y dise­ña­do­res ins­truc­cio­na­les y pos­te­rior­men­te, se con­si­de­ró la de los alum­nos (Man­ce­bo y Tor­nos, 1998; San­dia et al., 2005; Rodrí­guez et al., 2010; Acón y Tru­ji­llo, 2011; Gar­cía-Cabre­ro et al., 2018; Flo­res y López de la Madrid, 2019; Bald­win y Ching, 2019a; Bald­win y Ching, 2019b; Cali­for­nia Com­mu­nity Colle­ges. Onli­ne Edu­ca­tion Initia­ti­ve, 2018; San­tia­go, 2022; Flo­res y López de la Madrid, 2011). Estos auto­res seña­lan y pun­tua­li­zan en for­ma gene­ral las dimen­sio­nes o áreas que deben eva­luar­se en los cur­sos en línea; la mayo­ría de los comu­ni­ca­dos son pro­pues­tas para la eva­lua­ción des­de la visión o pers­pec­ti­va de los alum­nos; algu­nos pro­po­nen indi­ca­do­res espe­cí­fi­cos ade­cua­dos a su entorno pro­pio y par­ti­cu­lar de tra­ba­jo docen­te. Son esca­sos los repor­tes en los que se pro­po­nen ins­tru­men­tos espe­cí­fi­cos (cues­tio­na­rios, rúbri­cas, lis­tas de cote­jo, etc.) para eva­luar este tipo de cur­sos. Bald­win y Ching (2019a) pro­po­nen una lis­ta de cote­jo para la eva­lua­ción de cur­sos en línea des­de la pers­pec­ti­va de los dise­ña­do­res ins­truc­cio­na­les.

En los tra­ba­jos revi­sa­dos, los auto­res fun­da­men­tan los aspec­tos que con­si­de­ran impor­tan­tes, con base en su expe­rien­cia, cono­ci­mien­to y tra­ba­jo empí­ri­co para eva­luar los cur­sos en línea; sin embar­go, se encon­tró esca­sa evi­den­cia obje­ti­va de que hayan uti­li­za­do algún pro­ce­di­mien­to de vali­dez de cons­truc­to.

Objetivo

Deter­mi­nar la vali­dez de cons­truc­to de un cues­tio­na­rio para la eva­luar el entorno vir­tual de apren­di­za­je dise­ña­do para la asig­na­tu­ra Méto­dos de Inves­ti­ga­ción Edu­ca­ti­va, del Pro­gra­ma de Maes­tría en Docen­cia para la Edu­ca­ción Media Supe­rior de la UNAM.

Método

Estu­dio trans­ver­sal, obser­va­cio­nal, mul­ti­va­ria­do explo­ra­to­rio. Par­ti­ci­pa­ron 110 alum­nos per­te­ne­cien­tes a 7 gene­ra­cio­nes duran­te el perio­do 2016–2022 de la mate­ria MIE. Las sesio­nes pre­sen­cia­les fren­te a gru­po se impar­tie­ron en las ins­ta­la­cio­nes de la Uni­dad de Pos­gra­do de la UNAM; excep­to en los años 2020 y 2021 en los cua­les se reali­zó a dis­tan­cia median­te video con­fe­ren­cia. Se dise­ño un aula vir­tual como apo­yo com­ple­men­ta­rio para los alum­nos con las siguien­tes carac­te­rís­ti­cas:

• Alo­ja­mien­to del cur­so: https://​docen​cia​.tic​.unam​.mx/
• Aula vir­tual: https://​tuau​la​vir​tual​.edu​ca​tic​.unam​.mx/​c​o​u​r​s​e​/​v​i​e​w​.​p​h​p​?​i​d​=​1​7​004
• Sis­te­ma de ges­tión de apren­di­za­je: Mood­le
• Carac­te­rís­ti­cas y for­ma­to del cur­so:
• Moda­li­dad: b‑learning (2016 – 2019 y 2022)
• Moda­li­dad: e‑learning (2020 – 2021)
• Orga­ni­za­ción: 8 módu­los, 106 Recur­sos didác­ti­cos, 16 sesio­nes pre­sen­cia­les; 3 horas cada sema­na duran­te 4 meses
• Tuto­ría: Sín­cro­na y asín­cro­na
• Tras­mi­sión a dis­tan­cia: Zoom Video Com­mu­ni­ca­tions^©
• Núme­ro de docen­tes titu­la­res: 2
• Núme­ro de alum­nos: 20 por cada ciclo esco­lar

Se dise­ño un ins­tru­men­to que inclu­yó 37 pre­gun­tas con res­pues­tas tipo Likert y dife­ren­cial semán­ti­co; ade­más de algu­nas varia­bles socio­de­mo­grá­fi­cas y esco­la­res. La apli­ca­ción del cues­tio­na­rio se reali­zó al final de cada ciclo esco­lar, en for­ma asín­cro­na y des­pués de haber emi­ti­do las cali­fi­ca­cio­nes fina­les de los alum­nos.

Aná­li­sis esta­dís­ti­co: mul­ti­va­ria­do (aná­li­sis fac­to­rial explo­ra­to­rio), para deter­mi­nar la vali­dez de cons­truc­to de las pre­gun­tas que inte­gra­ron el cues­tio­na­rio. La infor­ma­ción obte­ni­da se alma­ce­nó en una base de datos dise­ña­da en el pro­gra­ma esta­dís­ti­co SPSS^© v.25

Con­si­de­ra­cio­nes éti­cas. La eva­lua­ción y apro­ba­ción del pro­yec­to fue otor­ga­do por la Coor­di­na­ción Gene­ral del Pro­gra­ma de Maes­tría en Docen­cia para la Edu­ca­ción Media Supe­rior (MADEMS) de la UNAM. Se soli­ci­tó el con­sen­ti­mien­to volun­ta­rio y anó­ni­mo. La inves­ti­ga­ción se ape­gó a las reco­men­da­cio­nes de pri­va­ci­dad y con­fi­den­cia­li­dad de los docu­men­tos rec­to­res en inves­ti­ga­ción en edu­ca­ción (Ame­ri­can Edu­ca­tio­nal Research Asso­cia­tion, 2011; Natio­nal Coun­cil on Mea­su­re­ment in Edu­ca­tion, 1995; Join Com­mit­tee on Tes­ting Prac­ti­ce.)

Resultados

Par­ti­ci­pa­ron 110 alum­nos per­te­ne­cien­tes a 7 gene­ra­cio­nes duran­te el perio­do 2016–2022. En la Tabla 1 se mues­tran el per­fil gene­ral y carac­te­rís­ti­cas de los alum­nos.

El pro­me­dio de edad fue de 34.39 años ± 7.773 de. con ran­go de 33 a 55.

Tabla 1. Perfil general de los alumnos de la asignatura

Métodos de Investigación Educativa

Varia­ble	Cate­go­rías	Fre­cuen­cia	Por­cen­ta­je
Sexo	Feme­nino	67	60.9
	Mas­cu­lino	43	39.1
Esta­do civil	Sin pare­ja	74	67.2
	Con pare­ja	36	32.8
Gra­do de esco­la­ri­dad	Licen­cia­tu­ra	96	87.3
	Maes­tría y/o espe­cia­li­dad	14	12.7
Tiem­po com­ple­to­pa­ra la maes­tría	Si	82	74.5
	No	28	25.5
Beca eco­nó­mi­ca	Si	82	74.5
	No	28	25.5

Validez de constructo

Se uti­li­zó la téc­ni­ca de aná­li­sis fac­to­rial explo­ra­to­rio, se inclu­ye­ron 37 varia­bles inclui­das en el mode­lo.

Paso 1. Se cal­cu­ló la matriz de corre­la­ción múl­ti­ple y se eva­lua­ron los resul­ta­dos obte­ni­dos de los coefi­cien­tes de corre­la­ción entre las 37 varia­bles. En este paso, el deter­mi­nan­te de la matriz de corre­la­ción múl­ti­ple, la prue­ba de esfe­ri­ci­dad de Bartlett y el índi­ce Kai­ser-Meyer-Olkin, mos­tra­ron valo­res supe­rio­res a los esta­ble­ci­dos como míni­mos. Estos tres pará­me­tros indi­ca­ron que la solu­ción de fac­to­res laten­tes fue ade­cua­da.

Paso 2. Se obtu­vo la varian­za expli­ca­da por el mode­lo que fue 72.5 % obte­ni­da con 10 com­po­nen­tes prin­ci­pa­les; asi­mis­mo, se cal­cu­la­ron los auto­va­lo­res y las car­gas de extrac­ción y rota­ción per­pen­di­cu­lar Vari­max con nor­ma­li­za­ción Kai­ser para opti­mi­zar las car­gas de las varia­bles en los fac­to­res obte­ni­dos (Tabla 2).

Paso 3. En la Tabla 3 se mues­tra la reten­ción de fac­to­res, la con­cep­tua­li­za­ción de estos y sus valo­res de las car­gas fac­to­ria­les para la solu­ción final.

Tabla 2. Varianza total explicada del del modelo de análisis factorial calculado.

Varian­za total expli­ca­da
Com­po-nen­te	Auto­va­lo­res ini­cia­les			Sumas de car­gas al cua­dra­do
				Extrac­ción			Rota­ción Vari­max
	Total	% de varian­za	% acu­mu­la­do	Total	% de varian­za	% acu­mu­la­do	Total	% de varian­za	% acu­mu­la­do
1	9.129	24.023	24.023	9.129	24.023	24.023	5.154	13.563	13.563
2	4.669	12.286	36.309	4.669	12.286	36.309	4.296	11.305	24.868
3	2.758	7.258	43.567	2.758	7.258	43.567	3.603	9.483	34.351
4	2.290	6.025	49.592	2.290	6.025	49.592	3.272	8.611	42.961
5	2.042	5.374	54.966	2.042	5.374	54.966	2.409	6.339	49.300
6	1.576	4.147	59.113	1.576	4.147	59.113	2.266	5.964	55.264
7	1.513	3.981	63.094	1.513	3.981	63.094	2.109	5.550	60.814
8	1.348	3.547	66.640	1.348	3.547	66.640	1.789	4.709	65.523
9	1.159	3.051	69.691	1.159	3.051	69.691	1.335	3.514	69.037
10	1.081	2.844	72.535	1.081	2.844	72.535	1.330	3.499	72.535
Método de extracción: análisis de componentes principales.

Tabla 3. Retención y conceptualización de los factores en la solución final

Fac­tor	Núme­ro­de varia­bles		Car­gas fac­to­ria­les		Con­cep­tua­li­za­ción­fi­nal de fac­to­res
	Inicial(a prio­ri)	Final (reten­ción)	Mayor	Menor
1	10	9	0.855	0.502	Acti­vi­dad tuto­rial
2	10	7	0.828	0.583	Mane­jo de herra­mien­tas de ofi­má­ti­ca
3	6	5	0.810	0.590	Carac­te­rís­ti­cas de los recur­sos didác­ti­cos
4	6	4	0.823	0.654	Usa­bi­li­dad del aula vir­tual
5	6	3	0.880	0.544	Moti­va­ción del alumno
6	-	2	0.789	0.694	Res­pon­sa­bi­li­dad del alumno
7	-	3	0.819	0.606	Bús­que­da, ges­tión y aná­li­sis de infor­ma­ción
8	-	2	0.642	0.575	Pla­nea­ción didác­ti­ca
9	-	1	0.533	-	-
10	-	1	0.775	-	-
La línea de cor­te para la pro­pues­ta final de vali­da­ción se esta­ble­ció en 8 fac­to­res que inclu­ye­ron a 35 varia­bles y se eli­mi­na­ron dos.

En la Tabla 4 de la siguien­te pági­na se mues­tra la eva­lua­ción glo­bal del mode­lo de vali­da­ción de cons­truc­to que con­si­de­ra­mos ade­cua­da y con muy alta con­fia­bi­li­dad.

En el Ane­xo 1, se mues­tra la pro­pues­ta final del ins­tru­men­to con base en los resul­ta­dos obte­ni­dos.

Tabla 4. Evaluación global de la validez de constructo del modelo de análisis factorial

Supues­tos del mode­lo	Valor de refe­ren­cia
	Espe­ra­do	Obte­ni­do
Varian­za expli­ca­da por el mode­lo. Méto­do de extrac­ción: com­po­nen­tes prin­ci­pa­les	≥ 0.60	72.535
Auto­va­lo­res ini­cia­les de los com­po­nen­tes prin­ci­pa­les para su inclu­sión en el mode­lo	≥ 1.0	1.081 a 9.129
Deter­mi­nan­te de la matriz de corre­la­ción múl­ti­ple	p ≤ 0.01	0.0001
Prue­ba de esfe­ri­ci­dad de Bartlett	p ≤ 0.01	0.0001
Ade­cua­ción del mues­treo (Índi­ce Kai­ser- Meyer-Olkin)	≥ 0.60	0.683
Fac­to­res por obte­ner o con­fir­mar (Dimen­sio­nes del cons­truc­to)	5 a prio­ri	10 obtenidos,8 en la solu­ción final
Valor de las car­gas fac­to­ria­les de las pre­gun­tas para su inclu­sión en el mode­lo. Rota­ción de fac­to­res per­pen­di­cu­lar (Vari­max)	≥ 0.400	a 0.855
Coefi­cien­te de con­fia­bi­li­dad alfa de Cron­bach	≥ 0.700	0.908
Eva­lua­ción glo­bal de la vali­dez de cons­truc­to: La con­fia­bi­li­dad del cues­tio­na­rio fue muy alta; sie­te cri­te­rios reba­sa­ron los valo­res míni­mos de refe­ren­cia espe­ra­dos; el mode­lo de vali­da­ción fue ade­cua­do.

Discusión

En esta inves­ti­ga­ción, se enfa­ti­zan, por su impor­tan­cia meto­do­ló­gi­ca, los cri­te­rios de refe­ren­cia y los valo­res obte­ni­dos del mode­lo de vali­da­ción de cons­truc­to para que la inter­pre­ta­ción sea más obje­ti­va.

Acón y Tru­ji­llo (2011) pro­po­nen un mode­lo de eva­lua­ción de la cali­dad de los cur­sos en línea que con­tem­pla cua­tro áreas (tec­no­lo­gía, for­ma­ción, dise­ño ins­truc­cio­nal, ser­vi­cios y sopor­te), se inte­gra con 27 están­da­res y 72 indi­ca­do­res. Este ins­tru­men­to uti­li­za res­pues­tas dico­tó­mi­cas (si – no) de cum­pli­mien­to para cada cri­te­rio y está dise­ña­do con enfo­que de dise­ña­do­res y admi­nis­tra­do­res en edu­ca­ción. En este tra­ba­jo no hay evi­den­cia del tipo de vali­dez para la cons­truc­ción de su pro­pues­ta de eva­lua­ción.

En el estu­dio mix­to (cuan­ti­ta­ti­vo y cua­li­ta­ti­vo) rea­li­za­do por Flo­res y López de la Madrid (2019), se eva­lúa un cur­so en línea des­de la pers­pec­ti­va del alumno; el ins­tru­men­to inclu­yó seis dimen­sio­nes, 28 reac­ti­vos tipo Likert. Obtu­vie­ron con­fia­bi­li­dad de 0.95 y se repor­ta­ron las espe­ci­fi­ca­cio­nes téc­ni­cas del mode­lo de aná­li­sis fac­to­rial uti­li­za­do para la vali­dez de cons­truc­to en for­ma simi­lar a las uti­li­za­das en nues­tro estu­dio, aun­que con algu­nas dife­ren­cias téc­ni­cas no con­si­de­ra­das (valo­res míni­mos de refe­ren­cia espe­ra­dos de la Tabla 3).

Gutié­rrez (2019b) publi­có un tra­ba­jo para iden­ti­fi­car las ten­den­cias en la eva­lua­ción de cur­sos en línea; reali­zó una revi­sión de los dife­ren­tes enfo­ques para la eva­lua­ción y ade­más iden­ti­fi­có nue­ve estu­dios en los que se usa­ron cues­tio­na­rios adap­ta­dos a los fac­to­res o carac­te­rís­ti­cas pro­pias de los cur­sos que fue­ron eva­lua­dos. Gutié­rrez (2019a), en otro tra­ba­jo, reali­zó un estu­dio acer­ca de las per­cep­cio­nes de los alum­nos sobre los cur­sos en línea en el área de las mate­má­ti­cas.

Bald­win y Ching (2019a) ana­li­za­ron las per­cep­cio­nes de los ins­truc­to­res-dise­ña­do­res de los cur­sos en línea; uti­li­za­ron una lis­ta de cote­jo con 16 cri­te­rios que se eva­lúan antes, duran­te y des­pués del pro­ce­so de dise­ño del cur­so; a los dise­ña­do­res se les soli­ci­tó su per­cep­ción de los cri­te­rios median­te un cues­tio­na­rio de pre­gun­tas abier­tas y cerra­das en esca­las tipo Likert. Los auto­res men­cio­nan que la lis­ta de cote­jo de las varia­bles estu­dia­das que se inte­gra­ron se reali­zó median­te la revi­sión de la lite­ra­tu­ra acer­ca del tema (vali­dez de con­te­ni­do).

Bald­win y Ching (2019b), rea­li­za­ron una revi­sión muy amplia de las pla­ta­for­mas edu­ca­ti­vas para el apren­di­za­je en línea; encon­tra­ron que las más fre­cuen­tes en Esta­dos Uni­dos son Black­board, Can­vas y Mood­le. Los auto­res sos­tie­nen que, para brin­dar cali­dad edu­ca­ti­va, la eva­lua­ción de los cur­sos en línea es un paso impor­tan­te.

La Ini­cia­ti­va de Edu­ca­ción en Línea del Cam­pus Vir­tual de Cali­for­nia (2018), desa­rro­lló una rúbri­ca para eva­luar 44 cri­te­rios de los cur­sos en línea dis­tri­bui­dos en cua­tro sec­cio­nes: pre­sen­ta­ción del con­te­ni­do, inter­ac­ción, eva­lua­ción y acce­si­bi­li­dad. La rúbri­ca, espe­ci­fi­ca con deta­lle y cla­ri­dad las carac­te­rís­ti­cas de la esca­la de eva­lua­ción; no se infor­mó de su pro­ce­di­mien­to de vali­da­ción.

San­tia­go (2022)^, des­ta­ca la impor­tan­cia de la rela­ción entre la ido­nei­dad para que el estu­dian­te apren­da en línea (apren­di­za­je auto­di­ri­gi­do, moti­va­ción aca­dé­mi­ca y con­trol del alumno entre otros) y la usa­bi­li­dad del cur­so, fun­da­men­tal­men­te en los aspec­tos del con­te­ni­do, inter­ac­ti­vi­dad, pre­sen­cia del ins­truc­tor y dise­ño del cur­so. En nues­tro tra­ba­jo la con­cep­tua­li­za­ción de los fac­to­res obte­ni­dos (Tabla 3), coin­ci­de con el autor con­sul­ta­do. Por su par­te, Flo­res et al., orien­tan su estu­dio a la dimen­sión peda­gó­gi­ca, eva­lúan aspec­tos que coin­ci­den en nues­tro tra­ba­jo en los fac­to­res 3 y 8; la vali­da­ción del ins­tru­men­to se reali­zó median­te una prue­ba pilo­to apli­ca­da a 30 alum­nos y obtu­vie­ron un coefi­cien­te alfa de Cron­bach de 0.90.

Actual­men­te, la Uni­ver­si­dad Esta­tal Sam Hous­ton de Texas, (Sam Hous­ton Sta­te Uni­ver­sity, 2023) en los Esta­dos Uni­dos, ofre­ce a los dise­ña­do­res e ins­truc­to­res edu­ca­ti­vos de cur­sos en línea, apo­yo humano, ser­vi­cios y herra­mien­tas digi­ta­les para el dise­ño, desa­rro­llo e implan­ta­ción de este tipo de cur­sos; tan­to en for­ma­to en línea como en for­ma com­bi­na­da (b‑learning). Esta Uni­ver­si­dad ha crea­do guías que inclu­yen los aspec­tos de pla­nea­ción, orga­ni­za­ción, obje­ti­vos de apren­di­za­je del estu­dian­te, ele­men­tos mul­ti­me­dia, acti­vi­da­des de cola­bo­ra­ción, comu­ni­ca­ción y eva­lua­ción.

Lo impor­tan­te de estas guías, es que son úti­les para fun­da­men­tar con más obje­ti­vi­dad los aspec­tos que pue­den eva­luar­se des­de la visión de los pro­fe­so­res e inclu­ye los aspec­tos de eva­lua­ción del apren­di­za­je de los alum­nos par­tien­do del prin­ci­pio de mejo­res prác­ti­cas para el dise­ño de cur­sos y la ins­truc­ción bási­ca en línea. Los auto­res pro­po­nen una rúbri­ca diri­gi­da a los dise­ña­do­res ins­truc­cio­na­les e ins­truc­to­res-pro­fe­so­res para eva­luar los aspec­tos bási­cos de los cur­sos en línea.

Acer­ca de las limi­ta­cio­nes de este estu­dio se con­si­de­ran las rela­cio­na­das con el tipo y tama­ño de la mues­tra. El mues­treo uti­li­za­do, no fue alea­to­rio; lo cual impi­de gene­ra­li­zar los resul­ta­dos obte­ni­dos a la pobla­ción de refe­ren­cia; sin embar­go, en las sie­te gene­ra­cio­nes que han cur­sa­do la mate­ria MIE, apro­xi­ma­da­men­te la han toma­do 120 alum­nos y en el estu­dio se obtu­vie­ron 110 res­pues­tas lo que repre­sen­ta el 91.6%, cifra con­si­de­ra­da como repre­sen­ta­ti­va. Otra limi­tan­te fue que, para la pla­nea­ción y cons­truc­ción del ins­tru­men­to, el dise­ño final se ade­cuó y dis­pu­so para las carac­te­rís­ti­cas pro­pias de la mate­ria en for­ma­to pre­sen­cial y apo­yo com­ple­men­ta­rio en aula vir­tual.

En la revi­sión de la lite­ra­tu­ra se encon­tró que exis­te una gran diver­si­dad de pro­pues­tas para la eva­lua­ción de cur­sos en línea des­de dife­ren­tes visio­nes o pers­pec­ti­vas (dise­ña­do­res, pares aca­dé­mi­cos, pro­fe­so­res y alum­nos). La mayo­ría de los auto­res con­sul­ta­dos des­ta­can la impor­tan­cia y uti­li­dad de la eva­lua­ción des­de la visión de los alum­nos; esta fue la inten­ción en este tra­ba­jo.

Otra for­ta­le­za fue que, a dife­ren­cia de las diver­sas pro­pues­tas con­sul­ta­das, no se espe­ci­fi­can los méto­dos esta­dís­ti­cos robus­tos para la vali­da­ción de cons­truc­to de ins­tru­men­tos de eva­lua­ción de cur­sos en línea; algu­nos son cons­trui­dos por la expe­rien­cia empí­ri­ca docen­te, otros sola­men­te indi­can las áreas o com­po­nen­tes que se deben eva­luar y pocos usan pro­ce­di­mien­tos obje­ti­vos y veri­fi­ca­bles como lo fue el caso del pre­sen­te estu­dio.

Conclusiones

Exis­te una gran varie­dad de herra­mien­tas de eva­lua­ción de cur­sos para guiar a los pro­fe­so­res, ins­truc­to­res y dise­ña­do­res, sin embar­go, son esca­sos los ins­tru­men­tos, lis­tas de cote­jo, cues­tio­na­rios o rúbri­cas en los que se espe­ci­fi­can los deta­lles o carac­te­rís­ti­cas téc­ni­cas de los dife­ren­tes pro­ce­sos de vali­da­ción.

En este tra­ba­jo se pro­po­ne un ins­tru­men­to para la eva­lua­ción de los cur­sos en línea. Los fac­to­res obte­ni­dos con­cep­tua­li­za­dos fue­ron: Acti­vi­dad tuto­rial, mane­jo de herra­mien­tas de ofi­má­ti­ca, carac­te­rís­ti­cas de los recur­sos didác­ti­cos, usa­bi­li­dad del aula vir­tual, moti­va­ción del alumno, res­pon­sa­bi­li­dad del alumno, bús­que­da, ges­tión y aná­li­sis de infor­ma­ción y pla­nea­ción didác­ti­ca.

El estu­dio con­tri­bu­ye a la nece­si­dad de dise­ñar, ela­bo­rar y vali­dar ins­tru­men­tos en el área de la psi­co­me­tría para eva­luar los cur­sos en línea, para ello, se uti­li­zó un méto­do esta­dís­ti­co mul­ti­va­ria­do poten­te y robus­to (aná­li­sis fac­to­rial). El cues­tio­na­rio vali­da­do se ane­xa para aque­llos intere­sa­dos en la eva­lua­ción del dise­ño y desa­rro­llo de cur­sos en línea con­si­de­ran­do la opi­nión de los alum­nos.

Referencias

Acón-Mata­mo­ros, A. G., y Tru­ji­llo-Cote­ra, A. (2011). Eva­lua­ción de un cur­so en línea: Cri­te­rios de cali­dad. Revis­ta Elec­tró­ni­ca Cali­dad en la Edu­ca­ción Supe­rior, 2(1), 89–104.

AERA Code of Ethics: Ame­ri­can Edu­ca­tio­nal Research Asso­cia­tion Appro­ved by the AERA Coun­cil February 2011. (2011). Edu­ca­tio­nal Resear­cher, 40(3), 145–156. https://journals.sagepub.com/doi/abs/10.3102/0013189X11410403?journalCode=edra#:~:text=Education%20researchers%20are%20honest%2C%20fair,jeopardize%20the%20welfare%20of%20others.

Bald­win, S.J., y Ching, Y. H. (2019a). An onli­ne cour­se design chec­klist: deve­lop­ment and users’ per­cep­tions. Jour­nal of Com­pu­ting in Higher Edu­ca­tion, 31(1), 156–172.

Bald­win, S.J., y Ching, Y. H. (2019b). Onli­ne Cour­se Design: A Review of the Can­vas Cour­se Eva­lua­tion Chec­klist. Inter­na­tio­nal Review of Research in Open and Dis­tri­bu­ted Lear­ning, 20(3), 268–82.

Cali­for­nia Com­mu­nity Colle­ges. Onli­ne Edu­ca­tion Initia­ti­ve. (2018). Cour­se Design Rubric. The Cali­for­nia Vir­tual Cam­pus-Onli­ne Edu­ca­tion Initia­ti­ve (CVC-OEI). https://​cvc​.edu/​w​p​-​c​o​n​t​e​n​t​/​u​p​l​o​a​d​s​/​2​0​1​8​/​1​0​/​C​V​C​-​O​E​I​-​C​o​u​r​s​e​-​D​e​s​i​g​n​-​R​u​b​r​i​c​-​r​e​v​.​1​0​.​2​0​1​8​.​pdf

Cues­tio­na­rio para la eva­lua­ción de cur­sos apo­ya­dos en tec­no­lo­gías de la infor­ma­ción y la comu­ni­ca­ción. https://​www​.tdx​.cat/​b​i​t​s​t​r​e​a​m​/​h​a​n​d​l​e​/​1​0​8​0​3​/​8​9​0​9​/​N​c​u​e​s​t​i​o​n​a​r​i​o​f​i​n​a​l​.​pdf

Flo­res Gue­rre­ro, K., López de la Madrid, M. C., Rodrí­guez Her­nán­dez, M. A. (2011). La dimen­sión peda­gó­gi­ca en el Mode­lo de Eva­lua­ción de Cur­sos en Línea del Cen­tro Uni­ver­si­ta­rio del Sur. Orga­ni­za­ción de los Esta­dos Ame­ri­ca­nos. Por­tal Edu­ca­ti­vo de las Amé­ri­cas. https://​recur​sos​.edu​coas​.org/​s​i​t​e​s​/​d​e​f​a​u​l​t​/​f​i​l​e​s​/​1​9​0​8​.​pdf

Flo­res Gue­rre­ro, K., y López de la Madrid, M. C. (2019). Eva­lua­ción de cur­sos en línea des­de la pers­pec­ti­va del estu­dian­te: un aná­li­sis de méto­dos mix­tos. Pers­pec­ti­va Edu­ca­cio­nal, 58(1), 92–114.

Gar­cía-Cabre­ro, B., Luna Serrano, E., Pon­ce-Ceba­llos, S., Cis­ne­ros-Coher­nour, E. J., Cor­de­ro Arro­yo, G., Espi­no­sa Díaz, Y., y Gar­cía Vigil, M. H. (2018). Las com­pe­ten­cias docen­tes en entor­nos vir­tua­les: un mode­lo para su eva­lua­ción. Revis­ta Ibe­ro­ame­ri­ca­na de Edu­ca­ción a Dis­tan­cia, 21(1), 343–365.

Gutié­rrez-Moreno, L. I. (2019a). Eva­lua­ción de un cur­so en línea de Mate­má­ti­ca Reme­dial. HETS Onli­ne Jour­nal. 10(1)58–89.

Gutié­rrez-Moreno, L. I. (2019b). Ten­den­cias en la eva­lua­ción de cur­sos en línea. HETS Onli­ne Jour­nal. 9(2), 101–121.

Join Com­mit­tee on Tes­ting Prac­ti­ce. Code of Fair Tes­ting Prac­ti­ces in Edu­ca­tion. https://​www​.apa​.org/​s​c​i​e​n​c​e​/​p​r​o​g​r​a​m​s​/​t​e​s​t​i​n​g​/​f​a​i​r​-​t​e​s​t​i​n​g​.​pdf

Man­ce­bo-Ale­many, F. M., y Tor­nos-Tor­ta­ja­da, M. J. (1998). La eva­lua­ción de cur­sos en línea: Una pro­pues­ta apli­ca­da a casos reales. En: F. Alcan­tud-Marín, Tele­for­ma­ción: Dise­ño para todos. (pp. 206 ‑227). https://www.academia.edu/85254205/Teleformaci%C3%B3n_Dise%C3%B1o_para_todos

Natio­nal Coun­cil on Mea­su­re­ment in Edu­ca­tion. (1995). Code of Pro­fes­sio­nal Res­pon­si­bi­li­ties in Edu­ca­tio­nal Mea­su­re­ment. Eva­lua­tion and Tes­ting in Nur­sing Edu­ca­tion, 5th Edi­tion, Sprin­ger Publishing Com­pany, New York, 379–386. https://​doi​.org/​1​0​.​1​8​9​1​/​9​7​8​0​8​2​6​1​9​4​8​9​3​.​a​p04

Rodrí­guez Her­nán­dez, M. A., Flo­res Gue­rre­ro, K., y López de la Madrid, M. C. (2010). Mode­lo mul­ti­di­men­sio­nal para la eva­lua­ción de cur­sos en línea des­de la pers­pec­ti­va del estu­dian­te. Aper­tu­ra, 2(2).

San­dia, B., Mon­til­va, J., y Barrios, J. (2005). Cómo eva­luar cur­sos en línea. Edu­ce­re, 9(31), 523–530.

San­tia­go Ramos, L. N. (2022). Rela­ción entre la ido­nei­dad del estu­dian­te para apren­der en línea y la eva­lua­ción de usa­bi­li­dad de los cur­sos en línea [Tesis de doc­to­ra­do]. Uni­ver­si­dad Inter­ame­ri­ca­na de Puer­to Rico. https://​pon​ce​.inter​.edu/​c​a​i​/​T​e​s​i​s​_​G​r​a​d​u​a​d​o​/​L​i​n​d​a​-​S​a​n​t​i​a​g​o​/​i​n​d​e​x​.​pdf

SHSU onli­ne. Blen­ded Rubric for Cour­se Design. Sam Hous­ton Sta­te Uni­ver­sity. https://​onli​ne​.shsu​.edu/​c​a​m​p​u​s​/​f​a​c​u​l​t​y​-​s​e​r​v​i​c​e​s​/​d​o​c​u​m​e​n​t​s​/​r​u​b​r​i​c​s​/​H​y​b​r​i​d​-​B​l​e​n​d​e​d​+​R​u​b​r​i​c​.​pdf

SHSU onli­ne. Onli­ne-Live Rubric for Cour­se Design. Sam Hous­ton Sta­te Uni­ver­sity. https://​onli​ne​.shsu​.edu/​c​a​m​p​u​s​/​f​a​c​u​l​t​y​-​s​e​r​v​i​c​e​s​/​d​o​c​u​m​e​n​t​s​/​r​u​b​r​i​c​s​/​O​n​l​i​n​e​-​L​i​v​e​-​R​u​b​r​i​c​.​pdf

SHSU Onli­ne. Rubric for Onli­ne Cour­se Design with Feed­back. Sam Hous­ton Sta­te Uni­ver­sity. https://​onli​ne​.shsu​.edu/​c​a​m​p​u​s​/​f​a​c​u​l​t​y​-​s​e​r​v​i​c​e​s​/​d​o​c​u​m​e​n​t​s​/​r​u​b​r​i​c​s​/​o​n​l​i​n​e​-​r​u​b​r​i​c​-​w​i​t​h​-​f​e​e​d​b​a​c​k​.​pdf

SHSU Onli­ne. Rubric for Onli­ne Cour­se Design. Sam Hous­ton Sta­te Uni­ver­sity [inter­net]. [cita­do 2023 mayo 27] Dis­po­ni­ble en: https://​onli​ne​.shsu​.edu/​c​a​m​p​u​s​/​f​a​c​u​l​t​y​-​s​e​r​v​i​c​e​s​/​d​o​c​u​m​e​n​t​s​/​r​u​b​r​i​c​s​/​O​n​l​i​n​e​-​R​u​b​r​i​c​.​pdf

SHSU Onli­ne. Gui­de­li­nes for Crea­ting a Blen­ded Cour­se. Sam Hous­ton Sta­te Uni­ver­sity [inter­net]. [cita­do 2023 mayo 27] Dis­po­ni­ble en: https://​onli​ne​.shsu​.edu/​c​a​m​p​u​s​/​f​a​c​u​l​t​y​-​s​e​r​v​i​c​e​s​/​d​o​c​u​m​e​n​t​s​/​G​u​i​d​e​l​i​n​e​s​F​o​r​C​r​e​a​t​i​n​g​a​B​l​e​n​d​e​d​R​u​b​r​i​c​2​0​2​1​.​p​d​f​?​l​a​n​g​u​a​g​e​_​i​d=1

Uni­ver­si­dad Nacio­nal Autó­no­ma de Méxi­co. (2019). Pro­yec­to de modi­fi­ca­ción del Pro­gra­ma de Maes­tría en Docen­cia para la Edu­ca­ción Media Supe­rior. https://​madems​.pos​gra​do​.unam​.mx/​a​l​u​m​n​o​s​/​p​l​a​n​.​pdf

Anexo 1

Cuestionario para la evaluación de cursos en línea

Las siguien­tes pre­gun­tas tie­nen la fina­li­dad de eva­luar el desem­pe­ño de la acti­vi­dad tuto­rial de tu pro­fe­sor duran­te el desa­rro­llo de la mate­ria; con­si­de­ra la siguien­te esca­la y su equi­va­len­cia numé­ri­ca:

Desem­pe­ño­del pro­fe­sor	Pun­tua­ción
Pési­mo	1
Malo	2
Regu­lar	3
Bueno	4
Muy bueno	5
Exce­len­te	6

Mar­ca con una equis (x) la pun­tua­ción que con­si­de­res apro­pia­da. (No mar­ques doble res­pues­ta).

Fac­tor 1. Acti­vi­dad tuto­rial	1	2	3	4	5	6
El ase­sor me infor­mó y orien­tó sobre téc­ni­cas para mejo­rar mi apren­di­za­je
Las dudas sobre mi desem­pe­ño en el aula fue­ron acla­ra­das acer­ta­da­men­te
El ase­sor tuvo la dis­po­si­ción de aten­der­me cuan­do lo reque­rí
La comu­ni­ca­ción con el ase­sor, en el aula vir­tual, me dio con­fian­za
Me sen­tí cómo­do en las sesio­nes de ase­so­ría en el ambien­te del aula vir­tual
La orien­ta­ción reci­bi­da median­te la ase­so­ría me com­pro­me­tió a par­ti­ci­pa­rac­ti­va­men­te para desa­rro­llar mi pro­yec­to de inves­ti­ga­ción
Mi ase­sor revi­só mis acti­vi­da­des y me pro­por­cio­nó retro­ali­men­ta­ción de mane­rao­por­tu­na (no mayor a 72 horas des­pués de enviar mis tareas)
Los resul­ta­dos para desa­rro­llar el pro­yec­to de inves­ti­ga­ción se deben al apo­yo­de la ase­so­ría
Con­si­de­ro que el tra­ba­jo y la labor de tuto­ría rea­li­za­da por mi ase­sor fue:

Para cada pro­gra­ma o apli­ca­ción de Inter­net, mar­ca en los espa­cios con una equis (x), del 1 al 6, el gra­do de habi­li­dad que con­si­de­ras tener. (No mar­ques doble res­pues­ta).

Fac­tor 2. Mane­jo de herra­mien­tas de ofi­má­ti­ca
Pro­gra­ma o apli­ca­ción	Nula1	Mala2	Regular3	Buena4	Muy buena5	Excelente6
Word
Excel
Power Point
Acro­bat (PDF)
Edi­to­res de imá­ge­nes
Correo Elec­tró­ni­co
Goo­gle Dri­ve

Para cada carac­te­rís­ti­ca del aula vir­tual, mar­ca con una equis (x) en los espa­cios del 1 al 4, según tu per­cep­ción (No mar­ques doble res­pues­ta).

Fac­tor 3. Carac­te­rís­ti­cas de los recur­sos didác­ti­cos	Mala 1	Regu­lar 2	Bue­na 3	Exce­len­te 4
Mate­ria­les de apo­yo didác­ti­co
Pro­fun­di­dad de los mate­ria­les didác­ti­cos (com­ple­ji­dad­de la infor­ma­ción)
Exten­sión de los mate­ria­les didác­ti­cos (can­ti­dad dein­for­ma­ción)
Cla­ri­dad de los con­te­ni­dos
Uti­li­dad de los con­te­ni­dos

Fac­tor 4. Usa­bi­li­dad del aula vir­tual	Mala 1	Regu­lar 2	Bue­na 3	Exce­len­te 4
Faci­li­dad para acce­der al aula
Des­pla­za­mien­to entre los módu­los y temas
Faci­li­dad para acce­der a los con­te­ni­dos de los temas
Como­di­dad den­tro del aula

Selec­cio­na con una equis (x), el espa­cio corres­pon­dien­te, según el gra­do de tu sen­tir per­so­nal que mos­tras­te duran­te las sesio­nes pre­sen­cia­les en aula; estas pre­gun­tas tie­nen gra­do de pola­ri­dad, es decir, tus res­pues­tas pue­den o no acer­car­se a los extre­mos. (No mar­ques doble res­pues­ta).

Fac­tor 5. Moti­va­ción del alumno
Com­pro­me­ti­do							No Com­pro­me­ti­do
No intere­sa­do							Intere­sa­do
Aten­to							Dis­traí­do

Fac­tor 6. Res­pon­sa­bi­li­dad del alumno
Res­pon­sa­ble							No Res­pon­sa­ble
Par­ti­ci­pa­ti­vo							No par­ti­ci­pa­ti­vo

Para cada pro­gra­ma o apli­ca­ción de Inter­net, mar­ca en los espa­cios con una equis (x), del 1 al 6, el gra­do de habi­li­dad que con­si­de­ras tener. (No mar­ques doble res­pues­ta).

Fac­tor 7. Bús­que­da, ges­tión y aná­li­sis de infor­ma­ción
Pro­gra­ma o apli­ca­ción	Nula 1	Mala 2	Regu­lar 3	Bue­na 4	Muy bue­na 5	Exce­len­te 6
Ges­to­res de refe­ren­cias (Men­de­ley, Zote­ro)
ERIC
Pro­gra­mas de aná­li­sis esta­dís­ti­co

Para cada carac­te­rís­ti­ca de los recur­sos didác­ti­cos, mar­ca con una equis (x) en los espa­cios del 1 al 4 según tu per­cep­ción. (No mar­ques doble res­pues­ta).

Fac­tor 8. Pla­nea­ción didác­ti­ca	Nun­ca 1	Casi nun­ca 2	Casisiem­pre 3	Siem­pre 4
Las acti­vi­da­des (lec­tu­ras, tareas, etc.) fue­ron con­gruen­tes­con los obje­ti­vos de apren­di­za­je
La tuto­ría impar­ti­da evi­den­ció una pla­nea­ción de acti­vi­da­des

Notas

1. Efrén Raúl Pon­ce-Rosas, Sub­di­vi­sión de Medi­ci­na Fami­liar, Divi­sión de Estu­dios de Pos­gra­do, Facul­tad de Medi­ci­na, UNAM. Ciu­dad de Méxi­co. Correo: iprenator@gmail.com ↑
2. Rocío Dávi­la-Men­do­za, Sub­di­vi­sión de Medi­ci­na Fami­liar, Divi­sión de Estu­dios de Pos­gra­do, Facul­tad de Medi­ci­na, UNAM. Ciu­dad de Méxi­co. Correo: roci.dm31@gmail.com ↑
3. Irma Jimé­nez-Gal­ván, Sub­di­vi­sión de Medi­ci­na Fami­liar, Divi­sión de Estu­dios de Pos­gra­do, Facul­tad de Medi­ci­na, UNAM. Ciu­dad de Méxi­co. Correo: irmaj@unam.mx ↑
4. María Esther Urru­tia-Agui­lar, Sub­di­vi­sión de Espe­cia­li­za­cio­nes Médi­cas, Divi­sión de Estu­dios de Pos­gra­do, Facul­tad de Medi­ci­na, UNAM. Ciu­dad de Méxi­co. Correo: mariau@unam.mxFinan­cia­mien­to: nin­guno. Con­flic­to de inte­rés: nin­guno ↑