Evidencia de validez de contenido de un instrumento de estilos de identidad profesional en psicólogos

Daniel Aarón García Dottor, Martha Elizabeth Zanatta Colín^[2]

Facultad de Ciencias de la Conducta, Universidad Autónoma del Estado de México

Introducción

La identidad es un concepto integral que hace referencia a la forma en que una persona se ve a sí misma, se distingue en relación con los demás y se proyecta hacia un futuro. La conformación de la identidad es un proceso que forma parte del desarrollo que se construye a través de las distintas etapas de la vida. Erikson sostiene (en Marcia, 1980) que es en la adolescencia cuando convergen una serie de elementos. tanto físicos como psicológicos y sociales, que permiten un proceso de conformación de la identidad óptimo. Es también durante esta etapa que el adolescente debe elegir una forma de ganarse la vida para ingresar al mundo de los adultos, en el que gradualmente pasará de ser una persona dependiente a ser un proveedor.

Marcia (1993) derivó de la teoría de Erikson una tipología de los estados de identidad, en los que se puede clasificar a las personas según el estado de desarrollo en que se encuentre su identidad. Los estados se caracterizan por la presencia o ausencia de compromiso con ciertas ideas, valores y creencias, así como la presencia o ausencia de un proceso de exploración previo. Este autor propone cuatro estados de identidad: moratoria, son aquellos que se están esforzando por alcanzar un compromiso y dedican recursos a la exploración; difusa, quienes han realizado poca o ninguna exploración y carecen de compromiso; hipotecada, con un compromiso asumido de otras personas sin un proceso de exploración; y logro de identidad, con compromisos alcanzados después de un periodo de exploración (Kroger y Marcia, 2011).

Berzonsky (2011) a su vez propone cuatro estilos de identidad a partir del trabajo de Marcia; la connotación estilo hace referencia a su carácter dinámico, mientras que el estado se considera como un aspecto más estático, algo parecido a una fotografía de la identidad. Los estilos de identidad se clasifican en: informativo, donde se encuentra en un proceso de exploración activo, con un bajo compromiso, pero con disposición para analizar opciones antes de tomar una decisión o comprometerse; normativo, con baja exploración y alto compromiso, sin previa exploración de las alternativas, donde sus expectativas y normas han sido interiorizadas de otras personas sin previo análisis; difuso, con bajo compromiso y bajo nivel de exploración, se orienta a la evasión de las decisiones hasta que son inevitables; y conformado, abierto a las alternativas, con un compromiso firme después de realizar un proceso de exploración.

La identidad personal es la base para la conformación de una identidad profesional, y esta a su vez le da solidez a la primera. El trabajo es uno de los elementos principales en la vida de las personas; la actividad laboral da sentido a las personas y razón de quiénes son. La identidad profesional de acuerdo con Zacarés y Linares (2006, p. 128) se puede entender como un “ámbito de la identidad personal más sensible a la participación en programas formativos profesionalizadores”. Para Dubar (citado en Gewerc, 2001, p.7) la identidad social y profesional consisten en “las construcciones sociales implicadas en la interacción entre las trayectorias individuales y los sistemas de empleo, de trabajo y de formación”. La identidad profesional se vincula estrechamente con la identidad personal, comienza con la formación universitaria y continúa durante el ejercicio profesional en el ámbito laboral.

Harrsch (2005) analiza el proceso de conformación de la identidad profesional en psicólogos, desde la formación que es cuando comienza a configurarse. También plantea tres dimensiones que configuran a la identidad profesional: la personal, teórica y práctica. La dimensión personal comprende las experiencias, intereses y valores del estudiante; la teórica, los conocimientos adquiridos, y la práctica, las destrezas y habilidades que los estudiantes deben desarrollar durante su formación. Los dominios por lo general se encuentran detallados en forma de competencias en el currículum del programa educativo, pero pueden verse de manera general en el perfil de ingreso y egreso. Estos dominios se emplearon para la construcción del instrumento de identidad profesional; se integró un dominio ético para analizar los valores profesionales de forma particular.

Para el diseño del instrumento se partió de la teoría de los estilos de identidad propuesta por Berzonsky (2011) y de los estados de identidad de Marcia (1966). Se realizó un análisis de las características de cada teoría, y se decidió fusionarlas por los criterios de congruencia y cercanía teórica. La compatibilidad teórica permitió integrar las ventajas de cada propuesta para el análisis de la identidad. Los estilos de identidad se configuraron en los tres dominios de la identidad profesional propuestos por Harrsch (2005), más la dimensión centrada en el aspecto ético. Una vez presentados en forma general los enfoques teóricos de la identidad, es conveniente analizar los principios psicométricos sobre los que se llevó a cabo el proceso de obtención de las evidencias de validez referidas al contenido.

La validez de acuerdo con Cronbach y Meehl (1955) se divide en cuatro: validez predictiva, validez concurrente, validez de contenido y validez de constructo. Los dos primeros tipos de validez se orientan hacia la evidencia empírica, puesto que precisan de criterios claramente definidos para poder someterse a prueba. La validez de contenido se establece a través de criterios representativos de los conceptos definidos en la teoría; se debe demostrar que los reactivos son una muestra representativa del universo que se pretende medir. La validez de constructo busca la relación entre aquellos ítems que pertenecen a un mismo dominio y pueden ser agrupados en lo que se denomina un factor. Bajo esta perspectiva se puede decir que un instrumento es válido cuando mide el atributo que pretende medir y no otro.

No obstante, en los estándares para la pruebas educativas y psicológicas (AERA, APA y NCME, 2018) no se recomienda la clasificación de la validez en tipos, sino más bien se propone el empleo de evidencias de validez, como parte de un concepto unitario que se suman para probar la validez como un aspecto general. Tampoco se acepta la expresión de instrumento válido, puesto que no es el instrumento en sí lo que demuestra validez, sino las interpretaciones que demuestran que el instrumento es útil en los usos previstos para los que fue diseñado. Considerar que una prueba es “válida” puede llevar a los diseñadores y usuarios de instrumentos a cometer el error de no justificar con evidencia empírica el uso de una prueba en específico. La idea que se pretende transmitir es que un instrumento debe ser sometido constantemente a pruebas que constaten su utilidad para los usos propuestos.

La evidencia de contenido “puede incluir análisis lógicos o empíricos de la adecuación con la que el contenido de la prueba representa el dominio de contenidos y de la relevancia del dominio de contenido” (AERA, APA y NCME, 2018, p. 15). Pedrosa, Suárez-Álvarez y García-Cueto (2013) refieren que la validez de contenido es un aspecto imprescindible, pero insuficiente para realizar una interpretación de los puntajes arrojados por las pruebas. También resaltan el aumento en su protagonismo como una de las fuentes de evidencia de validez. El juicio de expertos es “una opinión informada de personas con trayectoria en el tema, que son reconocidas por otros como expertos cualificados en éste, y que pueden dar información, evidencia, juicios y valoraciones” (Escobar-Pérez y Cuervo-Martínez, 2008, p. 29).

De acuerdo con Prieto y Delgado (2010) el juico de expertos es uno de los métodos más habituales para estimar la validez de contenido. Sin embargo, recientemente se emplean otros métodos como los basados en la observación directa, entrevistas o análisis de documentos. Escobar-Pérez y Cuervo-Martínez (2008) refieren que para poder definir un adecuado universo de reactivos es necesario contar con definiciones operacionales de los constructos y dimensiones que se pretenden medir, pues es a partir de ellos que se elaboran los ítems. Los estándares para las evaluaciones educativas y psicológicas refieren que las evidencias basadas en el contenido se pueden obtener a través de los juicios de expertos, quienes valoran el nivel de relación entre el constructo a medir y los ítems, además de juzgar distintos aspectos como la relevancia, coherencia y claridad de los ítems (AERA, APA y NCME, 2018).

Método

Población

Se realizó una selección no probabilística de tipo intencionada y entre los criterios de selección se emplearon los siguientes: Contar con el grado académico de doctor o en su caso poseer grado de maestría, con una experiencia probada en el tema de estudio, en la construcción de instrumentos y en el desarrollo de investigaciones. El grupo de expertos se conformó por seis docentes investigadores de una universidad pública en el Estado de México. Cinco de ellos con grado de Doctor y uno con Maestría, con experiencia promedio de treinta años en investigación y elaboración de instrumentos. Todos cuentan con publicaciones en revistas indexadas.

Instrumento

Se envió la solicitud de apoyo junto con la plantilla para la revisión y los criterios de valoración entre los que se incluyó la claridad, coherencia y relevancia de los reactivos. En este documento únicamente se presentan los resultados relativos a la relevancia dada la extensión de la información. Se empleó una escala tipo Likert con cuatro opciones de respuesta; los jueces valoraron la relevancia de cada ítem a partir de las opciones de la Tabla 1.

Tabla 1. Escala de valoración de la relevancia del ítem

Nota: Tomado de “Validez de contenido y juicio de expertos: una aproximación a su utilización” por Escobar-Pérez, J., Cuervo-Martínez, A. (2008).

Se asignó 1 cuando el ítem se consideró irrelevante, 2 cuando se consideró que el ítem puede estar incluido en otra dimensión, 3 cuando el ítem se consideró importante y 4 cuando se consideró que el ítem tenía que ser incluido. En la plantilla para la asignación de puntajes por parte de los jueces se incluyó el objetivo de la prueba, la definición de las variables y dimensiones que se pretende medir, así como las instrucciones para su aplicación y categorías de respuesta. En la tabla 2 se puede observar la estructura del instrumento en la que se incluyen las dimensiones e indicadores.

Tabla 2. Estructura del instrumento

Fuente: Elaboración propia

Resultados

Para calcular el índice de validez de contenido se empleó la ecuación propuesta por Lawshe (1975). Pedrosa, Suárez-Álvarez y García-Cueto (2013) refieren que el IVC es el método actual más empleado para calcular la validez de contenido. Polit, Beck y Owen (2007) refieren que entre las ventajas de usar este método se encuentra la facilidad para calcular e interpretar el índice, la información a nivel de ítem y prueba además del acuerdo en la relevancia del ítem y en el consenso entre los jueces. Es importante señalar que esta prueba considera como aceptables aquellos ítems que tienen una puntuación mayor o igual 0.29; no obstante, esto aplica cuando se tiene un número grande de jueces. Si se desea calcular el índice de validez de contenido con esta fórmula y pocos jueces (3 a 7 por ejemplo) se tendrían que obtener puntuaciones de 1, es decir, que todos los jueces estuvieran de acuerdo en la relevancia del ítem. A continuación, se presenta la ecuación para obtener el índice de validez de contenido:

Donde ne = número de jueces que señalaron al ítem como muy relevante, por lo que debería ser incluido. N = número total de jueces.

Tristán-López (2008) hace referencia a la dificultad de contar con una amplia cantidad de jueces expertos para responder a las exigencias actuales, hecho que lo motivó a plantear un modelo alternativo para obtener índices de validez de contenido que permitan seleccionar ítems de calidad sin la necesidad de contar con muchos expertos, ni tener niveles de acuerdo unánimes con pocos jueces. De modo que plantea la siguiente fórmula para obtener una medida más balanceada:

Donde IVC = La razón de validez de contenido para cada ítem. N = número total de jueces.

A partir de este ajuste se obtiene una proporción constante del número de jueces, y de acuerdo con Tristán-López (2008) el consenso mínimo para el acuerdo entre jueces y la aceptación de ítem, siempre será de 58.23 %. De acuerdo con Urrutia, Barrios, Gutiérrez y Mayorga (2014) el nivel de acuerdo en la revisión de un ítem debe ser de al menos un 80 %, de modo que para este trabajo se aceptaron sólo los ítems que superaron este porcentaje. Cabe mencionar que las opciones de respuesta se reducen a una alternativa dicotómica en la que se incluye el acuerdo de muy relevante y relevante, de un lado y algo relevante e irrelevante del otro. Por la extensión del instrumento no es posible presentar todos los ítems y cálculos realizados a cada uno; no obstante, en la tabla 3 se presentan los ítems del estilo informativo en la dimensión personal y en la tabla 4 el proceso que se llevó a cabo para calcular el índice de validez de contenido.

Tabla 3. Ítems Estilo informativo dimensión personal

Fuente: Elaboración propia

En la tabla 4 es posible apreciar los puntajes dados por los jueces a cada uno de los ítems del estilo informativo en el dominio personal. Es importante recordar que la escala en conjunto pretende medir cuatro estilos de identidad profesional en los dominios personal, teórico, práctico y ético. Además de que se empleó este mismo método para valorar la coherencia y la claridad de los ítems. No obstante, nos centraremos en la relevancia que es el criterio principal para conservar o eliminar un ítem, ya que este puede ser relevante pero no claro o coherente; es decir, con posibilidad de ajuste, pero no puede ser claro, coherente y no relevante, porque puede parecer bien redactado y lógico, pero si no aporta nada al domino no tiene caso que se incluya.

Tabla 4. Análisis del índice de validez de contenido con corrección

Fuente: Elaboración propia a partir de los resultados del análisis por parte del grupo de expertos

Después de la aplicación del IVC de Lawshe (1975) con la corrección de Tristán-López (2008), se puede observar que se conservan 8 de 10 ítems, puesto que el número 3 y el 9 no alcanzan el criterio mínimo para conservar el ítem. El CVI global sin el ajuste se encuentra por arriba de .80 y con el ajuste se incrementa a .92, lo que proporciona un índice de validez de contenido alto. Para el caso de los ítems aceptables el promedio es de .98 muy cercano al acuerdo total. En la tabla 5 se muestra la estructura del instrumento antes y después de que se realizó el cálculo del IVC.

Tabla 5. Estructura inicial y final del instrumento

Fuente: Elaboración propia

Como puede observarse el estilo que conservó la mayor cantidad de ítems es el informativo, los demás estilos en general disminuyeron casi a la mitad el número de ítems que los componen. En el estilo informativo sólo 5 de 41 ítems se consideraron no relevantes. En el estilo normativo 18 ítems fueron considerados no relevantes; la mayor disminución se dio en los dominios práctico y ético. El estilo difuso tuvo una disminución de 19 ítems; la mayor diminución se dio en los dominios personal, teórico y práctico; además, este estilo tuvo la mayor cantidad de ítems eliminados. Finalmente, el estilo conformado tuvo una disminución de 15 ítems conservando la mayor cantidad en el dominio personal y teórico, y con la mayor pérdida en el dominio práctico y teórico.

Discusión

El instrumento sobre estilos de identidad profesional arrojó el mayor número de ítems relevantes en el estilo informativo. Los estilos normativo, difuso y conformado conservaron un poco menos de la mitad de los ítems presentados a los jueces. La escala es larga, no obstante, se recomienda contar con una cantidad considerable de ítems antes de su aplicación en una muestra. Todos los ítems que se conservaron tuvieron un índice mayor a .80, que es lo mínimo que se recomienda cuando hay de dos a siete expertos (Polit, Beck y Owen, 2007). Todos los estilos conservaron ítems que permiten mantener la representatividad en cada uno de los dominios: personal, teórico, práctico y ético.

De modo que es posible considerar que, aunque algunos dominios como en el caso del ético perteneciente al estilo normativo que conservó 4 ítems, todavía no puede ser descartado como parte de la escala, puesto que únicamente se podrá saber después de recabar evidencias basadas en la estructura interna. Para mayor solidez y consistencia se procederá a una prueba piloto que permitirá la obtención de datos para analizar el comportamiento de los ítems. Las evidencias de validez de contenido son la base sobre la cual se puede avanzar en la construcción de un instrumento. Es posible continuar con la recopilación de otros tipos de evidencias de validez, en virtud de la consistencia que se reporta a partir de la valoración de los expertos.

Sireci menciona (2007) que dentro de la teoría de la validez la presentación de pruebas no es perfecta, pero sí es bastante aceptable. El desarrollo de instrumentos es una de las actividades centrales de los investigadores en psicología; la experiencia ha demostrado que no basta con traducir instrumentos de otros países y aplicarlos sin más en otras poblaciones. Morales, Urosa y Blanco (2003) consideran que muchas veces es más conveniente generar un instrumento nuevo a partir de la teoría, puesto que traducir y validar un instrumento en otro contexto conlleva procedimientos y gasto de recursos semejantes a los que se necesitan en la generación de un nuevo instrumento. Bajo esta idea fue que se decidió construir un instrumento para medir los estilos de identidad profesional, a pesar de que existen otros instrumentos como el de Berzonsky, el de Marcia o Adams; dichos instrumentos, además de requerir un proceso de adaptación, no abordan las dimensiones de la identidad profesional.

Conclusiones

El presente trabajo se enfocó en la obtención de evidencia de validez basada en el contenido, considerada como la base para el desarrollo de un instrumento. La finalidad del instrumento es explorar el proceso de construcción de la identidad profesional. Se partió de la teoría de los estados de Identidad de Marcia (1965) y los estilos de identidad de Berzonsky (2011). Los estilos se ubicaron en las dimensiones de la identidad profesional propuestas por Harrsch (2005), personal, teórica y práctica, más una ética que se añadió al modelo teórico. La relevancia de cada ítem fue valorada por expertos, quienes asignaron una puntuación. Se empleó el método de Lawshe (1975) con el ajuste de Tristán-López (2008) para estimar el índice de validez de contenido, porque permite trabajar con pocos expertos. Los estilos normativo, difuso y conformado presentaron la mayor disminución de ítems, con 17 en promedio. El estilo informativo conservó el mayor número de ítems: 36 de 41.

De este modo, se obtuvo evidencia de validez de contenido como parte de la construcción de una escala de estilos de identidad profesional. Este procedimiento de obtención de evidencias de validez se considera necesario, más no suficiente para probar que un instrumento cumple con el criterio de validez, puesto que es sólo una fuente de evidencia. Sireci (2007), considera que los procesos de validación no son infalibles, pero proporcionan una base bastante confiable. La obtención de evidencias de validez es un proceso dinámico en el que son responsables tanto los diseñadores de instrumentos como los profesionales que los emplean. Se recomienda continuar con el proceso de recopilación de evidencias de estructura interna y correlación con otras variables.

Referencias

Notas

Adjuntos:

11- Evidencia de validez de contenido de un instrumento.pdf