Rápido ou Devagar? Evidências de Validade do Teste de Reflexão Cognitiva (CRT) para o Brasil Descargar este archivo (Rapido ou devagar.pdf)

Thiago Augusto Costa de Olival[1], Elaine Rabelo Neiva[2]

Universidade de Brasília – UNB

Resumo

Uma das manei­ras uti­li­za­das para medir racio­na­li­da­de é com o ins­tru­men­to cha­ma­do Cog­ni­ti­ve Reflec­tion Test (CRT) que pos­sui 3 itens e obje­ti­va a deli­be­ração sobre pro­ble­mas de cunho lógi­co mate­má­ti­co envol­ven­do a inter­pre­tação do pro­ble­ma e a rea­li­zação de uma expres­são algé­bri­ca sim­ples. A medi­da suge­re que quan­to mais acer­tos, maior o traço laten­te (mais racio­nal ou maior ten­dên­cia a ser racio­nal) e quan­to mais erros, menor a ten­dên­cia a racio­na­li­da­de e em con­tra­par­ti­da, maior a ten­dên­cia a intuição. Com o obje­ti­vo de ava­liar os indí­cios de vali­da­de do ins­tru­men­to para o con­tex­to bra­si­lei­ro, apre­sen­tam-se as aná­li­ses e resul­ta­dos deco­rren­tes do pro­ces­so de adap­tação do ins­tru­men­to. Em uma amos­tra total de 662 indi­ví­duos foram con­du­zi­das a aná­li­se fato­rial explo­ra­tó­ria, além da rea­li­zação da TRI (Teo­ria de Res­pos­ta ao Item).

Pala­vras-cha­ve: Racio­na­li­da­de, Teo­ria do sis­te­ma dual, Vali­da­de e con­fia­bi­li­da­de

Resumen

Una de las for­mas uti­li­za­das para medir la racio­na­li­dad es median­te el ins­tru­men­to lla­ma­do Cog­ni­ti­ve Reflec­tion Test (CRT), que cons­ta de 3 ele­men­tos y tie­ne como obje­ti­vo la deli­be­ra­ción sobre pro­ble­mas de lógi­ca mate­má­ti­ca que invo­lu­cran la inter­pre­ta­ción del pro­ble­ma y la rea­li­za­ción de una expre­sión alge­brai­ca sim­ple. La medi­da sugie­re que cuan­to más acier­tos, mayor es la ten­den­cia laten­te a ser más racio­nal y cuan­to más erro­res, menor es la ten­den­cia a la racio­na­li­dad y, por el con­tra­rio, mayor es la ten­den­cia a la intui­ción. Con el obje­ti­vo de eva­luar los indi­cios de vali­dez del ins­tru­men­to para el con­tex­to bra­si­le­ño, se pre­sen­tan los aná­li­sis y resul­ta­dos deri­va­dos del pro­ce­so de adap­ta­ción del ins­tru­men­to. En una mues­tra total de 662 indi­vi­duos se lle­va­ron a cabo el aná­li­sis fac­to­rial explo­ra­to­rio, así como la rea­li­za­ción de la Teo­ría de Res­pues­ta al Item (TRI).

Pala­bras cla­ve: Racio­na­li­dad, teo­ría del sis­te­ma dual, vali­dez y con­fia­bi­li­dad.

Introdução

Com ape­nas 3 itens, a pro­pos­ta do Tes­te de Refle­xão Cog­ni­ti­va (CRT) é de men­su­rar os fenô­me­nos racio­na­li­da­de e intui­ti­vi­da­de, ambos inse­ri­dos na teo­ria do sis­te­ma dual de pro­ces­sa­men­to (Evans & Sta­no­vich, 2013). O cons­tru­to em ques­tão é basea­do na hipó­te­se de que quan­to maior a pon­tuação no tes­te, mais racio­nal o indi­ví­duo seria. Em con­tra­par­ti­da, quan­to menor a pon­tuação, maior a pro­ba­bi­li­da­de de clas­si­fi­cação do jul­ga­men­to rea­li­za­do como intui­ti­vo. Ape­sar de pre­sen­te na lite­ra­tu­ra não aca­dê­mi­ca, sen­do encon­tra­da em livros ou na inter­net, Penny­cook e Rand (2019) apre­sen­tam evi­dên­cias de que a divul­gação do ins­tru­men­to não com­pro­me­te­ria sua vali­da­de pre­di­ti­va (Bia­lek & Penny­cook, 2018; Meyer et al., 2018; Sta­ga­na­ro et al., 2018; Srol, 2018).

Nes­te arti­go apre­sen­tam-se a adap­tação do ins­tru­men­to para o Bra­sil, algu­mas obser­vações de indí­cios de vali­da­de trans­cul­tu­ral, de con­teú­do e de cons­tru­to do tes­te, além de ava­liar a difi­cul­da­de e o poder de dis­cri­mi­nação dos itens.

Os itens pre­sen­tes no ins­tru­men­to são de ava­liação lógi­ca, e obje­ti­vam a inter­pre­tação da sen­te­nça e a solução de um pro­ble­ma de base algé­bri­ca. A supo­sição que envol­ve o erro no tes­te é que, ao se depa­rar com uma das ques­tões, o indi­ví­duo for­mu­le uma res­pos­ta que pode­ria ser equi­vo­ca­da e basea­da em uma inter­pre­tação insu­fi­cien­te do enun­cia­do.

O tes­te tem sido uti­li­za­do repe­ti­da­men­te em pes­qui­sas sobre deci­são, mos­tran­do seu poder pre­di­ti­vo em temas rela­cio­na­dos a toma­da de deci­são finan­cei­ra, ava­liação pro­ba­bi­lís­ti­ca e boas escolhas de inves­ti­men­to (Ney­se, 2016; Alós-Ferrer & Hügels­chä­fer, 2016; Penny­cook, 2018). O gran­de obje­ti­vo do ins­tru­men­to é que ele pode­ria dis­tin­guir as pes­soas que racio­ci­na­ram melhor e deram a res­pos­ta corre­ta, mas ain­da per­ma­ne­cem dúvi­das de que as res­pos­tas erra­das sejam erros intui­ti­vos ou mate­má­ti­cos. A supos­ta fal­ta ou exces­so de “intui­ti­vi­da­de” nes­te domí­nio, con­for­me a hipó­te­se de Penny­cook et al. (2016), pode oco­rrer em vir­tu­de da expe­riên­cia com pro­ble­mas mate­má­ti­cos que alguns indi­ví­duos pos­suem e não por­que são mais ou menos intui­ti­vos.

Método

Adaptação do teste ao contexto brasileiro

Com o intui­to de evi­tar que os ins­tru­men­tos sejam tra­du­zi­dos de for­ma lite­ral e que tal pro­ces­so oca­sio­ne um colap­so dos indí­cios de vali­da­de do cons­tru­to, Sire­ci (2005) suge­re que a adap­tação de ins­tru­men­tos entre as cul­tu­ras seja rea­li­za­da de manei­ra a con­si­de­rar que os con­cei­tos atri­buí­dos sejam pre­ser­va­dos.

Alguns dos pres­su­pos­tos encon­tra­dos na lite­ra­tu­ra sobre a tra­dução e adap­tação do ins­tru­men­to e que foram aten­di­dos ple­na­men­te por este estu­do, envol­vem: a uti­li­zação de dois tra­du­to­res bilín­gues e expe­rien­tes (Cas­sepp-Bor­ges et al., 2010); com­pa­ração com a ver­são tra­du­zi­da do livro Rápi­do e Deva­gar encon­tra­da no Bra­sil; e a con­si­de­ração de que os tra­du­to­res não pos­suam fami­lia­ri­da­de com o cons­tru­to envol­vi­do (Bea­ton et al., 2000). A ver­são de con­sen­so que aten­dia aos itens obser­va­dos por Bor­sa et al. (2012) apre­sen­tou algu­mas alte­rações semân­ti­cas e de tra­dução para melho­rar a adap­tação ao con­tex­to bra­si­lei­ro.

O gru­po de juí­zes foi com­pos­to 8 juí­zes com for­mação em Psi­co­lo­gia, Eco­no­mia ou Admi­nis­tração de Empre­sas, mes­tran­dos ou dou­to­ran­dos. A taxa de con­cor­dân­cia obser­va­da pelo comi­tê foi supe­rior aos 90% indi­ca­dos por Ale­xan­dre e Colu­ci (2011), con­si­de­ran­do a pro­po­rção de itens que rece­be­ram notas 4 ou 5 em uma esca­la de 1 a 5, em que o 5 repre­sen­ta o maior grau de con­cor­dân­cia quan­to a cla­re­za e rele­vân­cia dos itens e 1 refe­rin­do-se ao menor grau.

Mui­to mais do que a tra­dução lite­ral já expos­ta ante­rior­men­te como insu­fi­cien­te para garan­tir a qua­li­da­de inte­gral da adap­tação, Bea­ton et al. (2000), Sire­ci et al. (2005) e Bor­sa et al. (2012) reco­men­dam que seja con­si­de­ra­da a pos­si­bi­li­da­de de veri­fi­car se o con­tex­to do ins­tru­men­to ori­gi­nal per­ma­ne­ce, em um pro­ces­so de tra­dução rever­sa. Des­ta for­ma, o ins­tru­men­to foi sub­me­ti­do a dois uni­ver­si­tá­rios nati­vos em lín­gua ingle­sa resi­den­tes nos Esta­dos Uni­dos e que pos­suem o por­tu­guês como segun­da lín­gua. A ver­são final do ins­tru­men­to per­ma­ne­ceu con­for­me abai­xo:

1 – Um taco e uma bola cus­tam RS 1,10 no total. O taco cus­ta um real a mais que a bola. Quan­to cus­ta a bola?

2 – Se 5 máqui­nas demo­ram 5 minu­tos para fazer 5 ferra­men­tas, quan­to tem­po leva para 100 máqui­nas fabri­ca­rem 100 ferra­men­tas?

3 – Em um lago, há um ramo de lírios. Todos os dias, o ramo dobra de tamanho. Se leva 48 dias para o ramo cobrir o lago todo, quan­to tem­po leva­rá para que o ramo cubra meta­de do lado?

Participantes

O ins­tru­men­to foi apli­ca­do entre o final do ano de 2019 e iní­cio do ano de 2020, via goo­gle forms em comu­ni­da­des de uma rede social. O pro­ces­so de apli­cação e cole­ta de dados tota­li­zou 662 obser­vações. Ten­do em vis­ta que a pes­qui­sa pos­suía link está­ti­co, não é pos­sí­vel saber quan­tas pes­soas de fato aces­sa­ram sem con­cluir o ques­tio­ná­rio. Os dados da amos­tra estão apre­sen­ta­dos na Tabe­la 1.

Tabela 1
Caracterização dos participantes da pesquisa

Carac­te­rís­ti­cas

 

Dis­tri­buição

(n = 662)

Sexo

 
 

Mas­cu­lino

293 (44)

 

Femi­nino

369 (56)

Esco­la­ri­da­de

 
 

Nível Médio

75 (11)

 

Supe­rior-Gra­duação

207 (31)

 

Supe­rior-Pós-Gra­duação ‑Espe­cia­li­zação

332 (50)

 

Supe­rior – Mes­tra­do

39 (6)

 

Supe­rior – Dou­to­ra­do

9 (1)

Ida­de

 
 

18–25

40 (6)

 

26–30

57 (9)

 

31–35

121 (18)

 

36–40

175 (26)

 

41–45

107 (16)

 

46–50

68 (10)

 

51–55

45 (7)

 

56–60

27 (4)

 

61–65

14 (2)

 

66–70

6 (1)

 

71–75

2 (0)

Região

 
 

Cen­tro Oes­te

162 (24)

 

Nor­des­te

34 (5)

 

Nor­te

13 (2)

 

Sudes­te

399 (60)

 

Sul

54 (8)

Aná­li­se dos Dados

Os dados ava­lia­dos da amos­tra não apre­sen­ta­ram nor­ma­li­da­de, além da inexis­tên­cia de casos extre­mos uni­va­ria­dos ou dados omis­sos. Tam­bém não foram obser­va­dos casos extre­mos mul­ti­va­ria­dos ao se ana­li­sar a dis­tân­cia de Maha­la­no­bis. Embo­ra exis­ta a preo­cu­pação no que tan­ge aos pres­su­pos­tos, as reco­men­dações de Hair et al, (2009) são de que o tamanho da amos­tra (n >200) e a inexis­tên­cia de hete­ro­ce­das­ti­ci­da­de pos­sam ser indi­ca­ti­vos de que a não nor­ma­li­da­de uni­va­ria­da dos dados não aca­rre­te maio­res pro­ble­mas para o pros­se­gui­men­to das aná­li­ses.

Resultados

Os indí­cios de vali­da­de inter­na foram ana­li­sa­dos por meio dos resul­ta­dos da aná­li­se fato­rial, bem como os indí­cios de vali­da­de con­ver­gen­te e dis­cri­mi­nan­te (por meio da con­fia­bi­li­da­de com­pos­ta e da variân­cia média extraí­da), além dos resul­ta­dos da TRI.

Análise Fatorial

Uma aná­li­se fato­rial explo­ra­tó­ria para ava­liar a con­sis­tên­cia inter­na de acor­do com pres­su­pos­tos psi­co­mé­tri­cos (Hair et al., 2009; Pas­qua­li, 2010; Damásio,2012; Bor­sa et al. 2012; Taba­chi­nick & Fidel, 2014) foi rea­li­za­da em uma amos­tra com 662 indi­ví­duos foi con­du­zi­da pelo execu­tá­vel Fac­tor ver­são 10.10.03 com o intui­to de ava­liar a fato­ra­bi­li­da­de do ins­tru­men­to, o que resul­tou em um KMO limí­tro­fe para que seja con­si­de­ra­do como de razoá­vel a bom (KMO=0,72) suge­ri­do por Hut­che­son e Sofro­niou (1999) além da sig­ni­fi­cân­cia no tes­te de esfe­ri­ci­da­de (X2=868,1, p>0,00).

O mode­lo apre­sen­tou uma estru­tu­ra pla­ti­cúr­ti­ca nos 3 itens (q1=-1,76; q2 =-1,99; q3 =-1,97) e assi­me­tria leve­men­te incli­na­da à direi­ta (q1 =0,50; q2 =-0,08; q3 =0,16). Os fato­res foram extraí­dos uti­li­zan­do os méto­dos Robust Dia­go­nally Weigh­ted Least Squa­res e Mini­mum Rank Fac­tor Analy­sis via aná­li­se para­le­la (Damá­sio, 2012; Macha­do et al., 2014; Gomes et al., 2016) pro­du­zin­do resul­ta­dos semelhan­tes.

A par­tir da aná­li­se pre­li­mi­nar, a pro­po­rção da variân­cia expli­ca­da pelo ins­tru­men­to foi de 0,77, com ape­nas uma dimen­são e auto­va­lor aci­ma de 1. As car­gas fato­riais obser­va­das (q1 =0,78; q2=0,76; q3=0,89) foram ele­va­das, assim como as comu­na­li­da­des, que foram supe­rio­res a 0,6 e infe­rio­res que 0,9. Sobre a con­fia­bi­li­da­de da esca­la, obser­vou-se um Alfa de Cron­bach de 0,71, valor este indi­ca­do pela lite­ra­tu­ra (Hair et al., 2009; Maro­co & Gar­cia-Mar­ques, 2013; Ale­xan­dre et al., 2013; Sou­za et al., 2017) como míni­mo acei­tá­vel. Os demais índi­ces de ajus­te do mode­lo são apre­sen­ta­dos con­for­me dados trans­cri­tos na Tabe­la 2.

Tabela 2
Relação dos índices da análise
 

Obser­va­do

Espe­ra­do

X2

768,23

-

 

Gl

3

-

 

P‑valor

0,000

<0,05

 

X²/GL

289,37

<5

 

CFI

1,00

>0,9

 

BIC

38,97

-

 

RMSEA

0,00

<0,08

 

GFI

1,00

>0,9

 

CC

0,85

0,70

 

VME

0,66

0,50

 
Nota: índices esperados conforme Hair et al (2009)

O ajus­te do mode­lo tam­bém demons­trou indi­cies satis­fa­tó­rios (RMSEA = 0; CFI e TLI = 1), o que esta­ria de acor­do com os parâ­me­tros suge­ri­dos, porém podem indi­car um super­ajus­te devi­do a influên­cia da quan­ti­da­de redu­zi­da de itens do ins­tru­men­to (Hu & Bentler,1999; Kenny & McCoach, 2003). A corre­lação média ao qua­dra­do entre os itens foi de 0,43, sen­do menor do que a variân­cia média extraí­da (VME =0,66), indi­can­do uma evi­dên­cia de vali­da­de dis­cri­mi­nan­te.

TRI (Teoria de Resposta ao Item)

O mode­lo de 2PL foi assu­mi­do para fins de conhe­ci­men­to da difi­cul­da­de e dis­cri­mi­nação dos itens, sen­do acer­to ao aca­so © des­pre­za­do. Para rea­li­zar a aná­li­se, as res­pos­tas foram trans­for­ma­das em dados biná­rios, oca­sio­nan­do em 8 padrões de res­pos­ta pos­sí­veis, con­si­de­ran­do uma matriz com­pos­ta da quan­ti­da­de total de itens corre­tos e inco­rre­tos e quais itens com­põem o padrão (ape­nas o item 1 corre­to e demais inco­rre­tos, item 1 e 3 corre­tos e item 2 inco­rre­to etc.).

Quan­do ava­lia­da a corre­lação entre os itens con­si­de­ran­do a téc­ni­ca da TRI, obser­va-se que indi­vi­dual­men­te os itens têm gran­de índi­ce de corre­lação bis­se­rial varian­do de 0,78 a 0,82, sen­do desejá­vel aci­ma de 0,30 (Pas­qua­li, 2018). Ade­mais, o ins­tru­men­to apre­sen­tou um índi­ce de infor­mação de 7,51 (99,73% con­si­de­ran­do ‑3, 3) para um AIC = 2382,54, BIC = 2409,51 e ‑2 Log Like­lihood = ‑1185,27, con­si­de­ran­do o mode­lo com três itens como o mais ade­qua­do e na tabe­la 3 são apre­sen­ta­dos os demais índi­ces do ins­tru­men­to.

Tabela 3
Índices dos itens do modelo

Variá­vel

 

α

a

b

Acer­to

Erro

M

SD

Q1

 

0,64

2,110

0,393

38%

62%

0,38

0,49

358,89

Q2

 

0,65

1,965

-0,065

52%

48%

0,52

0,50

385,38

Q3

 

0,56

3,456

0,111

46%

54%

0,46

0,50

176,01

Nota: a = dificuldade; b = discriminação; Medidas do α da escala considerando a exclusão do item e considerando p>0,001.

Com­pa­ran­do com o mode­lo de 1PL, obser­va-se que o AIC (2383,89 para 1PL) e ‑2 Log Like­lihood (-1189,43 para 1PL) são maio­res e o BIC (2404,84 para 1PL) é menor, mas os três índi­ces enco­tram-se mui­to pró­xi­mos ao resul­ta­do obser­va­do no mode­lo de 2PL. Por meio da aná­li­se do qui qua­dra­do com base no -2 Log Like­lihood, obser­vou-se que as dife­re­nças são sig­ni­fi­can­tes, e que o mode­lo 2PL apre­sen­ta melho­ria na aná­li­se dos dados.

Comparação Entre Resultados Brasileiros e Estudos de Outros Países

Os resul­ta­dos da apli­cação do ins­tru­men­to no Bra­sil apre­sen­ta­ram con­si­de­rá­veis semelha­nças com resul­ta­dos encon­tra­dos em estu­dos inter­na­cio­nais no que tan­ge a estru­tu­ra fato­rial, sua car­ga e outros indi­ca­do­res. As médias e o des­vio padrão por item con­ver­gem com as encon­tra­das pelo estu­do de Cam­pi­te­lli e Gerrans (2014) e Kir­ke­gaard e Nordb­jerb (2015). Na tabe­la 4 são com­pa­ra­dos os resul­ta­dos de Fre­de­rick (2005), Kir­ke­gaard e Nordb­jerb (2015) e os obser­va­dos no pre­sen­te estu­do no que tan­ge as médias e padrão de esco­re.

Tabela 4
Comparativo Entre Estudos
     

% de acer­tos

Local da cole­ta

M

n

0

1

2

3

MIT

2,18

61

7%

16%

30%

48%

Prin­ce­ton Uni­ver­sity

1,63

121

18%

27%

28%

26%

Bos­ton Fire­works Dis­play

1,53

195

24%

24%

26%

26%

Car­ne­gie Mellon Univ

1,51

746

25%

25%

25%

25%

Har­vard Uni­ver­sity

1,43

51

20%

37%

24%

20%

Univ. of Michi­gan: Ann Arbor

1,18

1267

31%

33%

23%

14%

Estu­dos na inter­net

1,10

525

39%

25%

22%

13%

Bow­ling Green Uni­ver­sity

0,87

52

50%

25%

13%

12%

Univ. of Michi­gan: Dear­born

0,83

154

51%

22%

21%

6%

Michi­gan Sta­te Univ.

0,79

118

49%

29%

16%

6%

Uni­ver­sisty of Tole­do

0,57

138

64%

21%

10%

5%

Total (Fre­de­rick (2005)

1,24

3428

33%

28%

23%

17%

Kir­ke­gaard &Nordjerb (2015)

1,11

72

-

-

-

-

Amos­tra des­te estu­do

1,36

662

34%

21%

21%

24%

Nota. Considerando o objetivo do presente estudo, é importante ressaltar que o instrumento apresentou resultados similares aqueles encontrados em outros países (ver Frederick ‚2005; Campitelli & Gerrans,2014; Kirkgaard & Nordbjerd, 2015).

A com­pa­ração com um mode­lo de 2PL via TRI apli­ca­do por Pri­mi et al., (2016) tam­bém apre­sen­tou resul­ta­dos simi­la­res ao des­te estu­do, em que se obser­vou que os três itens pos­suem dis­cri­mi­nação alta (q1a=1,7; q2a=1,48; q3a=3,05) e difi­cul­da­de de fácil a média (q1b=0,26; q2b =0,70; q3b=0,08) para um índi­ce de infor­mação de 6,10.

Discussão

Ao que se demons­tra, exis­tem diver­sas simi­la­ri­da­des dos resul­ta­dos obser­va­dos nes­te estu­do quan­do com­pa­ra­dos com os acha­dos de estu­dos inter­na­cio­nais (ver Cam­pi­te­lli & Gerrans, 2014; Kir­ke­garrd & Nordb­jerb, 2015). O pro­ces­so de adap­tação ao con­tex­to bra­si­lei­ro foi rea­li­za­do em con­for­mi­da­de com os pres­su­pos­tos elen­ca­dos (Bea­ton et al., 2000; Sire­ci et al., 2005; Bor­sa et al., 2012; Cas­sep-Bor­ges et al., 2010). Des­ta for­ma, suge­re-se que a adap­tação e tra­dução per­mi­ti­ram ava­liar indí­cios de vali­da­de trans­cul­tu­ral com mui­ta per­ti­nên­cia. Tais resul­ta­dos apre­sen­tam evi­dên­cias de que o pro­ces­so da adap­tação trans­cul­tu­ral não alte­rou a essên­cia do ins­tru­men­to. Con­si­de­ra-se que exis­tem indí­cios para sub­si­diar a uti­li­zação do ins­tru­men­to no con­tex­to bra­si­lei­ro.

Exis­tem indí­cios de vali­da­de de con­teú­do obser­va­dos em con­so­nân­cia com as suges­tões de Ale­xan­dre e Colu­ci (2011), vis­to que o grau de con­ver­gên­cia entre as aná­li­ses de 8 juí­zes e espe­cia­lis­tas foi ele­va­da e o IVC = 100%, con­si­de­ran­do uma esca­la de 1 a 5. O cálcu­lo pro­pos­to é repre­sen­ta­do pela soma­tó­ria de res­pos­tas com esco­re 4 ou 5 e divi­di­do pelo núme­ro total de res­pos­tas. Embo­ra este cálcu­lo seja cos­tu­mei­ra­men­te apre­sen­ta­do com esca­las de 1 a 4, Ale­xan­dre e Colu­ci (2011) não suge­rem óbi­ces quan­to a uti­li­zação da esca­la com 5 pon­tos. Os parâ­me­tros ava­lia­dos foram cla­re­za, per­ti­nên­cia e rele­vân­cia dos itens.

A con­fia­bi­li­da­de do ins­tru­men­to (α = 0,71; λ 2 = 0,72) tam­bém man­tém média semelhan­te aos estu­dos inter­na­cio­nais, embo­ra ain­da seja moti­vo de ate­nção pois é con­si­de­ra­da como pró­xi­ma ao limi­te con­si­de­rá­vel como acei­tá­vel para os pres­su­pos­tos gerais de con­fia­bi­li­da­de, obser­va­da em múl­ti­plos arti­gos sobre o tema (Maro­co & Gar­cia-Mar­ques, 2013; Sou­za et al, 2017). A con­fia­bi­li­da­de com­pos­ta está ade­qua­da as indi­cações de Hair et al., (2009) e Valen­ti­ni e Dama­sio (2016), pois apre­sen­tam valor de 0,85. Ao mes­mo tem­po, a VME entre os itens e o fator tam­bém se encon­tra supe­rior ao valor do pres­su­pos­to, o que suge­re evi­dên­cias de vali­da­de con­ver­gen­te. Ain­da, obser­vam-se evi­dên­cias de vali­da­de dis­cri­mi­nan­te vis­to que a VME é maior do que as corre­lações dos itens ao qua­dra­do. Obser­va-se que o mode­lo uni­fa­to­rial está bem ajus­ta­do e com car­gas fato­riais robus­tas para cada um dos itens, o que impli­ca­ria em acei­tar que ape­sar de suas limi­tações em alguns índi­ces, o mode­lo pro­pos­to é ade­qua­do, mas com res­sal­vas.

Uma hipó­te­se para a inade­quação do mode­lo no que tan­ge a relação entre os graus de liber­da­de e X2 pode ser devi­do a quan­ti­da­de de itens pre­sen­tes no ins­tru­men­to (que são ape­nas 3). A mes­ma hipó­te­se é dis­cu­ti­da por Valen­ti­ni e Dama­sio (2016) sobre os pos­sí­veis impac­tos da quan­ti­da­de de itens nos coefi­cien­tes alfa de Cron­bach, variân­cia média extraí­da e con­fia­bi­li­da­de com­pos­ta.

Outro indí­cio de vali­da­de suge­ri­do por Pas­qua­li (2018) diz res­pei­to a obser­vação de vali­da­de de cons­tru­to via TRI, vis­to que com aná­li­se é pos­sí­vel veri­fi­car o traço laten­te via função de infor­mação.

As orien­tações pres­cri­tas por Pas­qua­li (2018) quan­to a inter­pre­tação da TRI, no que diz res­pei­to ao “a” (dis­cri­mi­nação), ao “b” (difi­cul­da­de) e no que tan­ge a ava­liação da cur­va carac­te­rís­ti­ca do item, são para con­si­de­rar a pro­ba­bi­li­da­de de 0,5 para res­pos­tas corre­tas ao aca­so. Os itens com “a” aci­ma de 1,70 pos­suem alta dis­cri­mi­nação, isto é, alta capa­ci­da­de de dis­cri­mi­nar sujei­tos em relação aos níveis do traço laten­te ava­lia­do (Andra­de et al. 2000) e o que se obser­vou é que todos os itens do ins­tru­men­to pos­suem índi­ces satis­fa­tó­rios sobre este que­si­to. O item 3 (q3) pos­sui a melhor dis­cri­mi­nação, o que demons­tra sen­si­bi­li­da­de con­si­de­rá­vel para a men­su­ração de mes­mo nível de tetha em múl­ti­plos indi­ví­duos (Sar­tes & Sou­za-For­mi­go­ni, 2013).

No que tan­ge a difi­cul­da­de, ao serem con­si­de­ra­das a expec­ta­ti­va de valo­res espe­ra­dos (-2 a +2), con­for­me Baker (2001), os itens da esca­la pode­riam ser con­si­de­ra­dos como “media­nos”, sen­do o item 1 (q1) o mais pró­xi­mo do parâ­me­tro “difí­cil” e o item 2 (q2) como o mais pró­xi­mo de “fácil”, ten­do como parâ­me­tro somen­te a com­pa­ração den­tro da esca­la e para esta amos­tra. Impor­tan­te res­sal­tar que assim como no estu­do de Pri­mi et al., (2016), a esca­la apre­sen­ta índi­ces satis­fa­tó­rios para a dife­ren­ciação de tetha de indi­ví­duos que não este­jam entre as extre­mi­da­des mais bai­xas ou mais altas do traço laten­te.

Os índi­ces de difi­cul­da­de e dis­cri­mi­nação demons­tram que os itens pos­suem boa qua­li­da­de para a medição do traço laten­te de manei­ra mais cen­tral na esca­la, além de apre­sen­tar con­fia­bi­li­da­de e estru­tu­ra fato­rial. Como é uma esca­la com quan­ti­da­de redu­zi­da de itens, pode ser facil­men­te incluí­da em pes­qui­sas sem que se ele­ve subs­tan­cial­men­te o tem­po ou a quan­ti­da­de de per­gun­tas de um ques­tio­ná­rio.

É pos­sí­vel con­cluir que os indí­cios de vali­da­de obser­va­dos apon­tam que o cons­tru­to racio­na­li­da­de pode ser medi­do pelo ins­tru­men­to, mas os resul­ta­dos suge­rem que algu­mas das res­sal­vas ou inade­quações a pres­su­pos­tos esta­tís­ti­cos esta­riam rela­cio­na­dos a quan­ti­da­de redu­zi­da de itens da esca­la.

Ao mes­mo tem­po, per­ma­ne­cem incon­clu­si­vas as corre­lações com a nume­rá­cia (Cam­pi­te­lli & Gerrans, 2014) ou outros cons­tru­tos que tenham como obje­ti­vo medi­das de racio­na­li­da­de, pois estas não foram alvo des­te estu­do. O traço laten­te obser­va­do no tes­te é suge­ri­do por Fre­de­rick (2005) como uma medi­da da resis­tên­cia a res­pon­der as ques­tões de manei­ra impul­si­va e até o momen­to não exis­tem evi­dên­cias que não seja somen­te uma medi­da de habi­li­da­de arit­mé­ti­ca, ape­sar da relação entre os con­cei­tos.

Como limi­tação do estu­do, des­ta­ca-se a pos­si­bi­li­da­de de exis­tir um viés no que tan­ge ao conhe­ci­men­to pré­vio ou a pos­si­bi­li­da­de de con­sul­ta das res­pos­tas na inter­net. Não foi pos­sí­vel saber se os indi­ví­duos rea­li­za­ram algum tipo de con­sul­ta ou se já conhe­ciam as res­pos­tas. Para ate­nuar essa cons­ta­tação, os resul­ta­dos e médias obser­va­das foram semelhan­tes àque­las obser­va­das em outros estu­dos. Os pos­sí­veis impac­tos do conhe­ci­men­to pré­vio dos itens, caso exis­tam, devem ter se apre­sen­ta­do com o mes­mo padrão dos arti­gos cita­dos nes­te tra­balho.

Em estu­dos futu­ros, podem ser fei­tas pro­pos­tas de incre­men­to do ins­tru­men­to uti­li­zan­do tam­bém tes­tes de racio­cí­nio lógi­co de outras cate­go­rias como sequên­cias lógi­cas ou deduções/ induções, vis­to que na atual pro­pos­ta ele con­tém somen­te itens de cunho lógi­co mate­má­ti­co. Uma das hipó­te­ses de agen­da futu­ra é que a quan­ti­da­de de itens pode­ria influen­ciar nos indi­ca­do­res da esca­la, fato este que tem se mos­tra­do uma ten­dên­cia em alguns arti­gos com algu­ma medi­da de razão e intuição, vis­to que os ins­tru­men­tos têm sido uti­li­za­dos com a esca­la ori­gi­nal suple­men­ta­da de itens adi­cio­nais de natu­re­za simi­lar. Suge­re-se com­pa­rar os dados de vali­da­de entre ver­sões com três e mais itens.

Referências

Alexandre, N. M. C., & Colucci, M. Z. O. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, 16(7),3061-3068. https://doi.org/10.1590/S1413-81232011000800006

Alós-Ferrer, C., & Hügelschäfer, S. (2015). Faith in Intuition and Cognitive Reflection. Journal of Behavioral Economics. 64. 10.1016/j.socec.2015.10.006.

Andrade, D. F., Valle, R. C., & Tavares, H. R. (2000) Introdução à teoria da resposta ao ítem: conceitos e aplicações. Sinapse.

Baker, F. B. (2001) The Basics of Item Response Theory. 2ª. ed. United States of America: ERIC Clearinghouse on Assessment and Evaluation

Beaton, D. E., Bombardier, C., Guillemin, F., & Ferraz, M. B. (2000). Guidelines for the process of cross-cultural adaptation of self-report measures. Spine, 25(24), 3186-3191.

Białek, M., & Pennycook, G. (2018). The Cognitive Reflection Test is robust to multiple exposures. Behavior Research Methods. 50. 1953–1959. 10.3758/s13428-017-0963-x.

Borsa, J. C., Damásio, B. F., & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53), 423–432. https://doi.org/10.1590/S0103-863X2012000300014

Campitelli, G., & Gerrans, P. (2014). Does the cognitive reflection test measure cognitive reflection? A mathematical modeling approach. Mem Cognit. 2014 Apr;42(3):434-47. doi: 10.3758/s13421-013-0367-9. PMID: 24132723.

Cassepp-Borges, V., Balbinotti, M. A. A., & Teodoro, M. L. M. (2010). Tradução e validação de conteúdo: Uma proposta para a adaptação de instrumentos. In L. Pasquali, Instrumentação psicológica: Fundamentos e práticas. Porto Alegre: Artmed.

Couto, G., & Primi, R. (2011). Teoria de resposta ao item (TRI): Conceitos elementares dos modelos para itens dicotômicos. Boletim de Psicologia, 61(134), 1-15.

Cueva, C., Iturbe-Ormaetxe, I., Mata-Pérez, E., Ponti, G., Sartarelli, M., Yu, H., & Zhukova, V. (2016). Cognitive (ir)reflection: New experimental evidence. Journal of Behavioral and Experimental Economics, 64, 81–93. https://doi.org/10.1016/j.socec.2015.09.002

Damásio, B. F. (2012). Uso da análise fatorial exploratória em psicologia. Avaliação Psicológica, 11(2), 213-228.

Evans, J. S. B. T., & Stanovich, K. E. (2013). Dual-Process Theories of Higher Cognition: Advancing the Debate. Perspectives on Psychological Science, 8(3), 223–241. https://doi.org/10.1177/1745691612460685

Frederick, S. (2005). "Cognitive Reflection and Decision Making." Journal of Economic Perspectives, 19 (4): 25-42.DOI: 10.1257/089533005775196732

Gomes, C. A. O., Soares, A. B., Mourão, L., & Hernandez, J. A. E. (2016). Inventário de Estilos de Enamoramento: construção e validação. Avaliação Psicológica, 15(2), 151-159.

Hair, Jr., J.F., Willian, B., Babin, B. & Anderson, R.E. Análise multivariada de dados. 6.ed. Porto Alegre: Bookman, 2009.

Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55

Hutcheson, G. D. & Sofroniou, N. (1999). The multivariate social scientist: Introductory statistics using generalized linear models. London: Sage Publications

Kahneman, D. (2012). Rápido e devagar, duas formas de pensar. Rio de Janeiro: Editora Objetiva.

Kenny, D., A., & McCoach, D., B,. (2003) Effect of the Number of Variables on Measures of Fit in Structural Equation Modelin. Structural Equation Modeling: A Multidisciplinary Journal, 10:3, 333-51, DOI: 10.1207/S15328007SEM1003_1

Kirkegaard, E. O. W., & Nordbjerg, O. (2015). Validating a Danish translation of the International Cognitive Ability Resource sample test and Cognitive Reflection Test in a student sample. Open Differential Psychology. 10.26775/ODP.2015.07.31.

Machado, W. L., Hauck, N., Teixeira, M. A. P., & Bandeira, D. R. (2014). Análise de teoria de resposta ao item de marcadores reduzidos da personalidade. Psico, 45(4), 551-558.

Maroco, J., & Garcia-Marques, T. (2013). Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas? Laboratório de Psicologia. 4. 10.14417/lp.763.

Meyer, A., & Zhou, E., & Frederick, S. (2018). The non-effects of repeated exposure to the cognitive reflection test. Judgment and Decision Making. 13. 246-259.

Neyse, L., Bosworth, S., Ring, P. et al.(2016). Overconfidence, Incentives and Digit Ratio. Sci Rep 6, 23294). https://doi.org/10.1038/srep23294

Pasquali, L. (2010). Instrumentação Psicológica: fundamentos e práticas. Porto Alegre: Artmed

Pasquali, L. (2018) Teoria de Resposta ao Item – Teoria, procedimentos e aplicações. 3 ed. Curitiba. Appris

Pennycook, G. (2018). Lazy, not biased: Susceptibility to partisan fake news is better explained by lack of reasoning than by motivated reasoning. Cognition. 188. 10.1016/j.cognition.2018.06.011.

Pennycook, G., & Rand, D. G. (2019). Cognitive Reflection and the 2016 U.S. Presidential Election. Personality and Social Psychology Bulletin, 45(2), 224–239. https://doi.org/10.1177/0146167218783192

Pennycook, G., Cheyne, J.A., Koehler, D.J. et al.(2016) Is the cognitive reflection test a measure of both reflection and intuition?. Behav Res 48, 341–348 (2016). https://doi.org/10.3758/s13428-015-0576

Primi, C., Morsanyi, K., Chiesi, F., Donati, M. A., & Hamilton, J. (2016) The Development and Testing of a New Version of the Cognitive Reflection Test Applying Item Response Theory (IRT). J. Behav. Dec. Making, 29: 453– 469. doi: 10.1002/bdm.1883.

Sartes, L. M. A., & Souza-Formigoni, M. L. O. (2013). Avanços na psicometria: da Teoria Clássica dos Testes à Teoria de Resposta ao Item. Psicologia: Reflexão e Crítica, 26(2), 241-250. https://doi.org/10.1590/S0102-79722013000200004

Sireci, S. G. (2005). Using bilinguals to evaluate the comparability of difference language versions of a test. In R. K. Hambleton, P. F. Merenda, & C. D. Spielberger (Eds.), Adapting educational and psychological tests for cross-cultural assessment (pp. 117-138). Mahwah, NJ: Lawrence Erlbaum.

Souza, A. C., Alexandre, N. M. C., & Guirardello, E. B. (2017). Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiologia e Serviços de Saúde, 26(3), 649-659. https://dx.doi.org/10.5123/s1679-49742017000300022

Srol, J.(2018). These Problems Sound Familiar to Me: Previous Exposure, Cognitive Reflection Test, and the Moderating Role of Analytic Thinking. Studia psychologica. 60. 195-208. 10.21909/sp.2018.03.762.

Stagnaro, M. N., Pennycook, G., & Rand, D. G. (2018). "Performance on the Cognitive Reflection Test is stable across time," Judgment and Decision Making, Society for Judgment and Decision Making, vol. 13(3), pages 260-267, May.

Tabachnick, B. G., and Fidell, L. S. (2014). Using Multivariate Statistics, 6th ed. Harlow, UK: Pearson.

Valentini, F, & Damásio, B. F. (2016). Variância Média Extraída e Confiabilidade Composta: Indicadores de Precisão. Psicologia: Teoria e Pesquisa, 32(2), e322225. Epub October 27, 2016.https://doi.org/10.1590/0102-3772e322225

Notas

  1. Dou­to­ran­do no Pro­gra­ma de Psi­co­lo­gia Social, Tra­balho e Orga­ni­zações da Uni­ver­si­da­de de Bra­sí­lia, UNB

    Email: thiagoolival@hotmail.com, Tele­fo­ne: +55 11 99699–1406

  2. Docen­te no Pro­gra­ma de Psi­co­lo­gia Social, Tra­balho e Orga­ni­zações da Uni­ver­si­da­de de Bra­sí­lia, UNB

    Email: elaine.neiva@gmail.com