ANAL IS E D O S C AND ID AT O S E D O V E S T IB U L AR 2 0 0 6 -2 , D OC U R S O D E AG R O NO M IA D A U F L A, U S AND O U M M O D E L O D E

T E O R IA D E R E S P O S T A AO IT E M (T R I)

Maria de Lourdes Lima BRAGION1

J ulio S ılv io de S ousa BU E NO F ILH O1

RESUMO: Um modelo de Teoria de Resposta ao Item (TRI) foi ajustado aos dados doV estib ular 2 0 0 6 -2 , do curso de A g ron omia, da Un iv ersidade F ederal de L av ras (UF L A ).O prin c ipal ob jetiv o e apresen tar uma ferramen ta q ue pode con trib uir para an alise daq ualidade das q uestoes. A dotou-se o modelo log ıstico de dois parametros. O ajuste foifeito v ia in feren c ia b ay esian a usan do o alg oritmo Metropolis-H astin g s. A s h ab ilidadesin div iduais apresen taram alta correlac ao com as n otas ob serv adas. A s q uestoes maisdifıceis, em media, foram de Matematica, seg uidas de F ısica, Q uımica, B iolog ia, H istoriae P ortug ues. G eog rafi a e F ilosofi a apresen taram um b aix o n ıv el de difi culdade. Q uan toao poder de discrimin ac ao, as q uestoes de B iolog ia apresen taram o melh or resultado,com otima discrimin ac ao. B oa discrimin ac ao foram ob tidas pelas q uestoes de Q uımica,F ısica e Matematica. A s demais n ao troux eram uma con trib uic ao relev an te. O modeloproposto de TRI mostrou-se util para discutir a q ualidade do v estib ular para o curso deA g ron omia da UF L A .

P A L A V RA S-C H A V E: In feren c ia B ay esian a; teoria de resposta ao item.

1 Introducao

S elec ion ar in div ıduos q ue p ossuam maiores h ab ilidades e o p rin c ip al ob jetiv odos ex ames v estib ulares. O in strumen to de medida q ue tem sido tradic ion almen teusado p ara esse fi m e o resultado de uma p rov a de multip la escolh a. T odas asan alises e in terp retac oes estao b aseadas n a n ota marg in al ob tida p elo can didato emtoda a p rov a. A teoria de resp osta ao item (T RI) esta b aseada n a av aliac ao de cadaum dos iten s em v ez das n otas totais dos can didatos. E sta teoria e defi n ida comoum con jun to de modelos p ara a p rob ab ilidade de uma p essoa dar uma resp osta

1Departamento de Ciencias Exatas, Universidade Federal de Lavras – UFLA, Caixa Postal 3037,CEP: 372 00-000, Lavras, M G , B rasil. E-mail: lourdinha.bragion@gmail.com / jssbueno@ufl a.br

R ev . B ras. B iom., S ao Pau lo, v.2 5 , n.3, p.39 -5 5 , 2 008 39

correta a um determinado item, em funcao de sua habilidade e de caracterısticasdo item. Essa habilidade e inerente a cada indivıduo e nao dependente da provaa ele aplicada, assim como os parametros do item tambem possuem caracterısticasproprias e nao dependentes de quem o responde. Esta e uma propriedade da TRIe e a chamada invariancia de seus parametros em uma determinada populacao(Bak er, 2 0 0 1). Sendo assim, a TRI possibilita usar ferramentas de estimacao dehabilidades pessoais e caracterısticas dos itens, tendo um forte impacto potencial noplanejamento e avaliacao de processos de ensino-aprendizagem e exames de selecaodos mais variados tipos.

V arios modelos de TRI ja foram propostos na literatura. Os trabalhospioneiros foram de Lord (19 5 2 ) e Rasch (19 6 0 ), que foram os primeiros autoresa propor modelos parametricos para o calculo de tais probabilidades no contexto dapsicometria. Inicialmente, o modelo estatıstico utilizado foi o da distribuicao normalacumulada, porem Birnbaum (19 6 8 ), propos modelar a probabilidade acumuladacom a funcao logıstica devido a esta possuir os parametros do item e da habilidadede forma explıcita, tornando mais facil sua visualizacao e tambem, por nao envolverintegracao. D esde entao, essa teoria tem tido notavel avanco. No Brasil, a primeiraaplicacao dessa teoria ocorreu em 19 9 5 na analise do Sistema Nacional da EducacaoBasica (SAEB). Trabalhos foram a seguir sendo desenvolvidos na area, podendoser citados, Andrade, Tavares e V alle (2 0 0 0 ) que apresentam uma aplicacao daTRI em avaliacoes educacionais brasileiras introduzindo conceitos de equalizacao,a qual torna possıvel a comparacao de indivıduos sobmetidos a provas diferentes.Apresentacao e discussoes sobre os principais metodos de estimacao dos parametrosna TRI tambem foi apresentado por Azevedo (2 0 0 3 ).

Os atributos, ou caracterısticas (variaveis nao observaveis) que cada pessoapossui de forma inerente, sao chamados de habilidades. O vetor das habilidadesindividuais sera representado pela letra grega teta (θ) . Em cada item, cada nıvel dehabilidade tera certa probabilidade de responder a um item de forma correta e estarelacao e tal que, quanto maior for sua habilidade, maior sera essa probabilidade.Tal probabilidade sera denotada por P (θ) (Bak er, 2 0 0 1). P lotando-se o grafico deP (θ) em funcao de θ , tem-se uma curva sigmoide logıstica, que e chamada deC urva C aracterıstica do Item (C C I) (Figura 1). A C C I do modelo logıstico de 2parametros foi descrita por Birnbaum (19 6 8 ) e e dada pela equacao abaixo:

P (Yij = 1|θi) =1

1 + e−aj(θi−bj)(1)

em que:Yij: variavel dicotomica que pode assumir os valores 1 (quando o examinado

i responder corretamente ao ıtem j), ou 0 (quando ele responder incorretamente);θi : parametro da habilidade do examinado i;aj: parametro do poder de discriminacao do item j.bj: parametro do grau de dificuldade do ıtem j.Esta curva indica que a cada item serao associados dois parametros distintos,

quais sejam: o grau de dificuldade (b) e o pode de discriminacao (a). O grau dedificuldade e o ponto na escala de habilidades em que a curva atinge a probabilidade

40 Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008

-3 -2 -1 0 1 2 3

0.2

0.4

0.6

0.8

è

P ( )è

Figura 1 - Curva caracterıstica do item - CCI.

de 50% . O poder de discriminacao e a inclinacao da curva no ponto de dificuldadeb.

As habilidades θ estao relacionadas as notas dos indivıduos, mas nao saoexatamente proporcionais aos escores finais da prova. A escala de −∞ a +∞ econveniente para indicar que e possıvel encontrar indivıduos com habilidades aqueme alem da medida pela prova.

O valor do parametro a e proporcional ao maximo da inclinacao da CCI noponto em que θ = b. Seu domınio e o conjunto R+.

P ′(bj) =aj e−aj(θi−bj)

(1 + e−aj(θi−bj)2=

aj

4∝ aj

em que P ′(bj) e a derivada primeira de P em relacao a θ no ponto bj .O parametro b e definido como o ponto na escala de habilidade no qual

o examinado, com essa dada habilidade, tem a probabilidade 0,5 de respondercorretamente a esse ıtem, ou seja,

1

1 + e−(θi−bj)= 0, 5

1 + e−(θi−bj) = 2 ⇒ e−(θi−bj) = 1 ⇒ e−(θi−bj) = e0

−(θi − bj) = 0 ⇒ θi = bj

O objetivo deste trabalho e aplicar os conceitos da TRI para os dados doVestibular 2006-2 da UFLA, no curso de Agronomia, estabelecendo uma rotina deanalise do modelo logıstico de dois parametros como passo inicial para modelos maiscomplexos. Estimando-se os parametros dos itens, pretende-se identificar quais delesdiscriminam adequadamente os melhores candidatos e, com isso, contribuir para amelhoria do processo seletivo.

Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008 41

2 Material e metodos

O processo de estimacao dos parametros do modelo logıstico foi feito viainferencia bay esiana utilizando o algoritmo Metropolis e Hastings. (Hastings,197 0; Metropolis et al., 1953). Alguns, antes, tem usado a inferencia frequentistapara estima-los. Na inferencia bay esiana, toda informacao que se tenha sobre oparametro, antes de ser observada a amostra, deve ser considerada e incorporadaaos dados, atraves de uma distribuicao a priori. A distribuicao resultante e chamadadistribuicao a posteriori (O’Hagan, 1994) e e com base nela, que e feita todainferencia bay esiana. Para o caso contınuo, por envolver integracoes trabalhosasou mesmo impossıveis, a inferencia sobre o parametro de interesse e feita atraves demetodos de aproximacoes numericos. Um metodo bastante utilizado e o metodo deMonte Carlo via cadeia de Markov (MCMC), atraves do qual e obtida uma amostrada funcao de interesse. Os erros dessas aproximacoes podem ser calculados e sao oschamados Erros de Monte Carlo (Gamerman, 1997 ).

Dos metodos de simulacao que utilizam cadeias de Markov, destacam-se oamostrador de Gibbs (AG) e o algoritmo Metropolis e Hastings (MH). O AG faz usoda expressao da condicional completa, quando esta tem a forma de uma densidadeconhecida e, portanto, facil de ser amostrada (Gamerman, 1997 ). Q uando asdistribuicoes completas nao sao conhecidas, como e o caso deste trabalho, utiliza-seo algoritmo MH.

Analises bay esianas de TRI podem ser encontradas na amostragem Gibbspara o modelo de 2 parametros. e implementadas na biblioteca CODA (Plummeret al., 2006) da linguagem R (R Development Core Team, 2005). Isto porque, epossıvel estabelecer condicionais completas para os grupos de parametros (Albert,1992). Como nosso interesse era produzir um algoritmo intermediario para modelosfuturos de 3 parametros, implementamos o algoritmo MH. O algoritmo Metropolis eHastings consiste em um poderoso algoritmo do tipo MCMC para gerar valores paraa distribuicao de interesse utilizando uma distribuicao conhecida como auxiliar. Foidesenvolvido por meio dos trabalhos de Hastings (197 0) e Metropolis et al. (1953).Esta distribuicao e chamada de distribuicao geradora de candidatas, que podeser representada por q(β).

2.1 Material

Os dados utilizados para o desenvolvimento deste trabalho referem-se aoVestibular 2006-2, do curso de Agronomia, da Universidade Federal de Lavras(UFLA).

As provas da primeira fase do Vestibular 2006-2 do curso de Agronomiada UFLA constaram de 66 itens. Estas provas e seus respectivos numeros deitens avaliados sao os que se seguem: Portugues (questoes de 1-10), Geografia(questoes de 11-18), Historia (questoes de 19-24), Filosofia (questoes de 25-26),Lıngua Estrangeira (questoes 27 -34), Biologia (questoes 35-42), Fısica (questoes43-50), Matematica (questoes 51-58), Q uımica (questoes 59-66).

42 Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008

Por razoes operacionais, a prova de Lıngua Estrangeira nao pode ser avaliada,sendo, entao, considerados apenas 58 itens da prova de multipla escolha.

Os programas utizados para implementar a metodologia bayesiana foramelaborados na linguagem R (R Development Core Team, 2005). Para a verificacaodas cadeias geradas do MCMC, fez-se uso da biblioteca CODA (Plummer, Cow lese Vines, 2006).

2.2 Metodologia

Cada item de um teste possui duas possibilidades de resposta: certa ou errada.Considerando o valor 1 para a resposta correta e 0 para a resposta incorreta, tem-sea seguinte distribuicao de Bernoulli:

fYij(yij ; p) = pyij (1 − p)yij (2)

em que:yij = {0, 1} : variavel aleatoria das possıveis respostas do indivıduo i para o

item j;p : probabilidade de yij ser igual a 1, dada pelo modelo logıstico de 2

parametros, conforme a equacao 1.Sendo aplicado um teste com J itens para I indivıduos, tem-se a seguinte

funcao de verossimilhanca:

fY11,...,YI J(y11, ...yij |aj , bj , θi) =

I ,J∏

i,j

[1

1 + e−aj(θi−bj)]yij

× {1 − 1

1 + e−aj(θi−bj)}(1−yij) (3)

Utilizou-se como distribuicao a priori para o parametro θ uma distribuicaonormal(0,1), pois, para as habilidades dos candidatos, e coerente admitir que ascaracterısticas desta distribuicao estao de acordo com a populacao em estudo. Suadistribuicao e:

fΘi(θi) =

1√2π

e−1

2θ2

i

Para o parametro a, a distribuicao a priori escolhida foi a Log-normal por seruma boa alternativa para produzir CCI crescentes, sendo, pois:

fAj(aj) =

1

aj

√2π

e−1

2[ln (aj)]

2

Para o parametro b, foi escolhida a distribuicao Uniforme (-3,3) refl etindo ofato de que nao se deseja especificar muita informacao a priori. Tal intervalo [-3,3]refl ete uma cobertura de 99,87% da distribuicao das habilidades e foi escolhido pararelacionar o domınio de b ao de θ. Nao foi escolhida uma distribuicao a priori com

Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008 43

distribuicao normal para este parametro, devido ao fato de que este se encontradependente de quem elabora as questoes, nao sendo razoavel supor que tenhamdistribuicao normal. Sua distribuicao a priori escolhida foi, pois:

fBj(bj) =

1

6

Note que o domınio de θ e (−∞,∞) e o domınio de b e [-3, 3]. Estas duasvariaveis devem ser associadas, porem, desejou-se possibilitar que θ < −3 e θ > 3refletisse candidatos com habilidade aquem ou alem da medida pela prova. O usoda distribuicao normal (0,1) para θ, no entanto, minimiza a expectativa de que taisvalores de habilidade ocorram.

2.2.1 Distribuicao a posteriori

Supondo-se independencia entre todas as distribuicoes a priori, obtem-se adistribuicao conjunta a posteriori multiplicando-se todas as distribuicoes a priori

pela funcao de verossimilhanca, conforme a seguinte equacao:

f(Aj ,Bj ,θi|Yij)(aj , bj , θi|yij) ∝I,J∏

i,j

fAj(aj) fBj

(bj) fΘi(θi)

×I,J∏

i,j

f(Yij |Aj ,Bj ,θi)(yij |aj , bj , θi)

∝I,J∏

i,j

1

aj

√2π

e−1

2[ln(aj)]

2 1

6

1√2π

e−1

2θ2

i

︸ ︷ ︷ ︸

d is tr ib. ind e p e nd e nte s a p r io r i

×I,J∏

i,j

[1

1 + e−aj(θi−bj)]yij .[1 − 1

1 + e−aj(θi−bj)](1−yij)

︸ ︷ ︷ ︸

V e r o s s im ilh anc a

(4)

2.2.2 Im plem entacao do m etodo am ostral (MCMC)

Utilizou-se o metodo MCMC, em que os valores foram gerados de formaiterativa, baseados em cadeias de Markov, utilizando-se a seguinte proposta:

β1 e amostrada da distribuicao a posteriori ;β2 sera elemento da amostra com probabilidade dada por

p(β1 −→ β2) = α ,

44 Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008

em que p(β1 −→ β2) re p re se n ta a p ro b a b ilid a d e d a c a d e ia d e M a rk o vm o v im e n ta r-se d e β1 p a ra β2. M o n to u -se u m a C a d e ira d e M a rk o v c o m o s c a n d id a to sa e le m e n to s d a a m o stra a c e ito s. S e g u n d o G e lfa n d e S m ith (19 9 0 ), se n −→ ∞ e so ba lg u m a s c o n d ic o e s d e e sta b ilid a d e , e sta e u m a b o a a p ro x im a c a o d a d istrib u ic a o aposteriori.

O A lg o ritm o M H e u m a im p le m e n ta c a o d e u m a c a d e ia a m o stra l g e ra d a p e lom e to d o M C M C . A ju stifi c a tiv a p a ra e ste m e to d o d e a m o stra g e m e n c o n tra -se e mB e rn a rd o e S m ith (19 9 4 ). O m e c a n ism o b a sic o e a c e ita r q u a lq u e r n o v o p o n to c o m op e rte n c e n te a d istrib u ic a o d e in te re sse c o m p ro b a b ilid a d e d e a c e ita c a o c o n h e c id a ec a lc u la d a p e la d istrib u ic a o a d e q u a d a . O p ro c e d im e n to u sa d o p a ra q u e o s v a lo re sa m o stra d o s p e rte n c a m a d istrib u ic a o d e in te re sse e fe ito se g u in d o o s se g u in te sp a sso s:

1 - a trib u ir u m v a lo r a rb itra rio in ic ia l β c o m o p rim e iro v a lo r d a a m o stra ;2 - c a lc u la r P (β) e q(β);3 - a m o stra r β∗ d a d istrib u ic a o c a n d id a ta e c a lc u la r P (β∗) e q(β∗);4 - c a lc u la r u m a ra z a o :

r =

P (β∗)q(β∗)

P (β)q(β)

=P (β∗) q(β)

P (β) q(β∗)

5 - c a lc u la r a p ro b a b ilid a d e d e a c e ita c a o :

α(β, β∗) = m in{1,P (β∗) q(β)

P (β) q(β∗)(5 )

6 - g e ra r u ∼ U(0 , 1);7 - C o n sid e ra r β∗ c o m o e le m e n to d a a m o stra se u ≤ α. C a so c o n tra rio , re p e tr

β n a a m o stra e re to rn a r a o p a sso 3 , re p e tin d o -se e sse p ro c e sso a te 10 0 .0 0 0 ite ra c o e s.

D e sc a rto u -se o s v a lo re s d a s 5 0 0 p rim e ira s o b se rv a c o e s (” bu rn -in ” ). A a m o strav a lid a fo i fo rm a d a p o r v a lo re s to m a d o s a c a d a 2 5 ite ra c o e s (” th in n in g ” ). A ro tin aim p le m e n ta d a n o C O D A p a ra g a ra n tir a c o n v e rg e n c ia d a s c a d e ia s g e ra d a s p e loc rite rio d e R a fte ry e L e w is e sta b e le c e o ta m a n h o m ın im o d o bu rn -in e d o th in n in g .F o ra m fo rn e c id o v a lo re s in fe rio re s a 10 0 p a ra o bu rn -in e in fe rio re s a 2 0 p a ra oth in n in g . F o ra m u sa d o s v a lo re s su p e rio re s a e ste s. P o rta n to , a c e ito u -se a a m o strac o m o se n d o d a d istrib u ic a o a posteriori.

P a ra im p le m e n ta r o a lg o ritm o M H fo i e sc o lh id a a d istrib u ic a o g e ra d o ra d ec a n d id a ta s c o m o se n d o a m e sm a d a d istrib u ic a o a priori d o s p a ra m e tro s d ein te re sse . D e a c o rd o c o m C h ib e G re e n b e rg (19 9 5 ), e x p lo ra n d o -se a fo rm a d e P (β),isto p o d e se r fe ito d e m o d o a sim p lifi c a r a im p le m e n ta c a o d o a lg o ritm o . A ssim , ae x p re ssa o 5 p o d e se r e sc rita c o m o :

α(β, β∗) = m in{1,ψ(β∗)

∏f(β∗) q(β)

ψ(β)∏

f(β) q(β∗)}

e m q u e :

Rev. B ra s. B io m ., S a o P a u lo , v .2 5 , n .3 , p .3 9 -5 5 , 2 0 0 8 4 5

ψ(.) e a distribuicao a priori e∏

f(.), a funcao de verossimilhanca dadistribuicao de interesse.

E scolhendo-se q(.) = ψ(.), tem-se:

β(β, β∗) = min{1,ψ(β∗)

∏f(β∗) ψ(β)

ψ(β)∏

f(β) ψ(β∗)} = min{1,

∏f(β∗)

∏f(β)

}

o que torna mais simples a forma algebrica da probabilidade de aceitacao (quepassa ser a razao de verossimilhanca).

Dessa forma, as distribuicoes candidatas escolhidas para gerar valores aoselementos dos vetores de parametros a, b e θ foram, respectivamente, a lognormal,a uniforme e a normal.

A discussao dos resultados fez-se atraves da analise dos graficos obtidos paraos parametros dos itens, atentando para as disciplinas que mais contribuıram paraselecionar os melhores candidatos e que apresentaram maior grau de dificuldade.Alguns destes itens tambem foram melhor discutidos atraves da observacao detabelas, cadeias geradas pelo metodo MCMC e CCI. Selecionou-se, tambem, tresquestoes para reproduzi-las e comenta-las.

3 Resultados e discussao

3 .1 C o n sid e rac o e s g e rais so bre o s p aram e tro s d o s ite n s

Ao analisar os Graficos das Figuras 2 e 3, pode-se observar que as questoes queapresentaram maior grau de dificuldade se encontram nas disciplinas de Matematicae Fısica. E stima-se, em media, tambem, elevado grau de dificuldade para as questoesde Biologia e Q uımica. As questoes de Biologia foram as que apresentaram maiorpoder de discriminacao. E m seguida, tem-se Q uımica, Fısica e Matematica. E stasquatro, pois, foram a que tiveram maior grau de dificuldade e maior poder dediscriminacao. Para as disciplinas de Portugues, Geografia, Historia e Filosofiahouve questoes muito faceis e tambem muito difıceis, sendo que Filosofia somenteteve questoes faceis. N o entanto, todas estas ultimas quatro apresentaram baixopoder de discriminacao. Isto nos chama a atencao para o fato de que questoes maisfaceis nao levam, necessariamente a maior poder de discriminacao.

Os itens com maiores estimativas para o valor do parametro discriminacaoforam os de numero 28 , 30 e 34 (todos de Biologia). O menor poder de discriminacaofoi obtido pelo item 49 (Matematica). Q uanto ao parametro dificuldade, os itensconsiderados mais faceis foram os de numero 15 e 18 (ambos de Geografia) e osmais difıceis, os de numero 22 (Historia), 44 (Matematica) e 55 (Q uımica) .

Os respectivos valores dos parametros dos itens comentados se encontram naT abela 1.

Pode-se resumir essas consideracoes sobre os parametros a, b e θ, como sesegue:

46 Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008

Figura 2 - Poder de discriminacao a para o curso de Agronomia.

Figura 3 - Grau de dificuldade b para o curso de Agronomia.

Existe um conceito geral academico de que a disciplina de Matematica possuium grau de dificuldade elevado. U ma breve incursao na literatura revela que estareputacao e internacional e consensual entre professores e estudantes (Correa eMaclean, 1999).

Como era esperado, os resultados deste trabalho corroboram tal conceito:Matematica foi a disciplina mais difıcil, seguida em ordem decrescente de dificuldadepela Fısica, Biologia e Quımica. A disciplina mais facil foi Filosofia. As demais nao

Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008 47

Tabela 1 - Estimativas a posteriori por ponto e por intervalo (IC-HPD: intervalo decredibilidadede maxima densidade de probabilidade - highest proba bility

d ensity ), para os parametros a e b de alguns itens do Curso deAgronomia e respectivo erro de Monte Carlo

Item Parametro media I.C. - HPD Erro de M.C.inferior superior

15 a 0,301 0,215 0,404 0,001b -2,583 -3,000 -1,980 0,008

18 a 0,436 0,324 0,578 0,002b -2,575 -3,000 -1,994 0,010

19 a 0,307 0,215 0,422 0,001b -2,540 -3,000 -1,905 0,009

28 a 1,679 1,295 2,101 0,005b 0,040 -0,088 0,173 0,005

30 a 1,780 1,369 2,202 0,006b 0,637 0,487 0,819 0,006

34 a 2,008 1,523 2,508 0,007b 0,007 -0,120 0,134 0,003

44 a 0,485 0,392 0,585 0,001b 2,744 2,340 3,000 0,004

49 a 0,083 0,016 0,157 0,002b 1,037 -0,692 2,916 0,017

55 a 0,459 0,383 0,533 0,001b 2,856 2,613 3,000 0,003

se destacaram.A disciplina de Biologia se destacou como a que maior poder de discriminacao

obteve. Uma boa discriminacao tambem foi obtida pelas disciplinas de Quımica,Fısica e Matematica. As demais tiveram baixo poder de discriminacao.

Embora seja difıcil achar explicacoes diretas para tamanho poder dediscriminacao da prova de Biologia, pode-se considerar que, no curso de Agronomia,os candidatos melhor preparados nesta area tenham desempenho muito superior aosmal preparados, o que torna esta prova otima para discriminar candidatos, mesmoapresentando difıculdade elevada.

Em resumo, pode-se observar que as disciplinas que mais contribuıram paradintinguir entre as habilidades dos candidatos foram Biologia, Quımica, Fısica eMatematica. A contribuicao das demais, neste aspecto, nao foi relevante.

3.2 Consideracoes especıfi cas sobre B iologia e M atematica

Como as disciplinas que apresentaram maior poder de discriminacao emaior grau de dificuldade foram, respectivamente, Biologia e Matematica,foram escolhidas algumas questoes destas provas para serem discutidas mais

48 Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008

detalhadamente a seguir, procurando oferecer algumas pistas sobre padroes deconstrucao de questoes ”boas”e ”ruins”.

Como comentado anteriormente, as questoes que obtiveram maior valor parao parametro discriminacao foram as de numero 28, 30 e 33. Todas apresentaramvalores, para esse parametro, superiores a 1. Segundo Andrade, Tavares e V alle(2000), para o parametro a, espera-se valores entre 0 e 2, sendo mais apropriado,valores maiores que 1. Os valores dos parametros desses itens se encontram naTabela 1, p 10.

Na Figura 4 tem-se representado um exemplo da cadeia gerada pelo metodoMCMC para os itens 30 e 28.

(“a”)

(“b ”)

(“c ”)

(“d ”)

Figura 4 - Representacao grafica das cadeias geradas pelo algoritmo Metropolis-Hastings e da densidade a posteriori para: ”a”: item 30, parametro a;”b”: item 30, parametro b; ”c”: item 28, parametro a; e, ”d”, item 28,parametro b.

Pode-se observar que as cadeias se encontram bem ”misturadas”, nao sendoobservada nenhuma irregularidade a se destacar. Isto significa que a amostra geradapor esse processo e bem representativa da distribuicao de interesse. A densidade aposteriori dos parametros se mostra aparentemente simetrica, com uma distribuicaotendendo a normal. Observa-se que o grau de dificuldade da questao 30 foi acimada media e o da questao 28, praticamente dentro da media.

Devido a esses dois itens possuırem valores proximos para o parametro a, suasCCI estao representadas na Figura 5, com o objetivo de alguns comentarios seremfeitos.

Atraves deles pode-se visualizar bem o que ocorre quando os itens possuempraticamente o mesmo poder de discriminacao e diferentes graus de dificuldade.

Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008 49

-3 -2 -1 0 1 2 3

0.0

0.2

0.4

0.6

0.8

1.0

P

è21

è

è3 0

Figura 5 - CCI dos Itens 28 (azul) e 30 (preto) para o Curso de Agronomia.

A probabilidade de que o candidato 21, que teve uma habilidade estimada de 1,35,acerte a questao 30 e de 0,78 e de que acerte a questao 28, de 0,90. A probabilidadede acerto e maior para a questao 28 devido a esta possuir um grau de dificuldademenor que a questao 30. Para o candidato 30, cuja habilidade estimada foi de -1,02,a probabilidade de acertar a questao 30 e de 0,05 e a questao 28 de 0,14. A diferencaentre as probabilidades de acerto desses dois candidatos e de 0,73 para a questao 30e de 0,76 para a questao 28. Verifica-se que essa diferenca e praticamente a mesma.Isto se deve ao fato de que o poder de discriminacao destas duas questoes temaproximadamente o mesmo valor estimado. A questao 30 se encontra reproduzidana Figura 9, devido a que, dentre as tres que mais discriminaram, nesta disciplina,foi a que apresentou, tambem, maior grau de dificuldade.

A cadeia gerada pelo metodo MCMC, para esses candidatos (21 e 30) e,tambem, para o candidato 7, se encontram na Figura 6.

Observa-se, tambem, uma boa ”mistura”nas cadeias geradas, o que faz comque tenhamos maior confianca na amostra obtida. Nao se e notado nenhumafl agrante irregularidade no processo amostral. A distribuicao das habilidades paraesses candidatos tende a uma distribuicao normal. Diante disso, pode-se observarque os candidatos 7 e 21 tiveram estimativas para suas habilidades superiores amedia da populacao, enquanto que o candidato 30 teve uma habilidade estimadaabaixo da media. As estimativas a posteriori, por ponto e por intervalo, para essestres candidatos, estao na Tabela 2.

A disciplina de Matematica apresentou maior grau de dificuldade. Dentre suasquestoes, considerou-se, pois, a mais difıcil (44) e a mais facil (49). Cabe ressaltartambem, que, considerando todas as disciplinas, a questao 49 foi a que menor poderde discriminacao obteve. A reproducao destas duas questoes encontram-se nasFiguras 7 e 8. Os valores para os parametros desses itens se encontram na Tabela1 acima.

O valor da correlacao entre a nota do vestibulando e sua habilidade estimada

50 Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008

(7)

(2 1 )

(3 0 )

Figura 6 - Representacao grafica das cadeias geradas pelo Metropolis-Hastings e dadensidade a posteriori do parametro θ para os candidatos 7, 21 e 30.

Tabela 2 - Estimativas a posteriori por ponto e por intervalo (IC-HPD: intervalo decredibilidade de maxima densidade de probabilidade - highest probability

density), para o parametro θ de alguns candidatos do Curso deAgronomia e respectivo erro de Monte Carlo

Candidato media I.C. HPD Erro de M.C.inferior superior

7 1,22 0,43 2,11 0,00721 1,35 0,54 2,27 0,00830 -1,02 -1,97 -0,10 0,008

e de 0,89, o qual e considerado muito satisfatorio. Isto faz com que se tenha maiorseguranca quanto ao processo amostral realizado.

3.2.1 Reproducao dos itens 30 (Biologia), 44 e 49 (Matematica)

Item 44: Esta questao envolve muitos conceitos simultaneos: determinantee suas propriedades, inversa de matrizes e resolucao de sistemas. Isso faz comque ela seja uma questao difıcil. O fato de ter sido pedido para se assinalar aalternativa incorreta, obriga o candidato a resolver todas as alternativas, pois eleprecisa descobrir qual alternativa nao esta correta e nao apenas resolver a questaoe buscar qual delas corresponde a solucao que ele encontrou. Portanto, ou ele sabeou nao sabe, isto e, tem um bom poder de discriminacao. Quanto ao seu enunciado,esta bem claro e objetivo.

Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008 51

Figura 7 - Item 44: questao 52 do Vestibular 2006-2, do curso de Agronomia, daUFLA.

Figura 8 - Item 49: questao 57 do Vestibular 2006-2, do curso de Agronomia, daUFLA.

Item 49: Esta questao e considerada uma questao facil, ja que poucosconceitos sao cobrados por ela: angulos, perımetro de circunferencia e regra detres, conteudo de 6a serie do ensino fundamental. Porem, seu diagrama aparentaser complicado, o que, talvez, tenha sido a razao de se elevar seu grau de dificuldade(sendo, no entanto, a mais facil dentre as questoes de Matematica).

Item 30: Trata-se de uma questao pouco trabalhosa, mas rica em conceitose bem formulada.

Para o Vestibular 2006-2 da UFLA, podem-se resumir os principais resultadoscomo sendo os seguintes: o modelo de TRI permitiu analisar em detalhes aspectos

52 Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008

de discriminacao e dificuldade das provas para o curso de Agronomia.Quanto as provas, a disciplina de Biologia apresentou maior poder de

discriminacao. Em relacao ao grau de dificuldade, a disciplina de Matematicafoi considerada difıcil; Fısica, Biologia e Quımica tambem apresentaram um graude dificuldade elevado; em seguida estao as disciplinas de Historia, Portugues eGeografia; por ultimo, Filosofia, que foi a que apresentou as questoes mais faceis ecom baixo poder de discriminacao. Quanto a habilidade estimada, esta apresentoualta correlacao com as notas.

Conclusoes

A TRI mostrou-se util para discutir a qualidade das questoes do vestibular2006-2 da UFLA, para o curso de Agronomia, o que pode servir de referencia paradesenvolvimentos futuros e planejamento do processo seletivo nesta Instituicao. Emtodas as provas e possıvel estabelecer diferencas entre o poder de discriminacao dasquestoes, no entanto, apenas um monitoramento com os responsaveis das areas eespecialistas nas provas pode elucidar os motivos e possıveis regularidades que levem

Figura 9 - Item 30: questao 38 do Vestibular 2006-2, do curso de Agronomia, daUFLA.

Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008 53

a melhoras no processo de elaboracao de novos itens.

Agradecimentos

A FAPEMIG por conceder uma bolsa durante o curso de Mestrado, tornandopossıvel minha dedicacao exclusiva ao mesmo.

BRAGION, M. L. L.; BUENO FILHO, J . S. S. A logistic model fitted to UFLA’s2006-2 admission exam with candidates to Agronomy. Rev. Bras. Biom., SaoPaulo, v.25, n.3, p.39-55, 2007.

ABSTRACT: A two parameter Item Response Theory (IRT) model was fitted to analyse

the admission ex am to a F ederal U niv ersity in L av ras, M inas G erais, Braz il (U F L A).

E x am was held to admission in the second semester of 2 0 0 6 . The parameters in the

log istic model are: deg ree of discrimination (a) and dificu lty lev el (b ), along with the

indiv idu al hab ility (theta). M odel were fitted within Bayesian Inference framework

u sing M etropolis-H asting s alg orithm to g et samples from the posterior distrib u tion.

Indiv idu al hab ility presented strong correlation with final g rades. The most diffi c u lt

q u estions, on av erag e, came from M athematics followed in decreasing order b y P hysics,

Chemistry, Biolog y, H istory and P ortu g u ese. G eog raphy and P hylosophy presented a

low lev el of diffi c u lty. Reg arded to discrimination, Biolog y has shown the b etter resu lts

with ex celent discrimination. G ood discrimination were reached, in decresing order,

b y Chemistry, P hysics and M athematics ex ams. The other su b jects did not b ring any

relev ant information to rank the candidates. Two parameter log istic IRT models has

b een shown a powerfu ll tool to u nderstand and disc u ss the q u ality of U F L A admission

ex ams to Ag ronomy.

K E Y W O RD S: Bayesian inference; item response theory.

Referencias

ALBERT, J . H. Bayesian estimation of normal ogive item response curves usingGibbs sampling. J ournal of E ducational S tatistics, v.17, n.3, p.251-269, 1992.

ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. T eoria da Resposta ao Item:

C onceitos e A plicac oes. SINAPE, 2000.

AZ EVEDO, C. L. N. M etodos de estimac ao na teoria de resposta ao item. 2003.121 p. Dissertacao (Mestrado) - Universidade de Sao Paulo, Sao Paulo.

BAK ER, F. B. T he Basics of Item Response T heory. 2. ed. W isconsin: Universityof W isconsin, 2001. 172p.

BERNARDO, J . M.; SMITH, A. F. M. Bayesian T heory. W iley, Chichester, 1994.

BIRNBAUM, A. Some latent trait models and their use in inferring an examinee’sability. In: LORD, F. M.; NOVICK , M. R. (Ed.) S tatistical T heories of M ental T est

S cores. Reading, M.A.: Addison-W esley, 1968.

54 Rev. Bras. Biom., Sao Paulo, v.25, n.3, p.39-55, 2008

CHIB, S.; GREENBERG, E. Understanding the Metropolis-Hasting Algorithm.The American Statistician, Alexandria, v.49, n.4, p.327-335, Nov. 1995.

CORREA, J.; MACLEAN, M. Once upon a time ... a villain called mathematics:an intercultural study of the relative diffi culty attributed to mathematics. P sicol.

Refl ex . Crit.. v.12, n.1, 1999.

GAMERMAN, D. Markov chain Monte Carlo: Stochastic Simulation for BayesianInference. London: Chapman e Hall, 1997.

GELFAND, A. E.; SMITH, A. F. M. Sampling based approaches to calculatingmarginal densities. Journal of the American Statistical Association, Alexandria,v.85, n.410, p.398-409, 1990.

HASTINGS, W. K. Monte Carlo sampling methods using Markov chains and theirapplications. Biometrika, London, v.57, n.1, p.97-109, 1970.

LORD, F. M. A theory of test scores. Psychometric Monograph, 7, 1952.

METROPOLIS, N.; ROSEMBLUT, A. W.; ROSEMBLUT, M.N.; TELLER, A. H.;THELLER, E. Equations of state calculations by fast computing machines. Journal

of Chemical P hisics, New Y ork, v.21, p.1087-1092, 1953.

O’HAGAN, A. K endall’s Advanced Theory of Statistics. London: Arnold, 1994.330p. (Bayesian Inference, vol 2B)

PLUMMER, M.; BEST, N.; COWLES, K; VINES, K. The coda P ackage. Outputanalysis and diagnostics for MCMC, GPL Version 2 or later, 2006.

RASCH, G. P robabilistic Models for Some Intelligence and Attainment Tests.Copenhagen: Danish Institute for Educational Research, 1960.

R Development Core Team. R: A language and enviroment for statistical computing.Vienna, Austria: R Foundation for Statistical Computing. Disponıvel em:<http://www.R-project.org>. A cesso em : 1 0 d ez . 2 0 0 5 .

Receb id o em 0 2 .0 4 .2 0 0 7 .

A prov a d o a pos rev isa o em 2 0 .1 1 .2 0 0 7 .

Rev. B ra s. B io m ., S a o P a u lo , v .2 5 , n .3 , p .3 9 -5 5 , 2 0 0 8 5 5