Reliabilitets- och validitetsstudier vid differentiell poängsättning av flervalsfrågor

• I föreliggande rapport redovisas tre delförsök där diffe-rentiel.l poängsättning av flervalsfrågors svarsalternativ har prövats och i reliabilitets- och validitetshänseende jämförts med konventionell dikotom poängsättning. Både empiriska och a priori-vikter. har tillämpats. Underlaget till de förra utgjordes dels avbiseriala korrelationer mellan respektive alternativ och totalpoäng och dels av medelvärden i totalpoäng för de som valt respektive svarsalternativ (guttmanvikter). A priori-vikterna erhölls från olika skattningsförfaranden. På prov utformade med ordnade svarsalternativ erhölls högre reliabilitet vid differen-tiell än vid konventionell poängsättning. De högsta reliabi litetBvärdena erhölls med de mera stringenta viktsystemen. Då jämförelserna gjordes med den reliabilitet som erhölls vid konventionell poängsättning på ett parallellt prov utformat utan ordnade svarsalternativ eliminerades denna positiva effekt utom för de stringenta viktsystemen. I validitetshänseende resulterade differentiell poängsättning genomgående i sämre resultat än konventionell poängsättning. I kommentarerna till de erhållna resultaten framhålls den betydelse provets utformning har på möjligheterna att erhålla positiva reliabilitetseffekter med differen-tiell poängsättning. Avslutningsvis redovisas begränsningar i undersökningen och förslag till fortsatta prövningar ges.

• In the present report three studies will be accounted for, where differential scoring of the alternatives of multiple-choice questions has been tested and as for reliability and validity has been compared to conventional dichotomous scoring. Empirical as well as a priori weights have been used. The basis of the former ones consisted partly of biserial correlations between every alternative and the total score and partly of the mean of the total score for those who had chosen the actual alternative (Guttman weights). The a priori weights were received through different judgement procedures. Tests with ordered alternatives showed higher reliability with differential than with conventional scoring. The highest reliability values were received with the more stringent weight systems.When the comparisons were made with the reliability received with conventional scoring of a parallel test, constructed without ordered alternatives, this positive effect was eliminated except for the stringent weight systems. As for validity, differential scoring showed on the whole lower values than conventional scoring. When commenting on the received results the importance of the construction of the test to receive positive reliability effects with differential scoring is pointed out. Finally the restrictions of the study are accounted for and suggestions for future research are given.

Ämnesord

SAMHÄLLSVETENSKAP  -- Utbildningsvetenskap -- Pedagogik (hsv//swe)

SOCIAL SCIENCES  -- Educational Sciences -- Pedagogy (hsv//eng)

Publikations- och innehållstyp

vet (ämneskategori)

rap (ämneskategori)