Analyse af data fra opgaveafprøvningerne

Rasch-modellen anvendes som den statistiske model, der ligger til grund for både analysen af opgavernes psykometriske egenskaber, fastsættelse af opgavernes sværhedsgrader og til beregning af elevernes dygtigheder i de færdigheder, der testes

Rasch-modellen er en statistisk sandsynlighedsmodel, hvor sandsynligheden for, at en elev svarer korrekt på en opgave, alene afhænger af opgavens sværhedsgrad og elevens dygtighed.

Når en test undersøges for, om den passer til en Rasch-model, undersøges opgaverne for, om de opfylder en række statistiske krav. Læs mere om den statistiske kvalitetssikring af opgaverne under Den endelige opgaveafprøvning kvalitetssikrer opgaverneAfprøvning af opgaver til Folkeskolens Nationale Færdighedstest.

Rasch-modellen er én blandt flere modeller, der tilhører IRT-modellerne (Item Response Theory). 

Opgavernes tilpasning til modellen

Hvis en opgave fungerer godt, er den god til at skelne dygtige elever fra mindre dygtige elever. For at vurdere hvor gode opgaverne er til at skelne mellem forskellige dygtigheder, beregnes fit-statistikker, der bygger på forskellen mellem en elevs faktiske antal point på den enkelte opgave og det antal point, som den statistiske model forventer af eleven baseret på elevens svar på samtlige opgaver i modellen:

  • En infit-statistik på én angiver en god tilpasning til den statistiske model.
  • En infit-statistik større end én angiver, at den givne opgave er dårligere til at skelne mellem elevers dygtigheder, end de øvrige opgaver i testen overordnet er.
  • En Infit-statistik mindre end én angiver, at den givne opgave skelner “for godt” mellem elevers dygtigheder.

Opgaver afvises i denne statistiske kvalitetssikring, hvis de afviger statistisk signifikant fra modellen. 

Elevdygtighed er et fagligt begreb

I Rasch-modellen anvendes begreber som elevdygtighed og opgavesværhedsgrad som statistiske begreber. Baseret på indsamlede data fra elevernes besvarelse af opgaverne beregnes (estimeres) både elevernes dygtighed og opgavernes sværhedsgrad. Begreberne bruges til at beskrive elevers sandsynlighed for at besvare opgaver korrekt afhængigt af opgavernes sværhedsgrad og er almindeligt anvendt inden for psykometrisk og statistisk forskning.

Dygtighed er dermed et statistisk begreb i Rasch-modellen, men ikke en betegnelse, der i øvrigt anvendes i ministeriets kommunikation og formidling af resultater til skoler og lærere om elevernes testresultater.

I opgaveafprøvningen er fokus på opgavernes statistiske egenskaber herunder at beregne deres sværhedsgrad.

Test for bias i forhold til køn

Opgaver skal fungere ens for grupper af elever, fx piger og drenge. Det vil sige, at en pige og en dreng, der overordnet er lige dygtige inden for den givne færdighed, skal have samme sandsynlighed for at svare rigtigt på en given opgave med en given sværhedsgrad. Hvis fx en dreng har en højere sandsynlighed for at svare rigtigt på en given opgave, end en pige, der er lige så dygtig som denne dreng, er der noget andet på spil end elevernes dygtighed alene.

Til at undersøge opgaver for bias, beregnes den forventede sammenhæng mellem dygtighed og antal point på opgaven, ligesom til vurdering af opgavens samlede tilpasning til modellen. Den faktiske sammenhæng for henholdsvis drenge og piger kan herefter sammenlignes med den model-forventede sammenhæng fælles for kønnene. Forskellen mellem den fælles, model-forventede sammenhæng og den faktiske (observerede) sammenhæng for henholdsvis drenge og piger kan kvantificeres med RMSD-statistikken (root mean square difference). Hvis forskellen er minimal, er der ikke tegn på bias for den givne opgave.

Opgaver med bias af en betydelig størrelse afvises ligeledes i denne statistiske kvalitetssikring.


Kontor for Prøver, Eksamen og Test

Styrelsen for Undervisning og Kvalitet