Als examinator ben je verantwoordelijk voor de kwaliteit van een DIT itembank en voor de kwaliteitszorg daarop. In het examenreglement vind je daarover uitgebreide richtlijnen. Je hebt incidentele en periodieke kwaliteitszorg.
- Incidentele kwaliteitszorg kan bijvoorbeeld starten met een opmerking of klacht van een student.
- Bij periodieke kwaliteitszorg inspecteer je de kwaliteit van de opgaven van de itembank met behulp van de statistische gegevens in ANS. Bij een nieuwe itembank doe je dat nadat elke opgave ongeveer vijf tot acht keer is gemaakt. Bij bestaande itembanken doe je dat jaarlijks.
Dit stappenplan beschrijft stap voor stap hoe je ANS gebruikt bij kwaliteitszorg bij een DIT. De nadruk ligt op de kwaliteitszorg bij meerkeuze-vragen.
Het uitgangspunt bij kwaliteitszorg op meerkeuze-vragen is dat iedere opgave een relevante en eerlijke bijdrage levert aan het tentamen. Te makkelijke opgaven leveren vaak geen relevante bijdrage en te moeilijke vaak geen eerlijke bijdrage. Om deze opgaven op te sporen kun je in ANS de p-waarde van een opgave opzoeken. De p-waarde (p staat voor proportie) geeft aan hoeveel studenten de opgave correct hebben beantwoord. Je kunt een p-waarde ook als percentage beschouwen. Bij een p=0.00 had geen enkele student de opgave goed (0%); bij een p=1.00 hadden alle studenten de opgave goed (100%).
Bij het interpreteren van de p-waarde kijk je ook altijd naar de kolom “afgenomen”. Naarmate er meer afnames zijn, worden de waarden ‘zekerder’ en stabieler.
De OU heeft vuistregels opgesteld voor de grenswaarden van p-waarden. Deze grenswaarden kun je gebruiken bij de analyse van je itembank. De grenswaarden zijn bedoeld om de opgaven die extra kwaliteitszorg nodig hebben op te sporen. In onderstaande tabel staan vuistregels voor verschillende soorten meerkeuze-vragen.
| Vraagtype | Gokkans | Ondergrens | Bovengrens |
|---|---|---|---|
| 1-uit-4 | 0,25 | 0,44 | 0,90 |
| 1-uit-3 | 0,33 | 0,50 | 0,90 |
| 1-uit-2 | 0,50 | 0,61 | 0,90 |
Een goedgevuld cluster zorgt ervoor dat studenten vooraf niet kunnen raden welke opgave ze krijgen. Volgens het examenreglement van de OU dient elk cluster ten minste vijf opgaven te bevatten. We adviseren om minimaal 7 opgaven per cluster in de itembank te hebben, zodat er altijd genoeg opgaven zijn, ook als je een opgave (tijdelijk) terug trekt.
Het aanpassen of terugtrekken van opgaven met een te lage p-waarde heeft het meeste effect voor de kwaliteit van je toets. Een lage p-waarde is een signaal dat er iets niet klopt aan de opgave. De volgende stap is om uit te zoeken waar dat aan kan liggen.
Binnen ANS kunnen we ook zien hoe de antwoordverdeling per opgave was, de a-waarde. Je kunt de a-waarde gebruiken om patronen te ontdekken en te verklaren waarom deze opgave te moeilijk is.
Hoe bekijk ik de antwoordverdeling per opgave?
Bij de OU zien we vaak de volgende oorzaken van (te) lage p-waarden:
- Een fout alternatief is als correct gecodeerd in ANS;
- De vraagstelling vergt veel gepuzzel bij het lezen;
- De inhoud van de opgave gaat over een detail in de leerstof (bijvoorbeeld de voetnoot opgave);
- Om de opgave te beantwoorden moet er een heel specifiek detail onthouden worden (bijvoorbeeld de namen van onderzoekers);
- Twee alternatieven verschillen heel weinig van elkaar.
Maak een schermafbeelding (via de sneltoets Shift+'windowsknop'+s) van de antwoordverdeling en sla deze op. Wanneer je een opgave terugtrekt dan heb je namelijk geen toegang meer tot deze gegevens.
Bij het aanpassen van de opgaven zijn er twee situaties mogelijk: of de opgave verandert van inhoud (bijvoorbeeld andere sleutel, ander alternatief, andere vraagstelling) of de aanpassing is redactioneel (de inhoud van opgaven en alternatieven verandert niet). Als de opgave van inhoud verandert, dan dien je in ANS een geheel nieuwe opgave te maken. Als de opgave alleen redactioneel wijzigt dan kan je de bestaande opgave aanpassen. Bij twijfel maak je een nieuwe opgave.
Hoe pas ik opgaven aan of verwijder ik opgaven in een DIT toets in Ans?
Het is belangrijk dat je de opgaven de correcte labels meegeeft. Labels geven de status van de opgaven aan. Het werken met labels is belangrijk voor andere collega’s die een rol hebben in ANS (redacteuren, andere docent, ANSbeheer).
Een itembanktoets heeft alleen opgaven met het label “IN AFNAME”. Wanneer je alle stappen hebt doorlopen en eventuele aanpassingen hebt doorgevoerd is de laatste stap om te controleren of alle opgaven in de itembanktoets dat juiste label hebben. Let er wel op dat deze controle pas zin heeft nadat ANSbeheer de verzoeken van jou als examinator heeft kunnen uitvoeren (controleer bijvoorbeeld na een week of twee weken).
Hoe controleer ik of alle opgaven in de itembanktoets de juiste labels hebben?
Wanneer je hebt geconstateerd dat er opgaven in de itembanktoets zitten met een ander label dan “IN AFNAME”, mail dan zo snel mogelijk met ANSbeheer om te vragen of ze de itembanktoets in orde willen maken.