Die bepunting van toetse is eenvoudig – ’n getal vrae word gevra, die getal regte antwoorde word bymekaar getel en ’n telling word verkry. Indien meer as een persoon die toets skryf, kan die tellings met mekaar vergelyk word en gevolgtrekkings oor die relatiewe prestasies gemaak word. Maar presies wat is getoets en kan die individuele punte sonder meer bymekaar getel word om ’n totaal te gee?

Veronderstel ’n toets in wiskundige vermoë moet opgestel word. Eerstens moet die konstruk ‘wiskundige vermoё’ gedefinieer word. Die definisie kan gebaseer word op gekristalliseerde kennis en ’n persoon kan ’n hoё telling behaal vanweë harde werk en memorisering van inhoud. Aan die ander kant kan die definisie gebaseer word op laterale denke in die sin dat probleme wat nie voorheen teёgekom is nie, opgelos moet word. Dit is duidelik dat die bloudruk van die toetse, gebaseer op hierdie uiteenlopende definisies, sal verskil met die gevolg dat die punte nie op dieselfde wyse geïnterpreteer kan word nie. Ongeag watter definisie gebruik word, kan daar ander faktore wees wat die punte beïnvloed. Indien daar byvoorbeeld ‘storieprobleme’ ingesluit word, kan taal ’n rol speel in die sin dat die persoon nie die vraag verstaan nie. Taal sou dan ’n tweede dimensie wees en die toetsresultate kan nie gebruik word vir die meting van bevoegdheid in suiwer wiskundige vermoё nie. So ’n toets sou ongeldig as ’n toets vir wiskundige vermoё alleenlik wees.

Die meting van konstrukte word gebaseer op teorieё. ’n Metingsteorie kan gedefinieer word as ’n versameling aannames, definisies en stellings wat, wanneer aan die aannames voldoen word, kan lei tot die bepaling van die psigometriese eienskappe van die metings. In so ’n teorie kan punte toegeken word op ’n gefundeerde wyse deur die administrasie van ’n metingsinstrument (toets). Toetse word saamgestel uit vrae (items) en items is dus die boustene van toetse. (In die lig daarvan dat verskillende tipes item verskillende analitiese tegnieke vereis, fokus hierdie artikel slegs op meerkeusige tipe vrae (MCQs) met slegs een korrekte antwoord.) Die metingsteorie moet dit moontlik maak om getalle (metings) op ’n kontinue skaal te genereer. Deur die metings te vergelyk moet betekenis gegee kan word aan dit wat gemeet is.

In hierdie artikel word verskillende metingsteorieё kortliks toegelig en vergelyk. Dit is belangrik om in ag te hou dat verskillende teorieё verskillende vlakke van data (response op items) vereis en dat sommige teorieё oorwegend toetsgerig en ander weer itemgerig is. Jare gelede is al besef dat alle data nie op dieselfde vlak is nie. Stevens (1946) het byvoorbeeld vier vlakke (skale) van data onderskei, naamlik nominale, ordinale, interval en verhoudings. Een van die opmerklikste uitkomste van hierdie onderskeid is dat sekere vlakke van data vereis word voordat bepaalde statistiese tegnieke gebruik kan word. Byvoorbeeld, ’n t-toets kan nie uitgevoer word met twee stelle nominale data nie.

Klassieke toetsteorie (ook verwys na as tradisionele toetsteorie) is ’n toetsgebaseerde teorie en sal eerste kortliks toegelig word – kyk byvoorbeeld Crocker en Algina (1986). Itemresponsteorie (IRT) – kyk, byvoorbeeld, Hambleton en Swaminathan (1985) en Rasch se metingsteorie – kyk, byvoorbeeld, Bond en Fox (2007) is voorbeelde van itemgebaseerde teorieё. Die finale teorie, keusewaarskynlikheidsteorie Barnard (2012), word laastens aan die orde gestel.

Die metingsfout dui aan dat die waargenome telling nie die absolute telling van die persoon se werklike vermoё verteenwoordig nie. Indien ander items byvoorbeeld in die toets ingesluit was, kon die persoon beter of slegter gepresteer het. Indien die toets meer items bevat het, sou ’n beter skatting van die persoon se werklike vermoeё verkry kon word omdat meer items meer inligting verstrek. Dit sou dus beteken dat die metingsfout kleiner is. Al hierdie aspekte hou verband met die basiese begrippe van KTT, naamlik geldigheid, betroubaarheid en die standaardmetingsfout.

Indien meerkeusige vrae gevra word, kan daar gereken word dat een of meer van die items korrek beantwoord is deur te raai. Verskillende variasies van formules om waargenome tellings te korrigeer deur moontlike raai te akkommodeer, kan in die literatuur gevind word. Een hiervan is om te reken dat indien ’n persoon V items verkeerd beantwoord het, dit aanvaar kan word dat die persoon ’n aantal van die ander items korrek geraai het en dat dit verband hou met hoeveel items verkeerd beantwoord is en hoeveel keuses daar in die items was (V/(k-1)) en dat hierdie faktor afgetrek moet word van die waargenome telling:

Die korreksie-vir-raaiformule veronderstel dat die toetsling ’n item korrek kan beantwoord deur blindweg te raai. Dit kan wel die geval wees by sommige items, maar by baie items kan van die keuses uitgeskakel word as die moontlike korrekte antwoord. Gedeeltelike kennis kan dus die kanse verhoog om die item korrek te raai deur van die keuses uit te skakel. Die blindelingse raai word dus eerder ’n ingeligte raai. Hier in is ’n paradoks: ’n persoon wat byvoorbeeld 25 uit ’n honderd vierkeusige items korrek beantwoord het, sal ’n gekorrigeerde waargenome telling van nul kry. Dit is hoogs onwaarskynlik dat ’n persoon wat deel van ’n groep mense is vir wie die toets bedoel was, geen kennis sal hê nie. Die persoon sal sommige antwoorde weet en ander gedeeltelik ken, maar nie glad geen kennis hê nie. Dit is duidelik dat die korreksie-vir-raaiformule nie die probleem van moontlike raai in toetse oplos nie.

Twee sentrale begrippe in KTT om ‘goeie’ items te identifiseer is die item se moeilikheidswaarde en die diskriminasiewaarde. Eersgenoemde gee ’n aanduiding van hoe moeilik of maklik ’n item is en word bereken as die verhouding van die getal persone wat die item korrek beantwoord het tot die getal persone wat in die toetsgroep was. Itemdiskriminasie word gebruik om ’n aanduiding van die kwaliteit van die item te verkry. Hierdie indeks word tradisioneel bereken as die punttwee-reekskorrelasie:

Hoewel die KTT algemeen gebruik is (en steeds gebruik word) deur metingsteoretici, het sekere belangrike probleme aan die lig gekom. Hierdie probleme is hoofsaaklik in die toepassing van die teorie. Eerstens is die item statisties steekproefafhanklik. Indien dieselfde item ingesluit word in ’n toets wat by twee uiteenlopende groepe mense toegepas word, sal hierdie waarde verskillend wees. Die waarde bereken uit ’n groep hoё presteerders sal aandui dat die item maklik is en die waarde bereken uit ’n groep onderpresteerders sal die item moeilik laat voorkom. In dieselfde lig, indien ’n item op ’n homogene groep mense toegepas word, sou die diskriminasiewaarde laer wees as wanneer dieselfde item op ’n heterogene groep toegepas word. Dit is een van die redes waarom groot steekproewe nodig is sodat sulke ekstreme geminimaliseer kan word. Tweedens is die waargenome tellings direk afhanklik van die moeilikheidsgraad van die toets. Laer prestasie sal uiteraard volg uit ’n toets wat uit moeilike items bestaan. ’n Derde probleem is dat die waargenome tellingskaal nie ’n intervalskaal is nie. Indien ’n toetsling byvoorbeeld wil verbeter van ’n telling van 23 na 24, word minder vermoё vereis as wanneer die verbetering van 48 na 49 in ’n 50-itemtoets is omdat die toetsling in laasgenoemde ’n moeiliker vraag moet reg beantwoord. Maar op die waargenome tellingskaal is dit net een punt meer – ongeag van waar op die skaal die verbetering is. Vierdens word, verkeerdelik, veronderstel dat die metingspresisie konstant is vir al die toetslinge. Dit is intuïtief duidelik dat toetslinge met lae tellings geneig is om meer te raai as toetslinge wat hoog presteer. Die SMF word egter as ’n konstante bereken vir alle toetslinge. Ten slotte is die moeilikheidswaardes van die items en die waargenome tellings van die toetslinge nie op dieselfde skaal nie. ’n Item met ’n moeilikheidswaarde van 0.6 kan byvoorbeeld nie sonder meer geassosieer word met ’n waargenome telling van 60% nie – eersgenoemde is ’n psigometriese begrip wat aandui watter verhouding toetslinge ’n bepaalde item korrek beantwoord het terwyl laasgenoemde ’n statistiese begrip is wat aandui hoeveel items ’n sekere toetsling korrek beantwoord het. Oplossing vir hierdie en ander verwante probleme het die soeke na ’n sterker teorie aangespoor.

FIGUUR 1: ’n Itemresponsfunksie wat die waarskynlikheid van ’n korrekte antwoord op ’n item as ’n funksie van die toetsling se vermoe aandui.

in die volgende vorm geskryf in die Rasch-literatuur:

Hierdie funksie kan gebruik word om ’n getal verskillende aspekte te verklaar. Veronderstel dieselfde item word aan twee verskillende groepe toetslinge gegee en die een groep se vermoёns is almal onder gemiddeld en die ander groep se vermoёns is almal bo gemiddeld. Vir die eerste groep sal al die data aan die linkerkant (kyk Figuur 1) onder die aangeduide moeilikheidswaarde wees. Vir dié data kan hierdie deel van die IRF gepas word en deur die vergelyking te gebruik, kan die funksie geëkstrapoleer word om die IRF te voltooi – selfs vir vermoёns waar geen toetslinge was nie. Dieselfde kan gedoen word vir die ander groep. In ideale omstandighede sal die twee funksies identies wees, maar in die werklikheid sal hulle binne metingsfout wees. Hierdie redenasie het ten gevolg dat die moeilikheidswaarde van die item bepaal kan word van enige steekproef in ’n populasie wat nie verskillend sal wees vanweë die vermoёns van toetslinge in ’n spesifieke steekproef nie.

Metings (punte) volgens Rasch word bereken deur logaritmiese waarskynlikhede en uitgedruk op ’n vermoёnskaal as ‘logits’. Let wel dat ’n toetsling se vermoё nie die som van korrekte punte is nie, maar bereken word uit die IRF’s. Die IRF’s word vermenigvuldig om ’n aanneemlikheidsfunksie te genereer en die maksimum van hierdie funksie word beskou as die beste skatting van die toetsling se vermoё. Die toetslinge se vermoёns op die logitskaal, wat byna uitsluitlik strek van -3 tot 3, kan na enige gerieflike skaal getransformeer word –

selfs na ’n skaal wat metings laat lyk soos waargenome tellings. Die verskil is dat die metings op ’n intervalskaal geplaas is en dus weerspieёl dit dat die vermoё om van een punt op die skaal na die volgende te skuif, nie konstant is

nie – die punte is tipies nader aan mekaar in die middel van die skaal en verder van mekaar namate weg beweeg word van die middel. Merk ook op dat die relatiewe posisies van twee toetslinge behoue bly, ongeag of ’n maklike of ’n moeilike toets toegepas word. Dit word bereik deur die logaritmiese transformasies. Dit kan byvoorbeeld nie in die klassieke sin gedoen word deur z-tellings of persentiele nie, omdat transformasies na standaardtellings (z) liniêr is en gevolglik sal dieselfde verskil tussen twee waargenome tellings behoue bly in z-tellings. Persentiele, aan die ander kant, sien af van die werklike verskille tussen toetslinge se waargenome tellings en oorkom die probleme van verskillende afstande tussen twee toetslinge, maar die waargenome tellings word getransformeer na range en is dus nie meer beskikbaar nie.

Een van die mees prominente gebruike van die toepassing van Rasch-metodes word moontlik gemaak deur die vermoёns van die toetslinge en die moeilikheidswaardes van die items op dieselfde skaal te kan plaas. Indien die moeilikheidswaardes van ’n getal items bekend is, kan die waarskynlikheid dat enige item korrek beantwoord sal word deur enige toetsling, bereken word. Dít is een van die kragtigste onderskeidings in Rasch se metingsteorie teenoor die KTT.

In KTT word die waargenome tellings gebruik as die basis van prestasie en gevolgtrekkings word daarop gebaseer. Sodanige tellings word verkry uit die response op die items in ’n toets en is dus beperk daardeur. In teenstelling hiermee word die response op items in Rasch gebruik om metings te kry op die onderliggende konstruk wat gemeet word. Die verskil is baie subtiel, maar van kardinale belang. In KTT roer die items sekere aspekte aan en word die totaal bereken as die som van die korrekte antwoorde. In Rasch meet elke item ’n aspek van die latente eienskap en word die items deeglik ondersoek vir die mate waarin hieraan voldoen word. KTT kan dus as beskrywend beskou word, omdat geen aannames aangaande die latente eienskap gemaak word nie, terwyl Rasch eerder inferensieel is.

Volgens Rasch se metingsteorie verskil items slegs op grond van hul moeilikheidswaardes. Itemdiskriminasie en raai word geakkommodeer in passingsindekse, gewoonlik bereken as ’n tipe X² -statistiek. Waardes buite ’n bepaalde interval word gewoonlik geïnterpreteer as ‘statistiese geraas’ waarna verwys kan word as die gevolg van raai of ander faktore. Dit is belangrik om daarop te let dat, anders as in KTT, ’n SMF vir elke item en elke toetsling bereken word. Die SMF word gedefinieer as die omgekeerde van die vierkantswortel van statistiese inligting wat bereken word deur die itemvariansie. Die SMF van ’n toetsling wat meer geraai het (moeilike items korrek beantwoord het) sal groter wees as vir ’n toetsling vir wie dit nie die geval was nie. Soortgelyk sal ’n item waarvan die antwoord deur baie toetslinge geraai is, ’n groter SMF hê as vir ’n item waarin dit nie die geval was nie.

Tot dusver is aanvaar dat daar geen waarskynlikheid vir ’n toetsling is om ’n item korrek te beantwoord deur te raai nie. In KTT is korreksie vir raai kortliks bespreek en in Rasch en die een- en tweeparameter- IRT-modelle word moontlike raai geïdentifiseer deur passingsindekse. Die feit bly staan dat dit moontlik is om ’n meerkeusige item korrek te beantwoord deur te raai. Blindelingse raai op ’n vierkeusige item beteken dat daar ’n 25% kans is dat die item korrek beantwoord kan word. Sommige navorsing het bevind dat toetslinge met ondergemiddelde vermoёns beter kan presteer deur blindelings te raai eerder as om die korrekte antwoord te probeer identifiseer omdat afleiers sulke toetslinge soms maklik kan aflei. Die drieparameter- IRT-model sluit ’n ‘raai’-parameter (pseudokans) in wat ’n aanduiding gee van die waarskynlikheid vir enige toetsling om die korrekte antwoord te raai. Let op dat hierdie ’n itemparameter is.

Dit sal nooit bekend wees of ’n toetsling ’n item korrek beantwoord het deur te raai of omdat die toetsling die antwoord geken het nie tensy die toetsling gevra word. Somige studies het ’n vraelys ingesluit waarin toetslinge gevra is of hulle die antwoord geweet of geraai het. Die vraag is of dit nie in ’n toets ingesluit kan word nie. Let op dat dit mense is wat raai en nie items nie en dus moet so ’n parameter eerder ’n toetslingparameter wees as ’n itemparameter.

Navorsing oor die toekennings van waarskynlikhede aan opsies dateer terug na die sestigerjare en verskeie benaderings is oorweeg en gekritiseer – kyk byvoorbeeld De Finetti (1970). Een van die kernprobleme in die implementering van die modelle was die praktiese uitvoerbaarheid daarvan, net soos rekenaaraanpassingstoetse wat toenemend veld wen. Die implementering van die modelle het rekenaars vereis vir die administrasie en bepunting van die toetse en in die 60s en 70s was rekenaars nie geredelik toeganklik nie.

Hierdie modelle het dus, anders as tipiese digotomiese bepunting van veelkeusige vrae, ’n bepuntingsreёl gebruik as die basis van die waarskynlikhede wat ’n toetsling aan die verskillende opsies toeken. Een hiervan is ’n sferiese reёl.

’n Ander benadering was om die waarskynlikhede toegeken aan al die opsies te oorweeg en ’n kwadratiese bepuntingsreёl te gebruik: telling = . ’n Meer gesofistikeerde

kwadratiese reël is soos volg:

In teenstelling met oorweging van die waarskynlikhede toegeken aan al die opsies om die item te bepunt, is dit duidelik dat die bepuntingsreёl gebaseeer moet word op die waarskynlikheid toegeken aan die korrekte opsie. Dit kan wiskundig bevestig word dat ’n logaritmiese bepuntingsreёl die enigste reёl is met hierdie eienskap vir items met drie of meer opsies. Ongeag van hoe die item bepunt word, word waarskynlikhede p(i) toegeken aan die opsies en die verwagte telling word gemaksimeer as ’n produk van die waarskynlikhede en die telling:

Die funksie F definieer die bepuntingsreёl. Indien die toetsling realisties is oor sy of haar kennis, sal hoёr waarskynlikhede in die algemeen toegeken word aan korrekte antwoorde en laer waarskynlikhede aan items wat verkeerd beantwoord word. Dit sal lei tot die meeste items met dieselfde verspreiding van p(i), as die relatiewe frekwensie korrek van al die opsies toegeken r(i) namate p(i) benader word. Dit sal lei tot akkurate skattings en ’n meer realistiese resultaat as byvoorbeeld hoë waarskynlikhede toegeken aan verkeerde opsies. ’n Bepuntingsreёl F moet dus realistiese toekennings van waarskynlikhede aanmoedig, veral aan die korrekte opsie. Die telling s(r(i)) is ’n funksie van F en moet maksimaal wees slegs as r(i) = p(i) vir alle i. Sodanige funksie kan afgelei word deur parsiёle differensiasie op voorwaarde dat deur die gebruik van die Lagrange-vermenigvuldiger λ.

Sommige toetslinge oorskat hul kennis of neig om te ‘dobbel’. Dit lei dikwels tot hoё waarskynlikhede toegeken aan verkeerde opsies. Die teenoorgestelde is ook waar, naamlik dat sommige toetslinge te lae waarskynlikhede toeken aan korrekte opsies. Wanneer ’n waarskynlikheid r toegeken word aan ’n getal f – opsies vir verskillende items waarvan ft korrek is, word verwag dat . ’n Toetsling is realisties gekalibreer indien r(i) = p(i) vir waarskynlikhede p. Dit kan bereik word deur ’n kleinste kwadraat of ’n X ² – skatting. Die hipotese dat die toetsling realisties in die toekenning van waarskynlikhede is, kan getoets word – die toetsling is perfek gekalibreer indien vir elke waarde van p, die verhouding korrek van die opsies waaraan hierdie p toegeken is, gelyk is aan p.

Die bepuntingsreёl met ’n korreksieparameter en ’n indeks vir realisme sal ’n telling op ’n kontinue skaal genereer. Net soos in die geval van vermoёskattings in Rasch of IRT, kan hierdie tellings na ’n sinvolle skaal getransformeer word wat meer ‘tradisioneel’ is.

Verskillende metingsteorieё is oorsigtelik aan die orde gestel. Enkele kernbegrippe van die teorieё is kortliks toegelig. Die beantwoording van veelkeusige vrae is gebruik om verskille uit te lig. Dit is ’n feit dat toetslinge die korrekte antwoorde van sulke vrae kan raai. Indien blindelings geraai word, het enige toetsling ’n kans om die regte antwoord te raai. Daar is egter van die vertrekpunt uitgegaan dat toetslinge meestal nie blindelings raai nie, maar sommige opsies probeer uitskakel wat natuurlik die kanse om die regte antwoord te raai uit die oorblywende opsies verhoog. Die klassieke toetsteorie beskik oor ’n korreksie vir raai wat die punte van alle toetslinge, behalwe diegene wat al die items korrrek beantwoord het, sal verlaag. Die Rasch-model gebruik passingsindekse om moontlike raai te identifiseer en die drieparameter- IRT-model sluit ’n itemparameter in wat die kanse aandui vir korrek raai. Die keusewaarskynlikheidsteorie hou stellig die beste moontlikheid in om die raaifaktor te betrek. In hierdie teorie word ‘raai’ as ’n toetslingparameter gehanteer.

Dié oorsig roer vir seker nie alle aspekte van die bepunting van toetse aan nie, maar lewer hopelik ’n bydrae tot die insig dat dit nie ’n eenvoudige proses is nie.

Bond, T.G. & Fox, C.M., 2007, Applying the Rasch Model, 2 edn., Lawrence Erlbaum, London.

Crocker, L.M., en Algina, J., 1986, Introduction to Classical and Modern Test Theory, Holt, Rinehart and Winston Inc, New York.

De Finetti, B., 1970, ‘Logical foundations and measurement of subjective probability’, Acta Psychologica 34, 129–145. http://dx.doi.org/10.1016/0001-6918(70)90012-0

Hambleton, R.K., en Swaminathan, H., 1985, Item Response Theory: Principles and Applications, Kluwer-Nijhoff, Boston.

Stevens, S.S., 1946, ‘On the theory of scales of measurement’, Science 103, 677–680. http://dx.doi.org/10.1126/science.103.2684.677