| 1. |
- Alger, Susanne, 1967-, et al.
(författare)
-
Agreement of driving examiners' assessments : evaluating the reliability of the Swedish driving test
- 2013
-
Ingår i: Transportation Research Part F. - : Elsevier. - 1369-8478 .- 1873-5517. ; 19, s. 22-30
-
Tidskriftsartikel (refereegranskat)abstract
- The purpose of this study was to examine the consistency of examiner assessments of test-takers' performance on the Swedish driving test. The study included 535 tests and was designed so that the ordinary examiner and a supervising examiner assessed the same test-taker. The assessment was done on a two-grade rating scale (pass/fail). Since the result can be affected by factors associated with the test-taker and the two examiners, questionnaires were developed and these were filled in by the test-takers and the examiners. Information about the administration of the test was collected via a specially designed form filled in by the supervising examiner. Using this form, the ordinary examiners' performance was rated on a number of aspects. The result from the study indicated that the agreement between the assessments was very good. For 93% of the tests the two examiners chose the same mark on the two-grade scale. In the cases where ratings differed, the analysis indicated only a few systematic differences among variables designed to provide possible explanations for differences in opinion. However, none of these was problematic with respect to consistency of assessment. Results indicated that most tests were carried out in a satisfactory manner.
|
|
| 2. |
- Alger, Susanne, 1967-, et al.
(författare)
-
Beskrivning av data om det praktiska förarprovet 1998-2005 och analys av tillförlitligheten
- 2011
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Syftet med denna rapport var att undersöka tillförlitlighet för körprovsdata 1998-2005 och göra en översiktlig presentation av data för dessa år. För att förbättra datakvaliteten togs prov som inte verkar ha genomförts, samt omotiverade dubbletter bort. Efter rensning och omkodning är data att betraktas som tillförlitliga. Av den översiktliga presentationen i denna rapport framgår att det finns vissa skillnader mellan grupper under den här tidsperioden. Provtagare under 20 års ålder, som utgjorde ungefär hälften av provtagarna, godkändes i högre grad än äldre provtagare. Det var fler män än kvinnor som genomförde körprovet och en större andel av kvinnorna anmäldes via trafikskola. Provtagare som anmälts via trafikskola godkändes i högre grad än privatanmälda och hade även färre anmärkningar i genomsnitt än de som anmälts privat. Om man delar upp efter kön och anmälningssätt var det något större andel av männen som godkändes på förarprovet. När det gäller genomsnittligt antal anmärkningar är det inga större könsskillnader förutom för området manövrering. När det gäller provets innehåll visar det sig att uppmärksamhet och trafikuppträdande är de områden där det genomsnittliga antalet anmärkningar är störst. Säkerhetskontroll, gatukorsning och körning mot mål är de vanligaste områdena att pröva medan effektiv bromsning sällan förekommer. Om man studerar innehållet i provet på huvudort respektive mottagningsort kan man konstatera att prövning av motorväg, körfält, signalkorsning och cirkulationsplats är vanligare förekommande på huvudorter än mottagningsorter, medan förhållandet är det omvända för smal och bred väg, vändning samt sväng till vänster eller höger. Beträffande förändringar över tid kan man utläsa att andelen anmälda via trafikskola har minskat under perioden, liksom andelen godkända, såväl totalt och andelen som godkändes vid första försöket. Andelen godkända bland privatanmälda har sjunkit, medan de som anmälts via trafikskola inte uppvisar någon tydlig nedåtgående trend under perioden. Effektiv bromsning har blivit ännu mer sällsynt.
|
|
| 3. |
- Alger, Susanne, 1967-, et al.
(författare)
-
Beskrivning av data om det praktiska förarprovet 2007-2008 och analys av tillförlitligheten
- 2011
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Syftet med denna rapport var att studera tillförlitlighet hos data som samlats in från körprov behörighet B genomförda 2007 och 2008 och beskriva resultaten, provtagarna och proven utifrån analyser av dessa data. Datakvaliteten förbättrades genom att ta bort prov som inte verkar ha genomförts, samt omotiverade dubbletter. Två stora förändringar har genomförts under perioden. Den ena var att i december 2007 infördes ett nytt körprov och ett nytt protokoll som registrerades med hjälp av en digital penna. Tidigare hade protokollen scannats in. Arbetet med de nya formerna för datainsamling innebar att data för 2007 inte kontrollerades på sedvanligt sätt, vilket ledde till att dessa inte höll samma kvalitet som tidigare år. Introduktionen av den digitala pennan medförde att problem orsakade av scanningen försvann. Däremot visade det sig att oavsiktliga markeringar på körprovsprotokollet kunde leda till att dubbletter registrerades. Den andra stora förändringen var att sammanhållet prov infördes i september 2008. Därmed var det inte bara de som godkänts på kunskapsprovet som genomförde körprov, vilket man måste ha i åtanke vid statistiska jämförelser med tidigare år. Av den översiktliga presentationen i denna rapport framgår att det finns vissa skillnader mellan grupper i likhet med de som konstaterats under tidigare år (Alger & Sundström, 2011b). Provtagare under 20 års ålder godkändes i högre grad än äldre provtagare. Det var fler män än kvinnor som genomförde körprovet och en större andel av kvinnorna anmäldes via trafikskola. Provtagare som anmälts via trafikskola godkändes i högre grad än privatanmälda. Om man delar upp efter kön och anmälningssätt var det något större andel av männen som godkändes på körprovet. När det gäller genomsnittligt antal anmärkningar bland dem som underkändes på körprovet är det inga större könsskillnader förutom för området manövrering. Om man studerar innehållet i provet på huvudort respektive mottagningsort kan man konstatera att prövning av motorväg, körfält, signalkorsning och cirkulationsplats är vanligare förekommande på huvudorter än mottagningsorter, medan förhållandet är det omvända för smal och bred väg/landsväg, vändning samt sväng till vänster eller höger/sväng från landsväg/infartkörning. Beträffande förändringar över tid kan man utläsa att säkerhetskontroll/ körställning, som tidigare genomförts vid nästan alla prov, har blivit något mindre vanligt 2008, medan backning prövats väldigt ofta. Andelen anmälda via trafikskola har minskat under perioden, liksom andelen godkända. Dock bör man därvid ha i åtanke att systemet förändrats.
|
|
| 4. |
- Alger, Susanne, 1967-, et al.
(författare)
-
Det praktiska körprovet 2009-2011 : analys av datas tillförlitlighet samt provresultat och trender
- 2013
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- The aim of this report is to examine the reliability of data from the practical driving test for category B 2009-2011 and study the composition of the group of test-takers and results and changes in pass rates over time during the period. Based on the data checks done it can be concluded that data is reliable. Data from 2011 does not comprise the entire year, but when data for the equivalent period previous years is compared with the year as a whole the differences are negligible.There are certain differences between groups as to the proportion of passed tests. A larger proportion of test-takers below the age of 20 pass the test compared to older test-takers. A larger proportion of test-takers who were registered by a driving school passed than those who registered themselves. If you divide the test-takers by gender and type of registration a somewhat larger percentage of the men passed the driving test. As for average number of mistakes there are no major differences between the sexes except for manoeuvring.As for the content of the test, the most common areas to test are street crossing, driving towards a goal and reversing. Motorway, lanes, roundabouts and signalled crossings are more commonly tested at the main offices, while narrow winding roads, railway crossing and turning off a main road are more common in the other places. Street crossing, lanes and motorway are the situations where the largest percentage of test-takers fails. The percentage of fails for each curricular module are fairly similar for main offices and other offices, but the proportion of fails is higher for roundabouts, driving towards a goal and railway crossings at the main offices. The requirement for attention and identifying risks is the hardest for test-takers to fulfil.When comparing the results with previous years we find that the group differences are fairly similar, but the percentage of tests registered via a driving school continues to decrease. It is more common to include reversing in the test. Even though test-takers who has failed the theory tests are now allowed to take the practical driving test the percentage of passed tests remains on the same level for tests registered via driving schools and has only decreased by a couple of percentage points for the remaining tests.
|
|
| 5. |
- Alger, Susanne, 1967-
(författare)
-
Is This Reliable Enough? : Examining Classification Consistency and Accuracy in a Criterion-Referenced Test
- 2016
-
Ingår i: International journal of assessment tools in education. - : International Journal of Assessment Tools in Education (IJATE). - 2148-7456. ; 3:2, s. 137-150
-
Tidskriftsartikel (refereegranskat)abstract
- One important step for assessing the quality of a test is to examine the reliability of test score interpretation. Which aspect of reliability is the most relevant depends on what type of test it is and how the scores are to be used. For criterion-referenced tests, and in particular certification tests, where students are classified into performance categories, primary focus need not be on the size of error but on the impact of this error on classification. This impact can be described in terms of classification consistency and classification accuracy. In this article selected methods from classical test theory for estimating classification consistency and classification accuracy were applied to the theory part of the Swedish driving licence test, a high-stakes criterion-referenced test which is rarely studied in terms of reliability of classification. The results for this particular test indicated a level of classification consistency that falls slightly short of the recommended level which is why lengthening the test should be considered. More evidence should also be gathered as to whether the placement of the cut-off score is appropriate since this has implications for the validity of classifications.
|
|
| 6. |
- Alger, Susanne, 1967-, et al.
(författare)
-
Jämförelser mellan provorter : en studie av körprov för behörighet B
- 2016
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Man kan köra upp på fler än 130 orter i Sverige, alla med olika trafikmiljöer, förarprövare och provtagare. Provtagarnas ålder och anmälningssätt skiljer sig åt på olika orter. På några orter genomförs få prov, på andra många. En del förarprövare genomför väldigt få prov, andra väldigt många. Vissa orter saknar vissa inslag i trafikmiljön, som exempelvis motorväg, järnvägskorsning eller cirkulationsplats. Trafikintensiteten på orterna skiljer sig åt. Kort sagt, det finns väldigt många aspekter som kan variera mellan enskilda prov. I rapporten presenteras olika sätt att åskådliggöra hur dessa skillnader mellan orter ser ut och några sätt att kategorisera orter.Får detta konsekvenser för resultatet? Det är svårt att utreda eftersom flera variabler sannolikt samverkar och det är svårt att särskilja dem från varandra, och eftersom data ser ut som det gör. Dels är utfallet binärt – godkänt/underkänt – vilket begränsar vilka analyser som kan göras. Dels är det många kategorier inom variablerna ort och förarprövare. För att minska antalet kategorier kan man slå ihop dem till färre och större kategorier. Frågan är i så fall utifrån vilka kriterier och till hur många kategorier. Av analyser framgår att provinnehållet skiljer sig åt mellan prov, såväl inom som mellan orter. Det är dock oklart om man mäter samma eller olika kvaliteter på olika orter, men det är nog inte så enkelt att säga att det är "lättare" att ta körkort på vissa orter än andra baserat på enkla jämförelser av godkännandegrad. Provtagarnas ålder och anmälningssätt, aspekter som vi vet påverkar godkännandegraden, skiljer sig också åt mellan orter.
|
|
| 7. |
- Alger, Susanne, 1967-
(författare)
-
Licence to drive : the importance of reliability for the validity of the Swedish driving licence test
- 2019
-
Licentiatavhandling (övrigt vetenskapligt/konstnärligt)abstract
- Background: The Swedish driving licence test is a criterion-referenced test resulting in a pass or fail. It currently consists of two parts - a theory test with 65 multiple-choice items and a practical driving test where at least 25 minutes are spent driving in traffic. It is a high-stakes test in the sense that the results are used to determine whether the test-taker should be allowed to drive a car without supervision. As the only other requirements for obtaining a licence is a few hours of hazard education (and a short introduction if you intend to drive with a lay instructor) it is important that the test result, in terms of pass or fail, is reliable and valid. If this is not the case it could have detrimental effects on traffic safety. Examining all relevant aspects is beyond the scope of this licentiate thesis so I have focused on reliability.Methods Reliability for both the theoretical and practical test results was examined. As these are very different types of tests the types of reliability examined also differed. In order to examine inter-rater reliability of the driving test 83 examiners were accompanied by one of five selected supervising examiners for a day of tests. All in all 535 tests were conducted with two examiners assessing the same performance. At the end of the day the examiners compared notes and tried to determine the reason for any inconsistencies. Both examiners and students also filled in questionnaires with questions about background and preparation. As for studying decision consistency and decision accuracy of the theory test, three test versions (a total of around 12,000 tests) were examined with the help of methods devised by Subkoviak (Subkoviak, 1976, 1988) and Hanson & Brennan (Brennan, 2004; Hanson & Brennan, 1990).Results The results from two research studies concerning reliability were presented. Study I focused on inter-rater reliability in the driving test and in 93 per cent of cases the examiners made the same assessment. For the tests where their opinions differed there was no correlation to any of the background variables or other variables examined except for three, which had logical explanations and did not constitute a problem. Although there were cases where the differences were due to different stances on matters of interpretation the most common suggested cause was the placement in the car (back seat vs. front seat). Although the supervising examiners gave both praise and criticism as to how the test was carried out the study does not answer the question whether the tests were equal in terms of composition and difficulty.In Study II the focus was on decision consistency and decision accuracy in the theory test. Three versions of the theory tests were examined and, on the whole, found to be fairly similar in terms of item difficulty and score distribution, but the mean was so close to the cut-score (i.e. the score required to pass) that the pass rate differed somewhat between versions. Agreement coefficients were around .80 for all test versions (between .79 and .82 depending on method). Classification accuracy indicated an .87 probability of a correct classification.Conclusion It is important to examine the reliability and validity of the driving licence test since a misclassification can have serious consequences in terms of traffic safety. In the studies included here the rate of agreement between examiners is deemed as satisfactory. It would be preferable if the classification consistency and classification accuracy, as estimated by the methods used, were higher for the theory test, given its importance.While reliability in terms of agreement between raters/examiners or consistency and accuracy of classification are routinely examined in other contexts, such as large-scale educational testing, this is not often done for the driving licence tests. At the same time, the methods used here can be transferred to contexts where such properties are generally not examined. Collecting information about test-takers and examiners, like in Study I, can provide evidence concerning possible bias.Examining to what extent decisions are consistent is one important aspect of collecting evidence that shows that test results can be used to draw conclusions about driver competence. Still, regardless of outcome, validation is a process that never ends. There is always reason to examine various aspects and make further improvements. There are also many other relevant aspects to examine. A prerequisite for the validity of the score interpretation of a criterion-referenced test like this one is that the cut-score is appropriate and the content relevant. This should therefore be the subject of further research as the validation process continues.
|
|
| 8. |
- Alger, Susanne, 1967-, et al.
(författare)
-
Likvärdigheten i körprovet : en studie av samstämmighet i bedömningen
- 2009
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- Mot bakgrund av att Riksrevisionen har ifrågasatt likvärdigheten i det praktiska körprovet var syftet med denna studie att göra en undersökning av likvärdigheten i bedömningen av provtagarnas prestation på körprovet. För att undersöka detta utformades studien så att två bedömare, den ordinarie förarprövaren och en s.k. kusk, fick bedöma samma provtagare. Studien omfattade sammanlagt 535 prov och bedömningen gjordes på en 2-gradig skala (godkänd/underkänd). Eftersom utfallet av provet kan påverkas av faktorer som är förknippade med provtagaren och de två bedömarna utvecklades enkäter som besvarades av kuskar, förarprövare och provtagare. Information om provens genomförande erhölls via ett speciellt utarbetat s.k. kuskprotokoll. Resultatet från studien visade att det var en mycket god överensstämmelse mellan förarprövarnas bedömningar. För 93 procent av proven gjorde kusken och förarprövaren exakt samma bedömning på den 2-gradiga skalan. I de fall bedömningarna skilde sig åt visade analyserna endast ett fåtal systematiska skillnader utifrån möjliga förklaringsvariabler. Dessa var dock inte problematiska ur likvärdighetssynpunkt. Erhållna resultat indikerade att de flesta prov genomfördes på ett tillfredsställande sätt. Sammanfattat indikerar detta en hög likvärdighet, såväl vid en nationell som vid en internationell jämförelse.
|
|
| 9. |
- Alger, Susanne, 1967-, et al.
(författare)
-
Prov för förarbevis för moped klass II
- 2012
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- I oktober 2009 infördes krav på förarbevis för att köra moped klass II. För att få förarbevis måste provtagarna genomgå en obligatorisk utbildning och klara ett kunskapsprov. För att få tillstånd att förrätta prov för moped klass II fick provförrättare lämna in ett exempel på ett prov till Transportstyrelsen tillsammans med ansökan. Vi har analyserat ett urval av dessa prov. Dels gjordes en innehållsanalys av frågorna i proven för att undersöka i vilken utsträckning de täcker det innehåll som stipulerats i föreskriften, och dels undersöktes om de inlämnade proven följer riktlinjer om antal frågor samt hur frågorna följer generella riktlinjer för frågekonstruktion.Bland de 34 utvalda provförrättarna hade 11 konstruerat egna prov, övriga angav att de använde de prov som Sveriges Trafikskolors Riksförbund (STR) utformat. Föreskriften (TSFS 2010:80) anger att provet ska innehålla 25 till 35 uppgifter. Samtliga studerade prov innehöll minst 25 uppgifter. Med ett par undantag förekommer uppgifter inom samtliga fyra innehållsområden som nämns i föreskriften. Tyngdpunkten ligger på området Trafikregler. Målen för utbildningen och målen för provet i föreskriften stämmer inte helt överens, vilket förmodligen är anledningen till att många uppgifter gäller innehåll som inte definieras i föreskriftens krav på provet. De flesta av dessa kan dock kopplas till utbildningsmål i föreskriften.När det gäller vilka brister som uppträder kan man exempelvis konstatera att vissa frågor kunde vara mer tydligt formulerade, en del svarsalternativ avviker eller är för osannolika, vilket gör antalet reella svarsalternativ färre, vilket är olyckligt.Både innehåll och utformning av proven varierar avsevärt varför det vore bäst att låta Transportstyrelsen utforma även provet för förarbevis för moped klass II. Det skulle innebära ökad enhetlighet och likvärdighet och därmed en mer rättssäker prövning. Det skulle vara möjligt att sträva efter parallella prov. Det skulle också göra det lättare att övervaka resultaten och kvaliteten i provet över tid än vad som är möjligt med nuvarande tillsynsförfarande.
|
|
| 10. |
- Alger, Susanne, 1967-
(författare)
-
Prov för förarbevis för moped klass II : Enkätstudie avseende provkonstruktion och provgenomförande
- 2012
-
Rapport (övrigt vetenskapligt/konstnärligt)abstract
- År 2009 infördes krav på förarbevis för att köra moped klass II. För att få förarbevis måste provtagarna genomgå en obligatorisk utbildning och klara ett kunskapsprov. I denna rapport redovisas andra delen i en utvärdering av provverksamheten för förarbevis för moped klass II. I första delen i projektet studerades innehåll och kvalitet i ett antal prov.I denna andra del av projektet fokuseras konstruktion eller val av prov och genomförandet av prövningen. Först utformades en intervjuguide och en webbenkät, varefter ett erbjudande gick ut till 33 provförrättare om att svara på enkäten eller delta i en telefonintervju. 22 provförrättare besvarade enkäten. Ytterligare två provkonstruktörer intervjuades.Alla vi fick kontakt med använder samma prov som de bifogade sin ansökan om att få anordna kunskapsprov. Femton av dem använder det prov (i två versioner) som konstruerats av Sveriges Trafikskolors Riksförbund (STR) och är rätt nöjda med det. Uppgifterna i STR:s prov konstrueras av en frågegrupp som träffas några gånger per år för att konstruera och granska uppgifter som sedan läggs in i en databank och märks med aktuell behörighet. Senare granskas uppgifterna ytterligare. Då klass II var en tillkommande behörighet fanns inte någon sådan märkning i databasen, så en tjänsteman fick manuellt gå in och söka ut lämpliga uppgifter till proven som producerades 2009.De flesta provförrättare som använde egenkonstruerade prov angav att de valt att göra det för att det då inte fanns andra prov att tillgå. Några menade att det passade dem bäst att utforma provet själva. Provkonstruktionsprocessen beskrivs inte särskilt utförligt, men det nämns ofta att man utgått från Transportstyrelsens krav.STR:s prov genomförs, med ett undantag, vid dator, medan de egenkonstruerade proven är papper-och-penna prov. Många gånger genomförs provet med en provtagare per gång, och ingen har provtillfällen där mer än 16 personer prövas. Provgenomförandet verkar följa reglerna, men fyra provförrättare uppger att de bara har en version av provet (ska finnas minst två).Några av provförrättarna undersöker vilka frågor provtagarna har problem med för att kunna anpassa prov eller undervisning. Det är vanligt att kräva att provtagare som underkänns på provet pluggar mer hemma innan de får göra omprov, men de flesta klarar provet vid första försöket.
|
|
