Having a second appointed examiner is a Danish tradition going back centuries. For the tradition to be relevant for the future, the present was examined by a committee. The committee described a baseline of knowledge, skills, and competences the second appointed examiners need to learn prior to examination. These second appointed examiners are some of the most knowledgeable and highly skilled people in and around the Danish educational world. The design of the course takes into consideration how to utilize data for improving the course through iterations. This paper describes one aspect of ensuring the quality and relevance of the course using data suggesting ways of improving the course.
1. Indledning
I februar 2019 gik SmartLearning online med censorkurset. I en dansk sammenhæng er det ikke ofte, at der udbydes online kurser, som er designet til selvstudie og som har nok kursister til at lave statistiske beregninger på de data der produceres. Sådan en chance kommer nok kun én gang, så den skulle ikke spildes, da den opstod: Nu skulle der læres om data fra undervisningsmaterialer og hvilke spørgsmål man vil kunne stille på baggrund af dem.
Oprindeligt blev censorkurset bestilt af Uddannelses- og Forskningsministeriets Styrelse for Forskning og Uddannelse som gav en række dessiner vedr. indholdet i kurset. Kurset blev bestilt efter et udvalgsarbejde, som kan læses om i “Et fremtidssikret censorsystem” (Undervisnings- og forskningsministeriet n.d.).
SmartLearning blev valgt, fordi SmartLearning allerede dengang havde omfattende erfaring med at producere materiale til og udbyde online uddannelser. Ud over dessinerne fik SmartLearnings direktør Tue Bjerl Nielsen og IT-didaktisk designer Mette Søgaard også lov at trække på en ‘arbejdsgruppe’, dvs. en medarbejder fra styrelsen og tre erfarne censorformænd udvalgt af styrelsens medarbejdere blandt frivillige censorformænd.
2. Forskningsspørgsmål/problem
Dessinerne havde ingen indflydelse på opsætningen af undervisningsrummet, så det kunne undersøges om forskellige kursistgrupper har forskellige forudsætninger og dermed også forskellige undervisningsbehov. Målet var, at det skulle foregå i baggrunden uden at forstyrre kursisterne unødigt. Opsætningen blev altså en måde at organisere kurset på, så det ville lette den planlagte undersøgelse af data.
3. Data fra kurset
Kurset består af et forløb, hvor det ene afsnit bygger videre på det næste i en logisk rækkefølge ift. kursisternes forståelse. I hvert afsnit er der, ud over gennemgang af emnerne, træningsmuligheder i form af quizzer. Formålet er erhvervelse/repetition af viden, kursisternes bevidsthed om emnet og om egen viden, samt i en enkelt øvelse at undersøge kursisternes mulige misforståelser ift. god adfærd (Moderniseringsstyrelsen, KL og Danske Regioner, 2017). Med god adfærd er det sådan, at der er ikke én korrekt måde at opføre sig på, men mange forkerte. Det kan være svært at fange ind i en simpel øvelse, som både er digital og selvrettende.
Den første aktivitet kursisterne møder er, at de skal vælge hvilken af fire censorgrupper de tilhører. De fire grupper er baseret på lovgivningsmæssige forskelle og er, i tilfældig rækkefølge, de erhvervs- og professionsrettede, de kunstneriske, de maritime videregående uddannelser og universiteterne. Derefter er der en test af paratviden, som består af 18 quizspørgsmål udvalgt tilfældigt blandt 20-35 spørgsmål alt efter hvilken gruppe kursisten har valgt. Testen af paratviden kan kun tages én gang. Efter at have gennemgået kursusmaterialet, får kursisterne stillet 18 tilfældigt udvalgte spørgsmål om de samme fire forskellige emner fra kategorierne med samlet 20-35 spørgsmål. Afslutningstesten bliver først åbnet, når alle emner som minimum er set af kursisten og kan prøves flere gange, hvis første forsøg ikke er tilfredsstillende.
Illustration 1: Bagsiden af en udprøvningstest fra censorkurset.
Kursisterne bliver således tvunget gennem materialet ved at aktiviteter og ressourcer vises og skjules for kursisterne alt efter hvilke betingelser de opfylder. Dermed bliver materialet adaptivt.
3.1 Lærer grupperne lige meget?
De 18 spørgsmål kursisterne får stillet dækker fire forskellige emner. To af emnerne er forskellige (men lignende) fordi der er forskellig lovgivning og forskellig definition af niveaubeskrivelserne i kvalifikationsrammens krav for de fire områder. To af emnerne er ens; god opførsel som censor og karakterskalaen er det samme for alle.
Opdelingen i fire emner muliggør, at der kan undersøges i forhold til de fire emner og at identificere emner, der trænger til uddybende materiale:
Tabel 1: Censorkursets fire faglige områder.
I skemaet er valgt at markere med grønt, hvor den korrekte besvarelsesprocent er >95%
3.2 Er der materiale, der kan fjernes eller som med fordel kan styrkes?
Her undersøges spørgsmålet med data fra emnet God adfærd. Emnet bygger på bekendtgørelse af forvaltningsloven (2014), God adfærd i det offentlige (Moderniseringsstyrelsen, KL og Danske Regioner, 2017) og Kodex VII (Finansministeriet, 2015). I skemaet er valgt at markere med grønt, hvor den korrekte besvarelsesprocent er >95% og hvis den korrekte besvarelsesprocent er <50% er markeret med rødt.
Tabel 2: Korrekte besvarelsesprocenter på specifikke spørgsmål.
3.3 Gennemførelsesprocent
De fire gruppers gennemførelse ligger på hhv. 70%, 53%, 72% og 32%. Når gennemførelsesprocenten beregnes for alle 4.122 kursister (dvs. også kursister, der ikke har registreret sig i en af grupperne) nås resultatet 50%.
4. Metode
Registrering af data om kursisternes interaktion med materialet er tænkt som en lejlighed til at undersøge om quizzerne har effekt ift. større viden og om der er misforståelser, der bør uddybes i materialet om God adfærd. Til dette arbejde bruges ukompliceret procentregning som belyser sammenhænge og ikke kausaliteter. Data er hentet fra undervisningsplatformen, hvor kurset ligger, dvs. Moodles quizzer, survey og deltagerlister. Survey er fuldt anonymiseret og lader (her) blot kursisterne vælge hvilken gruppe de tilhører.
Illustration 2. Kategorier og underkategorier i Censorkurset.
For at lette arbejdet med data er spørgsmålene lagt op i kategorier og underkategori.
Kun de to største grupper er beskrevet hér, da der ikke er data nok fra de to mindste af fire grupper til at tallene kan bruges til noget fornuftigt på grund af statistisk usikkerhed.
5. Analyse og diskussion
5.1 Lærer grupperne lige meget?
Set bort fra den betragtelige mængde kursusdeltagere, der udelukkende har meldt sig til men ikke har fuldført (50%) og de, der endnu ikke har fuldført, så ser det ud som om kursisterne i begge grupper får et højt udbytte af kurset målt som tilstrækkelig viden til at besvare quizzen korrekt (mellem 6% og 36% vækst i antal korrekte svar).
5.2 Er der materiale, der kan fjernes eller med fordel styrkes?
De to mindste grupper har for få deltagere til at give statistisk sikkerhed. Derfor er disse tal ikke afrapporteret. Men de viser de samme tendenser som de to store grupper af kursister.
Spørgsmålene 4, 10 og 11 lader til at være kendt stof af kursisterne. Spørgsmålene ville kunne fjernes til en næste iteration, hvis der var behov for pladsen. Omvendt kan spørgsmålene forblive i kurset, da materialet også er en gennemgang eller repetition af god adfærd. En tredje mulighed er at revidere, om spørgsmålene er ledende eller for lette, siden 100% af svarene er korrekte?
Spørgsmålene 3 og 9 kan der med fordel kigges på. Er spørgsmålene formuleret godt nok? Er svarmulighederne tilstrækkelige? Skal materialet gennemgås inden quizzen på en mere hensigtsmæssig måde?
5.3 Gennemførelsesprocent
Katy Jordan fra Cambridge University har i sin fritid i efterhånden i mange år samlet på data om fuldførelsen af MOOCs (Massive, Open, and Online Courses). Hendes tal viser, at det er væsentligt hvordan kursisterne bedømmes; automatisk, af medkursister eller af undervisere. På censorkurset bruges udelukkende automatisk bedømmelse.
Illustration 3: Completion rates (%) and assessment type, Jordan, 2014
Hvorfor er gennemførelsesprocenten på censorkurset så høj, når man sammenligner med Katy Jordans tal?
En mulig forklaring kunne være, at kurset er obligatorisk. I ministeriets oplæg er kurset ikke obligatorisk. Beskikkelse og evt. afbeskikkelse hænger ikke sammen med deltagelsen i kurset og kurset er tænkt som en generisk indføring, der skal suppleres af de enkelte korps. Så vidt vides er der to korps ud af mere end 130, hvor censorformandskabet som minimum har kendskab til kurset, der har gjort kurset obligatorisk for deres censorer. Censorsekretariaterne har mulighed for at fravælge at allokere ikke beståede censorer. Hvordan de øvrige korps tilbyder kurset til deres censorer eller om de gør det, er ikke undersøgt i dette arbejde.
6. Konklusion og perspektiver
Hvad kan indsigterne bruges til nu?
De individuelle kursisters resultater kan slås op af underviser/administration, som kan se hvordan det går kursisterne i forhold til læringsmålene. I censorkurset udløses et gennemførelsesbevis, hvis kursisten besvarer 16 eller flere af 18 spørgsmål korrekt til slut i kurset.
Indsigterne kan også bruges til at identificere ‘videnshuller’ hos kursistgrupper (fx den lave procentsats for korrekte svar i alle grupper for viden om kvalifikationsrammen ved test af paratviden), men også til identifikation af emner, der med fordel kan arbejdes videre med (fx illustreret med væksttallet for korrekte svar for viden om kvalifikationsrammen ved afslutningstesten, som nok er højt, men ikke lige så højt som væksttallet for viden om områdespecifik lovgivning.)
Hvad vil indsigterne bruges til med mere arbejde?
Dataindsigt kan bruges til A/B-test af materialet, så spild af kursisternes tid minimeres. Sådan en analyse af ‘instructional design’ arbejder jeg på et setup med på et andet kursus.
Grupper af kursister, fx defineret af et tidligere eksamensresultat, socioøkonomiske faktorer eller andet i kombination, kan af forskellige grunde få ringere udbytte af kurser end andre kursister. Hvis man kan identificere disse grupper vha. data fremskaffet fra fx survey eller andre datakilder, må man også kunne undersøge hvilke ‘videnshuller’ grupperne har og dermed hvor kursistforudsætningerne mangler, så der kan arbejdes målrettet på underbetjente gruppers tilbud.
De indsigter vil kunne munde ud i tillægsmateriale eller -muligheder planlagt som mastery learning (Bloom, 1984), didaktisk designede “learning paths” og multimodalitet, altså foretrukne måder at lære på, bestemt af kursistens forudsætninger, interesser og motivation i kombination. Altså adaptivt undervisningsmateriale. Alt i alt har det været lærerigt at udvikle censorkurset fra design til drift.
7. Litteratur
Bekendtgørelse af forvaltningsloven, LBK nr. 433 af 22/04/2014.
URL: https://www.retsinformation.dk/eli/lta/2014/433
Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational researcher, 13(6), 4-16.
URL: https://web.mit.edu/5.95/www/readings/bloom-two-sigma.pdf
Finansministeriet, 2015. Syv centrale pligter for embedsmænd i centraladministrationen — Kodex VII.
URL https://modst.dk/media/16963/kodex_vii.pdf
Jordan, K. (2014). MOOC completion rates: the data. 2013.
URL http://www.katyjordan.com/MOOCproject.html.
Undervisnings- og forskningsministeriet. n.d. Censorudvalget: ”Et fremtidssikret censorsystem”.
URL: https://ufm.dk/uddannelse/rad-naevn-og-udvalg/tidligere-rad-naevn-og udvalg/censorudvalget/dokumenter-og-analyser/microsoft-word-sidste nye-censorrapport-version-180117-docx.pdf
Moderniseringsstyrelsen, KL og Danske Regioner, 2017. God adfærd i det offentlige.
URL: https://www.modst.dk/media/17831/god-adfaerd-i-det-offentlige_web.pdf
Mette Søgaard
Cand.Pæd. i IT-didaktisk design og stud. datadrevet organisationsudvikling
SmartLearning.dk