1. Indledning

I februar 2019 gik SmartLearning online med censorkurset. I en dansk sammenhæng er det ikke ofte, at der udbydes online kurser, som er designet til selvstudie og som har nok kursister til at lave statistiske beregninger på de data der produceres. Sådan en chance kommer nok kun én gang, så den skulle ikke spildes, da den opstod: Nu skulle der læres om data fra undervisningsmaterialer og hvilke spørgsmål man vil kunne stille på baggrund af dem.

Oprindeligt blev censorkurset bestilt af Uddannelses- og Forskningsministeriets Styrelse for Forskning og Uddannelse som gav en række dessiner vedr. indholdet i kurset. Kurset blev bestilt efter et udvalgsarbejde, som kan læses om i “Et fremtidssikret censorsystem” (Undervisnings- og forskningsministeriet n.d.).

SmartLearning blev valgt, fordi SmartLearning allerede dengang havde omfattende erfaring med at producere materiale til og udbyde online uddannelser. Ud over dessinerne fik SmartLearnings direktør Tue Bjerl Nielsen og IT-didaktisk designer Mette Søgaard også lov at trække på en ‘arbejdsgruppe’, dvs. en medarbejder fra styrelsen og tre erfarne censorformænd udvalgt af styrelsens medarbejdere blandt frivillige censorformænd.

2. Forskningsspørgsmål/problem

Dessinerne havde ingen indflydelse på opsætningen af undervisningsrummet, så det kunne undersøges om forskellige kursistgrupper har forskellige forudsætninger og dermed også forskellige undervisningsbehov. Målet var, at det skulle foregå i baggrunden uden at forstyrre kursisterne unødigt. Opsætningen blev altså en måde at organisere kurset på, så det ville lette den planlagte undersøgelse af data.

3. Data fra kurset

Kurset består af et forløb, hvor det ene afsnit bygger videre på det næste i en logisk rækkefølge ift. kursisternes forståelse. I hvert afsnit er der, ud over gennemgang af emnerne, træningsmuligheder i form af quizzer. Formålet er erhvervelse/repetition af viden, kursisternes bevidsthed om emnet og om egen viden, samt i en enkelt øvelse at undersøge kursisternes mulige misforståelser ift. god adfærd (Moderniseringsstyrelsen, KL og Danske Regioner, 2017). Med god adfærd er det sådan, at der er ikke én korrekt måde at opføre sig på, men mange forkerte. Det kan være svært at fange ind i en simpel øvelse, som både er digital og selvrettende.

Den første aktivitet kursisterne møder er, at de skal vælge hvilken af fire censorgrupper de tilhører. De fire grupper er baseret på lovgivningsmæssige forskelle og er, i tilfældig rækkefølge, de erhvervs- og professionsrettede, de kunstneriske, de maritime videregående uddannelser og universiteterne. Derefter er der en test af paratviden, som består af 18 quizspørgsmål udvalgt tilfældigt blandt 20-35 spørgsmål alt efter hvilken gruppe kursisten har valgt. Testen af paratviden kan kun tages én gang. Efter at have gennemgået kursusmaterialet, får kursisterne stillet 18 tilfældigt udvalgte spørgsmål om de samme fire forskellige emner fra kategorierne med samlet 20-35 spørgsmål. Afslutningstesten bliver først åbnet, når alle emner som minimum er set af kursisten og kan prøves flere gange, hvis første forsøg ikke er tilfredsstillende.

Illustration 1: Bagsiden af en udprøvningstest fra censorkurset.

Kursisterne bliver således tvunget gennem materialet ved at aktiviteter og ressourcer vises og skjules for kursisterne alt efter hvilke betingelser de opfylder. Dermed bliver materialet adaptivt.

3.1 Lærer grupperne lige meget?

De 18 spørgsmål kursisterne får stillet dækker fire forskellige emner. To af emnerne er forskellige (men lignende) fordi der er forskellig lovgivning og forskellig definition af niveaubeskrivelserne i kvalifikationsrammens krav for de fire områder. To af emnerne er ens; god opførsel som censor og karakterskalaen er det samme for alle.

Opdelingen i fire emner muliggør, at der kan undersøges i forhold til de fire emner og at identificere emner, der trænger til uddybende materiale:

Tabel 1: Censorkursets fire faglige områder.

I skemaet er valgt at markere med grønt, hvor den korrekte besvarelsesprocent er >95%

3.2 Er der materiale, der kan fjernes eller som med fordel kan styrkes?

Her undersøges spørgsmålet med data fra emnet God adfærd. Emnet bygger på bekendtgørelse af forvaltningsloven (2014), God adfærd i det offentlige (Moderniseringsstyrelsen, KL og Danske Regioner, 2017) og Kodex VII (Finansministeriet, 2015). I skemaet er valgt at markere med grønt, hvor den korrekte besvarelsesprocent er >95% og hvis den korrekte besvarelsesprocent er <50% er markeret med rødt.

Tabel 2: Korrekte besvarelsesprocenter på specifikke spørgsmål.

3.3 Gennemførelsesprocent

De fire gruppers gennemførelse ligger på hhv. 70%, 53%, 72% og 32%. Når gennemførelsesprocenten beregnes for alle 4.122 kursister (dvs. også kursister, der ikke har registreret sig i en af grupperne) nås resultatet 50%.

4. Metode

Registrering af data om kursisternes interaktion med materialet er tænkt som en lejlighed til at undersøge om quizzerne har effekt ift. større viden og om der er misforståelser, der bør uddybes i materialet om God adfærd. Til dette arbejde bruges ukompliceret procentregning som belyser sammenhænge og ikke kausaliteter. Data er hentet fra undervisningsplatformen, hvor kurset ligger, dvs. Moodles quizzer, survey og deltagerlister. Survey er fuldt anonymiseret og lader (her) blot kursisterne vælge hvilken gruppe de tilhører.

Illustration 2. Kategorier og underkategorier i Censorkurset.

For at lette arbejdet med data er spørgsmålene lagt op i kategorier og underkategori.

Kun de to største grupper er beskrevet hér, da der ikke er data nok fra de to mindste af fire grupper til at tallene kan bruges til noget fornuftigt på grund af statistisk usikkerhed.

5. Analyse og diskussion

5.1 Lærer grupperne lige meget?

Set bort fra den betragtelige mængde kursusdeltagere, der udelukkende har meldt sig til men ikke har fuldført (50%) og de, der endnu ikke har fuldført, så ser det ud som om kursisterne i begge grupper får et højt udbytte af kurset målt som tilstrækkelig viden til at besvare quizzen korrekt (mellem 6% og 36% vækst i antal korrekte svar).

5.2 Er der materiale, der kan fjernes eller med fordel styrkes?

De to mindste grupper har for få deltagere til at give statistisk sikkerhed. Derfor er disse tal ikke afrapporteret. Men de viser de samme tendenser som de to store grupper af kursister.

Spørgsmålene 4, 10 og 11 lader til at være kendt stof af kursisterne. Spørgsmålene ville kunne fjernes til en næste iteration, hvis der var behov for pladsen. Omvendt kan spørgsmålene forblive i kurset, da materialet også er en gennemgang eller repetition af god adfærd. En tredje mulighed er at revidere, om spørgsmålene er ledende eller for lette, siden 100% af svarene er korrekte?

Spørgsmålene 3 og 9 kan der med fordel kigges på. Er spørgsmålene formuleret godt nok? Er svarmulighederne tilstrækkelige? Skal materialet gennemgås inden quizzen på en mere hensigtsmæssig måde?

5.3 Gennemførelsesprocent

Katy Jordan fra Cambridge University har i sin fritid i efterhånden i mange år samlet på data om fuldførelsen af MOOCs (Massive, Open, and Online Courses). Hendes tal viser, at det er væsentligt hvordan kursisterne bedømmes; automatisk, af medkursister eller af undervisere. På censorkurset bruges udelukkende automatisk bedømmelse.

Illustration 3: Completion rates (%) and assessment type, Jordan, 2014

Hvorfor er gennemførelsesprocenten på censorkurset så høj, når man sammenligner med Katy Jordans tal?

En mulig forklaring kunne være, at kurset er obligatorisk. I ministeriets oplæg er kurset ikke obligatorisk. Beskikkelse og evt. afbeskikkelse hænger ikke sammen med deltagelsen i kurset og kurset er tænkt som en generisk indføring, der skal suppleres af de enkelte korps. Så vidt vides er der to korps ud af mere end 130, hvor censorformandskabet som minimum har kendskab til kurset, der har gjort kurset obligatorisk for deres censorer. Censorsekretariaterne har mulighed for at fravælge at allokere ikke beståede censorer. Hvordan de øvrige korps tilbyder kurset til deres censorer eller om de gør det, er ikke undersøgt i dette arbejde.

6. Konklusion og perspektiver

Hvad kan indsigterne bruges til nu?

De individuelle kursisters resultater kan slås op af underviser/administration, som kan se hvordan det går kursisterne i forhold til læringsmålene. I censorkurset udløses et gennemførelsesbevis, hvis kursisten besvarer 16 eller flere af 18 spørgsmål korrekt til slut i kurset.

Indsigterne kan også bruges til at identificere ‘videnshuller’ hos kursistgrupper (fx den lave procentsats for korrekte svar i alle grupper for viden om kvalifikationsrammen ved test af paratviden), men også til identifikation af emner, der med fordel kan arbejdes videre med (fx illustreret med væksttallet for korrekte svar for viden om kvalifikationsrammen ved afslutningstesten, som nok er højt, men ikke lige så højt som væksttallet for viden om områdespecifik lovgivning.)

Hvad vil indsigterne bruges til med mere arbejde?

Dataindsigt kan bruges til A/B-test af materialet, så spild af kursisternes tid minimeres. Sådan en analyse af ‘instructional design’ arbejder jeg på et setup med på et andet kursus.

Grupper af kursister, fx defineret af et tidligere eksamensresultat, socioøkonomiske faktorer eller andet i kombination, kan af forskellige grunde få ringere udbytte af kurser end andre kursister. Hvis man kan identificere disse grupper vha. data fremskaffet fra fx survey eller andre datakilder, må man også kunne undersøge hvilke ‘videnshuller’ grupperne har og dermed hvor kursistforudsætningerne mangler, så der kan arbejdes målrettet på underbetjente gruppers tilbud.

De indsigter vil kunne munde ud i tillægsmateriale eller -muligheder planlagt som mastery learning (Bloom, 1984), didaktisk designede “learning paths” og multimodalitet, altså foretrukne måder at lære på, bestemt af kursistens forudsætninger, interesser og motivation i kombination. Altså adaptivt undervisningsmateriale. Alt i alt har det været lærerigt at udvikle censorkurset fra design til drift.

7. Litteratur

Bekendtgørelse af forvaltningsloven, LBK nr. 433 af 22/04/2014.
URL: https://www.retsinformation.dk/eli/lta/2014/433

Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational researcher, 13(6), 4-16.
URL: https://web.mit.edu/5.95/www/readings/bloom-two-sigma.pdf

Finansministeriet, 2015. Syv centrale pligter for embedsmænd i centraladministrationen — Kodex VII.
URL https://modst.dk/media/16963/kodex_vii.pdf

Jordan, K. (2014). MOOC completion rates: the data. 2013.
URL http://www.katyjordan.com/MOOCproject.html.

Undervisnings- og forskningsministeriet. n.d. Censorudvalget: ”Et fremtidssikret censorsystem”.
URL: https://ufm.dk/uddannelse/rad-naevn-og-udvalg/tidligere-rad-naevn-og udvalg/censorudvalget/dokumenter-og-analyser/microsoft-word-sidste nye-censorrapport-version-180117-docx.pdf

Moderniseringsstyrelsen, KL og Danske Regioner, 2017. God adfærd i det offentlige.
URL: https://www.modst.dk/media/17831/god-adfaerd-i-det-offentlige_web.pdf

Mette Søgaard
Cand.Pæd. i IT-didaktisk design og stud. datadrevet organisationsudvikling
SmartLearning.dk

Censorkurset blev bestilt af Styrelsen for Forskning og Uddannelse bestilt efter et udvalgsarbejde, som kan læses om i “Et fremtidssikret censorsystem” (Undervisnings- og forskningsministeriet 2016) og i februar 2019 gik SmartLearning online med censorkurset.

Et af målene var at lave et setup, så forskellige kursistgrupper (fire forskellige censor-lovgivninger for de maritime, de kunstneriske, de erhvervs- og professionsrettede uddannelser og for universiterne) kun ser de materialer, der vedrører dem. Det lykkedes.

Da undervisningen primært dækker lovstof var et andet mål at styre materialernes frigivelse, så jeg kunne opbygge en fremadskridende fortælling i stedet for blot at give dem alle materialer og en test. Forløbet blev med fokus på deres censorroller som både faglige bedømmere og som beskikkede censorer samt forløbet før, under og efter eksamen. Det lykkedes også.

Her er hvordan jeg gjorde:

Første aktivitet tilpasser kurset til kursisten

Valget tilpasser undervisningsmaterialerne til den lovgivning, som kursisten er censor under.

Indstillingerne for  “Kvalifikationsramme” viser det meget godt:

“Kvalifikationsramme” åbner først, når kursisten har gennemført den aktivitet, der kommer inden “Kvalifikationsramme”. “Kvalifikationsramme” er en fælles tekst og to forskellige ressourcer, hvor kursisterne kan læse det, der er relevant for dem ud fra det valg de har lavet i første aktivet.

Dataindsigter

I en dansk sammenhæng er det ikke ofte, at der udbydes online kurser, som er designet til selvstudie og som har tilstrækkeligt mange kursister til at lave statistiske beregninger på de data der produceres og opsamles.

Det ene jeg gerne ville undersøge var, om kursisternes læringsforudsætninger og testresultater viser sammenhæng. På den baggrund fik jeg lov at sætte en survey med otte spørgsmål ind på kurset. Jeg har en forventning om, at læringsforudsætningerne er forskellige fra undergruppe til undergruppe og på tværs af faglighederne. Foreløbigt arbejder jeg med hypoteser om

• to undergrupper vedr motivation forventes at være aftagercensorer og institutionsansatte
• der vil være forskel vedr selfefficacy på tværs (selvover- og undervurdering)
• der vil muligvis være forskel i forforståelsen af censorgerningen hvorfor håber jeg at kunne “mine” ud af tallene hvor materialet med fordel kan nuanceres, uddybes eller forenkles for at gøre op med misforståelser og indlære aktuel viden

Det andet jeg ønskede at få indblik i var, om jeg kunne lave effektmålinger på kursusmaterialerne. Det kræver en før- og en eftertest, som jeg satte op.

Læs “Dataindsigter efter 4.000 kursister” for en beskrivelse af indsigterne.

PS: Gennemførelsesprocenten var 50%, da jeg skrev på LinkedIn. For et self paced kursus (dvs uden kontakt til hverken medkusister eller til underviser) er det en høj gennemførelsesprocent! Jeg har nu en mistanke om, at det primært er et spørgsmål om en kursistgruppe med et højt ambitionsniveau og pligtfølelse og at nogle af censorkorpsne har krævet gennemførelse af kurset.

Formål med undervisningsvideoer er fx

• explainer
• tutorials
• indflyvning til et emne
• en ekspert deler viden ud

Der findes en del eksperter, der mener alt muligt om hvornår og hvordan video er bedst. Hvis du er underviser tænker jeg, at det er op til din didaktiske analyse at vælge om det er den ene eller den anden anbefaling du følger: Videoer på 2-5 minutter er den rigtige varighed for nogle kursister om nogle emner og det samme kan 1½ time være for andre kursister eller de samme kursister om andre emner. Hvis du er producent, så lyt til din underviser.

Du kender det fra dig selv hvor lang en video må være!
Emnet, som du ved en masse om i forvejen, er fortryllende at fordybe sig i, hvis videoen (eller hvilket medie der nu bruges) er formidlingsmæssigt godt håndværk. Samtid er en video på 1½ minut være overvældende, hvis du er på bar bund om emnet.

I denne video taler Jan Kristiansen og jeg om at arbejde med video i undervisningen. Arbejdsprocessen omkring videoproduktion og den senere brug af videoer kan tjene to formål:

• Videoerne kan bevare underviserens pædagogiske frihed til at vælge og vælge fra og
• videoerne kan være planlagt med mulighed for løbende rettelser for øje ift hvad seertal fortæller os om hvad der fungerer og hvad der ikke fungerer.

Se mere om Jans arbejde på forklarmiglige.dk.

Forklarmigliges erfaring er, at det ikke handler om længden af undervisningsvideoen, men om videoen holder sig til ét emne og der ikke bringes uddybende eksempler.

Formater

Forskellige videoformater kan noget forskelligt. Nogle gange er det bedst med et menneske på skærmen, andre gange forstyrrer det.
Det er din pædagogiske indsigt og dit didaktiske valg om det ene eller andet er mest hensigtsmæssigt.
Men videoformidling er også nogle gange “det muliges kunst” fordi en dyr produktion ville have været at foretrække, men ikke var en mulighed. Så prøv noget andet. 

Det begynder og slutter med læringsmålene

Dit didaktiske valg skulle gerne afspejle, at videoen skal indgå som en del af undervisningsmaterialerne, der er til rådighed for kursisterne. Det er dig, der kender emnet, kursisterne og det er dig, der ved hvad du har til rådighed af kvalitetsmedier (video, tekst, podcast etc) om emnet. I stedet for at tænke antal minutter er min at befaling at lægge vægt på pædagogisk formidlingshåndværk og risiko for kognitiv overload hos kursisterne med udgangspunkt i, hvad kursisterne skal have ud af kurset.

PS: Call to action!

Brug sidst i videoen til at lave en lille cliffhanger om “næste kursus” og hvorfor det (et eller flere kurser) er relevant for kursisten at melde sig til.

Poster presented at LASI2018, Aalborg University, Copenhagen

By Soegaard, Mette, Cphbusiness, Copenhagen, Denmark

Introduction and problem

Using software for word processing affords i.e. writing. Using that tool does not require the same amount of manual dexterity nor the same eye-hand coordination as writing with a pen on paper. What else changes, when using digital tools for learning?
If the digital tools in and off themselves offer affordances for some learning activities and not requiring other activities one must assume the chosen pedagogy is mirrored in the students’ use of digital tools and consequently the learning outcome.
Educational design needs to take both the formal and the informal teaching/learning provided by the tools into account.
This poster suggests one way of mining for questions to be examined further in regard to the European Commission’s “Key Competences for Lifelong Learning”

Methodology and Empirical Basis

A survey (N=375) was made in regard to the use of software for study purposes among students and teachers at two universities in Denmark. The different types of software were analysed in regard to Learning Affordances supporting the Key Competences for Lifelong Learning.

Theory

I used the European Commission’s “Key Competences for Lifelong Learning” (EUR-Lex, 2006) dissolved into required learning affordances (Bower, 2008) to triangulate the qualitative data (Jansen, 2010) with Bower’s affordance analysis e-learning design methodology (Bower, 2008), looking for outliers

Figure 1: Affordance analysis e-learning design methodology (Bower, 2008) with my notes

Results

Here I (Soegaard, 2016) report two correlations between study program and use of digital tools with significant effect size:

• Video conference is being used more by one study program (47.4% against 27.6% on average). The study program is an online program, using video conferences as one primary way of communication between students and staff and students in study groups.
• The affordance “search-ability” did not show significance in itself, but the tools used for searching did: The use of Wikipedia was on average 25.4%, but students from one study program did not mention using it. The use of library databases was on average 10.2% and one study program reported using it significantly more with 27.8%

Analysis and Discussion

The reporting of one tool over another does not imply how the tool is being used.
The use of video conference in an online masters program is an unsurprising pedagogical choice and might be indicated in the numbers.
If use of search engines is tied to critical thinking, it might be worth examining the pedagogy of the study programmes further and find out if the numbers show choice or hidden bias.

Conclusion

This poster does not claim to report any results of validity!
If triangulating European pedagogical goals with learning affordances at the used tools reported in the survey and qualitative statistical analysis
results in a glimpse of the pedagogy and biases, the procedure could be suggestion for a stepping stone to further qualitative inquiries prior to
isolating variables to be quantitatively verified.

Acknowledgement

Thank you Pantelis Papadopoulos for encouraging me to mine the data set as well as supervising me as I wrote my master thesis.

Literature

Bower, M. (2008). Affordance analysis–matching learning tasks with learning technologies. Educational Media International, 45(1), 3-15.
EUR-Lex – 32006H0962 – EN – EUR-Lex. (2006). Retrieved from https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A32006H0962
Soegaard, M. (2016). From Students to Lifelong Learners: How the Offered Affordances of Digital Personal Learning Environments Support the Students. Master. Aarhus University.
Jansen, H. (2010). The logic of qualitative survey research and its position in the field of social research methods. In Forum Qualitative
Sozialforschung/Forum: Qualitative Social Research (Vol. 11, No. 2).

Oplæg ved Anders Koed Madsen og Anders Kristian Munk fra TANTLab på Aalborg Universitet, Sydhavn i København, fredag den 25. August kl. 13-15:

Dagens emne var om ukurant data og om digitale spor af hverdagen, som ofte ender “i skuffen”, fordi de færreste organisationer ved, hvad man kan bruge de data til eller hvordan man høster informationerne.
Oplægget handlede om hvad data kan bruges til med de tre humanistiske synsvinkler; hermeneutikken, den narrative tilgang og den kritiske humanists tilgang.

Hermeneutikeren tænker både “big data” og “thick data”, altså de digitale, ukurante data og etnografiske indsigter. Der veksles hele tiden mellem en kvalitativ tilgang for at finde “bedre” målepunkter end de eksisterende og få disse målepunkter valideret kvantitativt.

Den narrative tilgang arbejder med at binde emner, ting, data sammen på nye måder til nye historier: Vi er alle en del af vor institutions logikker og ser verden gennem dé briller. Det skaber en silo-effekt, som man kan arbejde på at komme væk fra ved at “measure what you care about”. Her har man mulighed for at måle og visualisere dynamikker, relationer, nuancer og diversitet.

Den kritiske humanist bruger data som en øvelse i distance og nærhed og bruger data som en måde at lukke journalisternes maskinrum op.

Disse humanistiske tilgange til mixed methods, hvor foredragsholderne anbefalede “participatorisk data design” er måder at tage et begreb og operationalisere begrebet til kvantificerbare metrics (målepunkter).
Så, som altid, er nøglen til data hvilke målinger der bruges og hvordan data derfra sættes sammen til informationer, som vi kan drage nytte af.

If you wish to, you can make quantitative statistical calculations to find the p-value for correlation between the arrival of both babies and storks. It might be small, but I’m sure it is there.

Now qualitative statistics look at the baby/stork-challenge slightly different and make the variables interchangeable asking: is the stork bringing the babies or are the babies bringing the stork? I am sure we can calculate both p-values.

Both quantitative and qualitative statistics use effect size calculations, and this is where it is revealed: there could be an unregistered variable or more, better predictors for both the arrival of storks and babies because the effect size is not impressive. If you correlate storks arriving in Denmark and season and if you correlate babies arrival with pregnancy the effect size will tell you, you are on to something!

When it gets more complicated than storks, babies, seasons and pregnancies, statistics can show relationships between variables, it can show differences between groups of data, it can be descriptive and sometimes even make predictions. Qualitative statistics are well suited for studying diversity in a population and quantitative statistics are well suited for studying distribution.

Parameters define the observed population ie “storks” and “babies”. In another survey with a larger population including the first population, the same parameter is a variable, ie “migratory birds”, “newborn mammals”.

Variables are the what we observe and in qualitative statistics, we use two different kinds of variables: independent and dependent variables. In qualitative statistics, you can choose freely between the different variables as dependent or independent in relation to each other (babies bringing storks or storks bringing babies).

Levels of measurement are describing how we measure:

The qualitative level of measurements (that can’t be measured, but observed or counted) are based on categories of data: binary categories (ie “pregnant or not”), nominal categories (unordered; ie mammals, birds, reptiles) and ordinal variables being like nominal categories that can be ordered logically (ie babies -> toddlers -> children).

Descriptive statistics

Qualitative data can be quantified and described in basic features such as a ranked (in %) and central tendency “mode”, the most frequently observed variable, instead of “mean”, the calculated average or “median”, the middle value.
Descriptive statistics are very well suited for graphical presentations.

Testing a hypothesis (Asking, if you are right in assuming the population looks like “this”?)

You assume the world can be described in a certain way, you have a model of the world, so to speak. Now you want your data to be compared to the model to see if it fits or at least how well it fits:

Null Hypothesis is the hypothesis “there is no difference”.
Significance Testing is using p-value (“p” is for probability) to determine if the variables’ distribution is statistically significant.
Qualitatively defined samples (groups) have no normal distribution, therefore I would like to test for independency between groups and rank samples.
I use chi square test to test for independence between variables (my Null Hypothesis being “there is no common distribution (no common dependency) between the different groups in my dataset”).
If the likelihood (probability) is greater than 5% (p > 0.05) the assumptions for the Null Hypothesis is said to be violated and we can reject it. The test indicates that the found differences (rejected null hypothesis) did not occur by chance, but does not indicate the size of the effect.
Or explained simply: there is a statistical significance between two or more groups and what they have reported regarding their use of digital tools though we do not know why.

Effect size is a calculation on how strong a significance is. Until the effect size is 100% (ie: all twins have or have had at least one biological sibling) there is always a reason to ask more questions! Any statistical statement with an effect size of less than 100% is “provisional best explanation”

One sample T-test

Test-retest reliability lies in the description of the procedure.

Triangulation is a very pragmatic mixed method approach to validate findings with the use of several qualitative methods for the same subject.

Data mining for learning analytics:

Data mining is having one or more sets of data, asking the data what answers it can come up with.

In data mining, statistical variables are called features.
The true art is to find relevant features to examine to find new interesting answers.
In the world of Big Data, you can get data from all sorts of sources. You choose! But is the data relevant? Is the data of quality? Is the data available?
Can twitter scrapings be used as a source for learning analytics? Which features are signs of learning?

All this will be continued.

Mit fjolle-eksempel på, hvordan datamining skal forstås er, at man kan lede efter mønstre i målinger vedr storkes og børns ankomst til denne del af verden. Der er en (statistisk) sammenhæng, da flere børn bliver født om foråret end resten af året. Deraf kan man ikke slutte, at børnene kommer med storken, men udlede spørgsmål som opstår ved at identificere sammenhængen:

• Kommer børn med storken?
• Er det storken, der kommer med børnene?
• Eller er der en tredje variabel, som ikke er med i datamaterialet?

Jeg bruger eksemplet på trods af hvor fjollet det er, fordi det pinefuldt tydeligt viser hvor begrænset undersøgelser er af det spørgsmål der bliver stillet. Eller som Picasso sagde: “Computere er nytteløse, de giver kun svar”

Til denne øvelse udvalgte jeg tre måneders tweets uden retweets med hashtag #SkoleChat fra november 2016, december 2016 og januar 2017.

November blev gennemgået først, samtlige hashtags registreret med antal forekomster.
Derefter samlet (#DKPol og #DKPolitik blev samlet, eks.v.). Også formodede slåfejl blev samlet (#DKopol) Efter hashtags var samlet, var der 513 forskellige hashtags registreret.

Hele listen kan ses her.

De hashtags, som kun var nævnt 1 gang i november måned, blev slettet

December og januar blev gennemgået med udgangspunkt i de hashtags, der var nævnt mere end en gang i november. Hvis et hashtag nævnes mindre end to gange i en af de to følgende måneder, blev det også slettet fra listen.
Sådan endte listen over hashtags med 47 hashtags og viser nu de hashtags, der vedvarende er blevet brugt mere end én gang pr måned over de tre udvalgte måneder. Det vil ikke give mening at se listen som en del af en længere sekvens, da der med de valg jeg har truffet ikke er mulighed for at et nyt, vægtigt hashtag dukker op. Listen er et nedslag i tid og viser udelukkende hvilke hashtags, der blev brugt mest og stabilt over en tre måneders periode.

Jeg har ikke gennemgået *hvem*, der afsendte, links væk fra twitter, billeder, retweets, dialoger mellem brugere eller andet. KUN hashtags. Det er et fravalg med konsekvenser, mange mønstre forbliver uafdækket.

De mønstre jeg fandt i top 5, optalt, (se regnearkene) giver anledning til at stille spørgsmål som:

• Der er et vist sammenfald mellem #SkoleChat, #GymnasieChat og #BhvChat. Hvad er fælles for de tre hashtags? Personer, emner, andet?
• Der er sammenfald mellem #SkoleChat på den ene side og #DKPol og #UddPol på den anden? Er det politikere og/eller skolefolk, der debatterer under #SkoleChat?
• Med de hashtags der bruges mest, er der også pædagogisk, faglig eller anden videndeling på microbloggen #SkoleChat og hvis, hvordan organiseres denne viden?
• Hashtags relateret til 21 century skills er med alle tre måneder, men rigtig mange gange i december. Hvad skete der?

Det, der debatteres under top 7, procent, (se regnearkene) lader til at være:

• Det samme som på talt top 5 minus 21 century skills og plus
• SkolePol
• KomPol
• EdTech

Er det også dit indtryk, kære læser?

Hvilke spørgsmål synes du, at jeg har overset?

Hvad tænker du, at datamining som metode kan bruges til i uddannelsessammenhæng?

Næste trin bliver at lave kvalitativ statistisk analyse af materialet og se, om der er sammenhænge og hvis, hvor stærke de er.