Never send a machine to do a human’s job! – EdTech Whisperer https://brejner.online udvikler nye undervisningskoncepter og udnytter teknikken til det yderste Sat, 28 Sep 2024 13:05:46 +0000 da-DK hourly 1 https://wordpress.org/?v=6.6.2 Titanic https://brejner.online/titanic/ Sun, 28 Jan 2024 21:25:06 +0000 https://brejner.online/?p=15513 Kender du historien om Titanic, skibet, der ikke kunne synke? Det var på sine jomfrurejse tilbage i 1912, da skibet gik ned med 1316 passagerer og 908 ansatte. Passagererne var fordelt på 1., 2. og 3. klasse. Der var i alt 109 børn, 425 kvinder og  1690 mænd ombord.

Kaggle har der siden 2012 været en konkurrence om hvilken Machine Learning Model, der bedst kan forudsige overlevelseschancerne for de 2.224 mennesker ombord Titanic ud fra køn, alder, klasse og race/nationalitet. Ud fra tallene er det tydeligt, at kvinder og børn overlevede i højere grad end mænd og dem, der betalte mere overlevede i højere grad end dem, der betalte mindre. Med så tydelig en fordeling er det vel vist med al ønskelig tydelighed, at skibe kun bør befolkes af kvinder og børn, fordi det statistisk set er for farligt for mænd at sejle?

Dén slags galimatias-slutninger kan undgås vha transparens, kontekstforståelse, sund fornuft og ved kvalitativt at undersøge hvad data og beregningerne har udsigekraft om.

“Never send a machine to do a human’s job”, fordi algoritmer er serier af beslutninger taget på baggrund af statistik.

]]>
Skadeforsikrings- og pensionsbranchen https://brejner.online/forsikringsbranchen/ https://brejner.online/forsikringsbranchen/#comments Sat, 15 Apr 2023 10:02:44 +0000 https://brejner.online/?p=13889 På min vej gennem DigiJunglen faldt jeg engang over Open Data og tænkte, at Open Data må kunne bruges til at kvalificere udvikling af undervisningsmaterialer.
Målet for mig er at identificere viden, færdigheder og/eller kompetencer, som er relevante for sektoren
OG som der kan undervises i digitalt/online.
Det gav jeg mig til at undersøge og her er en del af historien:

Færdigheder, der søges efter i finans- og forsikringssektoren i Danmark:

De to største stillingstyper i finans- og forsikringssektoren i Danmark er Professionals og Associate Professionals

Sådan har stillingstyperne i finans- og forsikringssektoren i Danmark udviklet sig over tid

CEDEFOP (data fra 2011-2020)
Employment share of broad occupations (%) in Finance & insurance sector in Denmark.
Comparing Employed population by occupation and sector in Denmark. The maximum is in 2019 in Professionals, while the minimum is in 2011 in Elementary workers. Notice observations encoding flag qualitative characteristics, marked with *.

Færdigheder, der søges efter hos (office) professionals i online annoncer i Danmark på tværs af sektorer:

Opgaverne, som (office) professionals’ har uddannelse og færdighederne til at løse:

Færdigheder der søges efter hos (office) associate professionals i online annoncer i Danmark på tværs af sektorer:

Opgaverne, som (office) associate professionals’ har uddannelse og færdighederne til at løse:

Opsamling af indsigterne om finans- og forsikringssektorens medarbejdere:

Denne lille analyse viser

  • sektorens behov udtrykt som hvilke færdigheder finans- og forsikringssektorens selskaber leder efter hos nye medarbejdere, når de annoncerer online
  • Hvilke typer stillinger er der i sektoren og hvilke der er de største?
  • Færdigheder, som medarbejderne i de to dominerende stillingstyper i sektoren har og
  • Opgaver, som medarbejderne i de to dominerende stillingstyper løser på tværs af sektorer i Danmark

Hvad kan indsigterne bruges til?

Her er CEDEFOPs spådom om væksten indenfor forsikringsbranchen. Det ser sg* godt ud for forsikringsbranchen! Det tegner billedet af en sektor der er i vækst og som vil få brug for (flere) dygtige medarbejdere!

Kunne omskoling af nogle af de nærmeste faggrupper komme på tale?

Jobkompasset – en af mange, mange kilder til indsigt og inspiration


Et kig mere i CEDEFOPs krystalkugle vedrørende det danske arbejdsmarkeds udvikling 2022-2035 kan sikkert hjælpe lidt.

Bonusinformation om geografiske forskelle

Vil du zoome ind på Danmark og se forskellen på hovedstadsområdet og udenfor hovedstadsområdet indenfor sektoren?

ESCO lister viden, færdigheder og kompetencer op

ESCO er den flersprogede klassifikation af europæiske færdigheder, kompetencer, kvalifikationer og erhverv

Eficert lister viden, færdigheder samt ansvar og autonomi (kompetencer) op

SQF is the method to identify knowledge, skills and competences that are specific to the European insurance industry and based on national exams.

Jobindex er en anden kilde til data

om sektoren og deres data går tilbage til 2007. Jobindex refererer (vistnok) ikke til ESCO-rammen når de viser virksomhed, kanal (erhverv?), kategori (sektor?) og geografisk område.
Jeg kan ikke finde hvor de redegør for hvordan de definerer kanal og kategori og umiddelbart synes jeg ikke, at jeg kan genkende betegnelserne fra ESCO/ISCO-definistionerne som CEDEFOP benytter. Men jeg har heller ikke taget Jobindex’ tal med for selv at bruge dem. Blot for at henvise til Pers tal 😉

 

Uddannelsesinitiativer understøttes af Key training policy measure

Forsikringsforbundets medlemskurser

Forsikringsforbundets medlemskurser

Class Central’s Best Online Courses of All Time (2022 Edition)

Her er andres populære onlinekursusemner til inspiration. Hvad er deres undervisningsfaglige hemmeligheder?

Google Trends

Google Trends relaterede søgninger 

Ankenævnet for Forsikring kunne kaste nogle ideer af sig i form af statistiske indsigter: Hvilke forsikringsprodukter er kunderne mest i tvivl om? Hvilke forsikringsprodukter får kunderne oftest medhold i ifm klage? Dyk længere ned i misforståelserne her. Hvad misforstår kunderne særligt ofte (her søgeord “bil”)?

I januar 2024, spurgte jeg ChatGPT-4:

EPSI har målt kundetilfredsheden i forsikringsbranchen siden 2001.

Vi har ikke alle arbejdet i en reguleret branche, så alle forløb skal have medtænkt

]]>
https://brejner.online/forsikringsbranchen/feed/ 1
Om ansøgersporingssystemer https://brejner.online/pa-min-vej-gennem-digijunglen-stodte-jeg-pa-ats/ https://brejner.online/pa-min-vej-gennem-digijunglen-stodte-jeg-pa-ats/#respond Sat, 23 Apr 2022 11:40:02 +0000 https://brejner.online/?p=10748 På min vej gennem DigiJunglen stødte jeg på ATS

Learning Management Systemer, som hører til indenfor mit fagområde, har kæmpet i mange år med deres pædagogiske rygte, fordi mange LMS’er er ‘født’ som administrative systemer i et eller andet omfang.

Der findes noget indenfor rekruttering, som hedder Applicant Tracking Systems, altså HR systemer. Logikken bag teknikken minder om den der bruges til Search Engine Optimization, hvor maskinen leder efter nogle bestemte ord brugt på forskellige niveauer af teksten, dvs at nøgleord går igen fra overskrift i brødtekst og dermed øger ansøgningens “dette-lyder-som-en-god-kandidat”-score. Hos ATS hentes nøgleordene i jobopslaget, så vidt jeg kan skønne.

Hvad så hvis jeg, Mette, skulle søge min egen stilling? Jeg har prøvet at køre min LinkedIn-profil gennem deres ATS-analyse og her er resultatet:

Jeg er IT-didaktiker af uddannelse, af jobtitel og arbejdsfunktion, og på engelsk hedder det Instructional Designer eller E-learning Specialist. Mit job består i at designe og producere online undervisningsmidler.

Her er hvad jobtitlerne Instructional Designer, Senior Instructional Designer, Lead Instructional Designer, Instructional Design Specialist, Instructional System Designer udløser af forslag til nøgleord:

  • E-Learning
  • Learning Management
  • Instructional Design
  • Learning Management Systems
  • Curriculum Development
  • Learning
  • Program manager

Disse stillinger med tilhørende nøgleord har ikke udløst et match på nøglebegreber med min profil.
Da jeg søgte på titlen Instructional Specialist var der bonus med ét nøgleord: Differentiated Instruction. Ved E-learning Consultant var decideret tåkrummende at se ATSen havde fundet “consulting” men ikke fx e-learning på min profil..

Det jeg laver er online undervisningsmaterialer, dvs e-læring. Så jeg prøvede at bruge e-learning som nøgleord. Resultatet for e-learning developer, learning- and development specialist, e-learning consultant, learning- and development manager, director of learning and development, human resource analysist og e-learning specialist var følgende nøgleord:

  • Adobe Photoshop
  • Articulate Storyline
  • Instructional Design
  • Training and development
  • Human Resource
  • Recruiting
  • Learning Management Systems
  • Customer Relationship Management
  • Employee training
  • Leadership development
  • Organizational development
  • Operating systems
  • Analytical skills

Gad nok vide, om ATS laver ‘clusters’ af lignende ord, fx elearning og e-learning og online undervisning. Er det tre forskellige eller et emne?

Kender jeg HR-folk, der kan gøre mig klogere på det fordelagtige i ATS?

]]>
https://brejner.online/pa-min-vej-gennem-digijunglen-stodte-jeg-pa-ats/feed/ 0
Dataindsigter efter 4.000 kursister https://brejner.online/hvad-et-kursus-med-4-000-kursister-har-laert-os-om-dataarbejde/ https://brejner.online/hvad-et-kursus-med-4-000-kursister-har-laert-os-om-dataarbejde/#comments Fri, 03 Dec 2021 18:25:07 +0000 https://brejner.online/?p=8489 Having a second appointed examiner is a Danish tradition going back centuries. For the tradition to be relevant for the future, the present was examined by a committee. The committee described a baseline of knowledge, skills, and competences the second appointed examiners need to learn prior to examination. These second appointed examiners are some of the most knowledgeable and highly skilled people in and around the Danish educational world. The design of the course takes into consideration how to utilize data for improving the course through iterations. This paper describes one aspect of ensuring the quality and relevance of the course using data suggesting ways of improving the course.

1. Indledning

I februar 2019 gik SmartLearning online med censorkurset. I en dansk sammenhæng er det ikke ofte, at der udbydes online kurser, som er designet til selvstudie og som har nok kursister til at lave statistiske beregninger på de data der produceres. Sådan en chance kommer nok kun én gang, så den skulle ikke spildes, da den opstod: Nu skulle der læres om data fra undervisningsmaterialer og hvilke spørgsmål man vil kunne stille på baggrund af dem.

Oprindeligt blev censorkurset bestilt af Uddannelses- og Forskningsministeriets Styrelse for Forskning og Uddannelse som gav en række dessiner vedr. indholdet i kurset. Kurset blev bestilt efter et udvalgsarbejde, som kan læses om i “Et fremtidssikret censorsystem” (Undervisnings- og forskningsministeriet n.d.).

SmartLearning blev valgt, fordi SmartLearning allerede dengang havde omfattende erfaring med at producere materiale til og udbyde online uddannelser. Ud over dessinerne fik SmartLearnings direktør Tue Bjerl Nielsen og IT-didaktisk designer Mette Søgaard også lov at trække på en ‘arbejdsgruppe’, dvs. en medarbejder fra styrelsen og tre erfarne censorformænd udvalgt af styrelsens medarbejdere blandt frivillige censorformænd.

2. Forskningsspørgsmål/problem

Dessinerne havde ingen indflydelse på opsætningen af undervisningsrummet, så det kunne undersøges om forskellige kursistgrupper har forskellige forudsætninger og dermed også forskellige undervisningsbehov. Målet var, at det skulle foregå i baggrunden uden at forstyrre kursisterne unødigt. Opsætningen blev altså en måde at organisere kurset på, så det ville lette den planlagte undersøgelse af data.

3. Data fra kurset

Kurset består af et forløb, hvor det ene afsnit bygger videre på det næste i en logisk rækkefølge ift. kursisternes forståelse. I hvert afsnit er der, ud over gennemgang af emnerne, træningsmuligheder i form af quizzer. Formålet er erhvervelse/repetition af viden, kursisternes bevidsthed om emnet og om egen viden, samt i en enkelt øvelse at undersøge kursisternes mulige misforståelser ift. god adfærd (Moderniseringsstyrelsen, KL og Danske Regioner, 2017). Med god adfærd er det sådan, at der er ikke én korrekt måde at opføre sig på, men mange forkerte. Det kan være svært at fange ind i en simpel øvelse, som både er digital og selvrettende.

Den første aktivitet kursisterne møder er, at de skal vælge hvilken af fire censorgrupper de tilhører. De fire grupper er baseret på lovgivningsmæssige forskelle og er, i tilfældig rækkefølge, de erhvervs- og professionsrettede, de kunstneriske, de maritime videregående uddannelser og universiteterne. Derefter er der en test af paratviden, som består af 18 quizspørgsmål udvalgt tilfældigt blandt 20-35 spørgsmål alt efter hvilken gruppe kursisten har valgt. Testen af paratviden kan kun tages én gang. Efter at have gennemgået kursusmaterialet, får kursisterne stillet 18 tilfældigt udvalgte spørgsmål om de samme fire forskellige emner fra kategorierne med samlet 20-35 spørgsmål. Afslutningstesten bliver først åbnet, når alle emner som minimum er set af kursisten og kan prøves flere gange, hvis første forsøg ikke er tilfredsstillende.

Illustration 1: Bagsiden af en udprøvningstest fra censorkurset.

Kursisterne bliver således tvunget gennem materialet ved at aktiviteter og ressourcer vises og skjules for kursisterne alt efter hvilke betingelser de opfylder. Dermed bliver materialet adaptivt.

3.1 Lærer grupperne lige meget?

De 18 spørgsmål kursisterne får stillet dækker fire forskellige emner. To af emnerne er forskellige (men lignende) fordi der er forskellig lovgivning og forskellig definition af niveaubeskrivelserne i kvalifikationsrammens krav for de fire områder. To af emnerne er ens; god opførsel som censor og karakterskalaen er det samme for alle.

Opdelingen i fire emner muliggør, at der kan undersøges i forhold til de fire emner og at identificere emner, der trænger til uddybende materiale:

Tabel 1: Censorkursets fire faglige områder.

I skemaet er valgt at markere med grønt, hvor den korrekte besvarelsesprocent er >95%

3.2 Er der materiale, der kan fjernes eller som med fordel kan styrkes?

Her undersøges spørgsmålet med data fra emnet God adfærd. Emnet bygger på bekendtgørelse af forvaltningsloven (2014), God adfærd i det offentlige (Moderniseringsstyrelsen, KL og Danske Regioner, 2017) og Kodex VII (Finansministeriet, 2015). I skemaet er valgt at markere med grønt, hvor den korrekte besvarelsesprocent er >95% og hvis den korrekte besvarelsesprocent er <50% er markeret med rødt.

Tabel 2: Korrekte besvarelsesprocenter på specifikke spørgsmål.

3.3 Gennemførelsesprocent

De fire gruppers gennemførelse ligger på hhv. 70%, 53%, 72% og 32%. Når gennemførelsesprocenten beregnes for alle 4.122 kursister (dvs. også kursister, der ikke har registreret sig i en af grupperne) nås resultatet 50%.

4. Metode

Registrering af data om kursisternes interaktion med materialet er tænkt som en lejlighed til at undersøge om quizzerne har effekt ift. større viden og om der er misforståelser, der bør uddybes i materialet om God adfærd. Til dette arbejde bruges ukompliceret procentregning som belyser sammenhænge og ikke kausaliteter. Data er hentet fra undervisningsplatformen, hvor kurset ligger, dvs. Moodles quizzer, survey og deltagerlister. Survey er fuldt anonymiseret og lader (her) blot kursisterne vælge hvilken gruppe de tilhører.

Illustration 2. Kategorier og underkategorier i Censorkurset.

For at lette arbejdet med data er spørgsmålene lagt op i kategorier og underkategori.

Kun de to største grupper er beskrevet hér, da der ikke er data nok fra de to mindste af fire grupper til at tallene kan bruges til noget fornuftigt på grund af statistisk usikkerhed.

5. Analyse og diskussion

5.1 Lærer grupperne lige meget?

Set bort fra den betragtelige mængde kursusdeltagere, der udelukkende har meldt sig til men ikke har fuldført (50%) og de, der endnu ikke har fuldført, så ser det ud som om kursisterne i begge grupper får et højt udbytte af kurset målt som tilstrækkelig viden til at besvare quizzen korrekt (mellem 6% og 36% vækst i antal korrekte svar).

5.2 Er der materiale, der kan fjernes eller med fordel styrkes?

De to mindste grupper har for få deltagere til at give statistisk sikkerhed. Derfor er disse tal ikke afrapporteret. Men de viser de samme tendenser som de to store grupper af kursister.

Spørgsmålene 4, 10 og 11 lader til at være kendt stof af kursisterne. Spørgsmålene ville kunne fjernes til en næste iteration, hvis der var behov for pladsen. Omvendt kan spørgsmålene forblive i kurset, da materialet også er en gennemgang eller repetition af god adfærd. En tredje mulighed er at revidere, om spørgsmålene er ledende eller for lette, siden 100% af svarene er korrekte?

Spørgsmålene 3 og 9 kan der med fordel kigges på. Er spørgsmålene formuleret godt nok? Er svarmulighederne tilstrækkelige? Skal materialet gennemgås inden quizzen på en mere hensigtsmæssig måde?

5.3 Gennemførelsesprocent

Katy Jordan fra Cambridge University har i sin fritid i efterhånden i mange år samlet på data om fuldførelsen af MOOCs (Massive, Open, and Online Courses). Hendes tal viser, at det er væsentligt hvordan kursisterne bedømmes; automatisk, af medkursister eller af undervisere. På censorkurset bruges udelukkende automatisk bedømmelse.

Illustration 3: Completion rates (%) and assessment type, Jordan, 2014

Hvorfor er gennemførelsesprocenten på censorkurset så høj, når man sammenligner med Katy Jordans tal?

En mulig forklaring kunne være, at kurset er obligatorisk. I ministeriets oplæg er kurset ikke obligatorisk. Beskikkelse og evt. afbeskikkelse hænger ikke sammen med deltagelsen i kurset og kurset er tænkt som en generisk indføring, der skal suppleres af de enkelte korps. Så vidt vides er der to korps ud af mere end 130, hvor censorformandskabet som minimum har kendskab til kurset, der har gjort kurset obligatorisk for deres censorer. Censorsekretariaterne har mulighed for at fravælge at allokere ikke beståede censorer. Hvordan de øvrige korps tilbyder kurset til deres censorer eller om de gør det, er ikke undersøgt i dette arbejde.

6. Konklusion og perspektiver

Hvad kan indsigterne bruges til nu?

De individuelle kursisters resultater kan slås op af underviser/administration, som kan se hvordan det går kursisterne i forhold til læringsmålene. I censorkurset udløses et gennemførelsesbevis, hvis kursisten besvarer 16 eller flere af 18 spørgsmål korrekt til slut i kurset.

Indsigterne kan også bruges til at identificere ‘videnshuller’ hos kursistgrupper (fx den lave procentsats for korrekte svar i alle grupper for viden om kvalifikationsrammen ved test af paratviden), men også til identifikation af emner, der med fordel kan arbejdes videre med (fx illustreret med væksttallet for korrekte svar for viden om kvalifikationsrammen ved afslutningstesten, som nok er højt, men ikke lige så højt som væksttallet for viden om områdespecifik lovgivning.)

Hvad vil indsigterne bruges til med mere arbejde?

Dataindsigt kan bruges til A/B-test af materialet, så spild af kursisternes tid minimeres. Sådan en analyse af ‘instructional design’ arbejder jeg på et setup med på et andet kursus.

Grupper af kursister, fx defineret af et tidligere eksamensresultat, socioøkonomiske faktorer eller andet i kombination, kan af forskellige grunde få ringere udbytte af kurser end andre kursister. Hvis man kan identificere disse grupper vha. data fremskaffet fra fx survey eller andre datakilder, må man også kunne undersøge hvilke ‘videnshuller’ grupperne har og dermed hvor kursistforudsætningerne mangler, så der kan arbejdes målrettet på underbetjente gruppers tilbud.

De indsigter vil kunne munde ud i tillægsmateriale eller -muligheder planlagt som mastery learning (Bloom, 1984), didaktisk designede “learning paths” og multimodalitet, altså foretrukne måder at lære på, bestemt af kursistens forudsætninger, interesser og motivation i kombination. Altså adaptivt undervisningsmateriale. Alt i alt har det været lærerigt at udvikle censorkurset fra design til drift.

7. Litteratur

Bekendtgørelse af forvaltningsloven, LBK nr. 433 af 22/04/2014.
URL: https://www.retsinformation.dk/eli/lta/2014/433

Bloom, B. S. (1984). The 2 sigma problem: The search for methods of group instruction as effective as one-to-one tutoring. Educational researcher, 13(6), 4-16.
URL: https://web.mit.edu/5.95/www/readings/bloom-two-sigma.pdf

Finansministeriet, 2015. Syv centrale pligter for embedsmænd i centraladministrationen — Kodex VII.
URL https://modst.dk/media/16963/kodex_vii.pdf

Jordan, K. (2014). MOOC completion rates: the data. 2013.
URL http://www.katyjordan.com/MOOCproject.html.

Undervisnings- og forskningsministeriet. n.d. Censorudvalget: ”Et fremtidssikret censorsystem”.
URL: https://ufm.dk/uddannelse/rad-naevn-og-udvalg/tidligere-rad-naevn-og udvalg/censorudvalget/dokumenter-og-analyser/microsoft-word-sidste nye-censorrapport-version-180117-docx.pdf

Moderniseringsstyrelsen, KL og Danske Regioner, 2017. God adfærd i det offentlige.
URL: https://www.modst.dk/media/17831/god-adfaerd-i-det-offentlige_web.pdf

Mette Søgaard
Cand.Pæd. i IT-didaktisk design og stud. datadrevet organisationsudvikling
SmartLearning.dk

]]>
https://brejner.online/hvad-et-kursus-med-4-000-kursister-har-laert-os-om-dataarbejde/feed/ 2
‘Magic’​ Adaptive Learning Technology https://brejner.online/7628-2/ https://brejner.online/7628-2/#respond Fri, 17 Jan 2020 12:08:30 +0000 http://brejner.dk/?p=7628 Adaptive Learning Technology: From ‘magic’​ to a usable solution

Dear reader and fellow educator,

You and I both have heard the tech-evangelists preach all sorts of blessings from the Digital Realm.

It seems there is no end to the fabulous results if just computers are used for teaching.

The tech-evangelists, who develop their visions in PowerPoint, make it all seem so easy. That is not my experience and I have come to suffer from PowerPoint-fatigue! Designing and producing teaching materials occasionally feels more like very hard work.

After having seen and heard numerous magical presentations by commercial companies, I have grown a wish to find out if the magic is accessible to us “mere mortals” (aka non-techies with a tight budget) without paying something equivalent to the GDP of a mid-sized country. Annually.

My quest is to go behind the PowerPoint visions with pretty pictures and optimistic estimates of effects. What can I actually DO myself? Can I make it work?

The focus needs to stay at the student’s and educator’s needs and compare those to the educational affordances of the technology. Not the other way around IMHO.

One of the interesting technologies in digital teaching and learning is Adaptive Learning Technology and I hope it one day will help educators solve Bloom’s Two Sigma-problem. That would be a dream come true! Imagine every single pupil and student having access to mastery learning in combination with personalized 1:1 teaching – whether by human or computer or better yet: by both in combination.

 

But for personalized teaching and learning at a low cost to be feasible software has to be money-wise reachable, easy to use for the designer and has to make pedagogical sense.

Moneywise reachability

Open Source Software can be free and there are several options available (in no particular order):

  • Alosi at alosilabs.org?
  • Concerto at concertoplatform.com?
  • Scale at viseyes.org?
  • Adapt?
  • Functionalities in LMS’s?
  • Other?

Please, please let me know if you hear of any other open-source, free software for adaptive teaching that I can try out.

Easy to use for the designer

Some of the mentioned software is rather hard to use and the average educator is not likely to give it a try, I guess. Then it struck me: I am an ICT-based Educational Designer and not a computer scientist or data-anything. I am a self-proclaimed superuser, thou! If I (who majored in Arts) can describe how I make any software work (in case I succeed installing it, that is) you can make it work too!

The first step for me is to learn basic Linux. Done!

The second step is to test and review the software and document the process. That is my work in progress.

Pedagogical sense-making

It is not enough for the technical solution to be available and affordable. Using technology needs to make pedagogical sense in the teaching and learning context. Technologies are by definition tools; suitable for different tasks. Teaching chess is not the same as teaching ballet or German grammar. The three scenarios call for different teaching tools.

EdPlus at Arizona State University has developed an adaptive biology degree (http://bit.ly/30lJL4Z) and the University have good results using Adaptive Learning Technology in combination with blended learning. Their approach using the bottom of Bloom’s taxonomy for Adaptive Teaching makes perfect sense to me when Bloom’s Taxonomy is appropriate. (illustration is © Arizona State University – thanks for letting me use it!)

Do you know of other educational institutions using a sensible pedagogical model for adaptive teaching?

The questions I am interested in when looking into the software are

  1. What are the pedagogical affordances of the platforms?
  2. What kind of learning designs can Adaptive Learning Technology be suitable for?
  3. What pedagogical taxonomies can be used?
  4. For what subjects?
  5. What is the algorithm behind any given platform, why is it chosen, and does it have pedagogical implications? Bayesian Knowledge Tracing? Item Response Theory? Rasch? Other?

Am I missing out on a question or two? What do you think I need to investigate?

What are your experiences? Please help my quest by commenting, liking and sharing

]]>
https://brejner.online/7628-2/feed/ 0
Lies, damned lies and unregistered variables https://brejner.online/quick-guide-qualitative-statistics/ https://brejner.online/quick-guide-qualitative-statistics/#respond Mon, 06 Feb 2017 21:25:52 +0000 http://www.mette-soegaard.dk/?p=5363 There are three kinds of lies: lies, damned lies and statistics” according to folklore wisdom. My best example is the one with the babies and the stork!

If you wish to, you can make quantitative statistical calculations to find the p-value for correlation between the arrival of both babies and storks. It might be small, but I’m sure it is there.

Now qualitative statistics look at the baby/stork-challenge slightly different and make the variables interchangeable asking: is the stork bringing the babies or are the babies bringing the stork? I am sure we can calculate both p-values.

Both quantitative and qualitative statistics use effect size calculations, and this is where it is revealed: there could be an unregistered variable or more, better predictors for both the arrival of storks and babies because the effect size is not impressive. If you correlate storks arriving in Denmark and season and if you correlate babies arrival with pregnancy the effect size will tell you, you are on to something!

When it gets more complicated than storks, babies, seasons and pregnancies, statistics can show relationships between variables, it can show differences between groups of data, it can be descriptive and sometimes even make predictions. Qualitative statistics are well suited for studying diversity in a population and quantitative statistics are well suited for studying distribution.

Parameters define the observed population ie “storks” and “babies”. In another survey with a larger population including the first population, the same parameter is a variable, ie “migratory birds”, “newborn mammals”.

Variables are the what we observe and in qualitative statistics, we use two different kinds of variables: independent and dependent variables. In qualitative statistics, you can choose freely between the different variables as dependent or independent in relation to each other (babies bringing storks or storks bringing babies).

Levels of measurement are describing how we measure:

The qualitative level of measurements (that can’t be measured, but observed or counted) are based on categories of data: binary categories (ie “pregnant or not”), nominal categories (unordered; ie mammals, birds, reptiles) and ordinal variables being like nominal categories that can be ordered logically (ie babies -> toddlers -> children).

Descriptive statistics

Qualitative data can be quantified and described in basic features such as a ranked (in %) and central tendency “mode”, the most frequently observed variable, instead of “mean”, the calculated average or “median”, the middle value.
Descriptive statistics are very well suited for graphical presentations.

Testing a hypothesis (Asking, if you are right in assuming the population looks like “this”?)

You assume the world can be described in a certain way, you have a model of the world, so to speak. Now you want your data to be compared to the model to see if it fits or at least how well it fits:

Null Hypothesis is the hypothesis “there is no difference”.
Significance Testing is using p-value (“p” is for probability) to determine if the variables’ distribution is statistically significant.
Qualitatively defined samples (groups) have no normal distribution, therefore I would like to test for independency between groups and rank samples.
I use chi square test to test for independence between variables (my Null Hypothesis being “there is no common distribution (no common dependency) between the different groups in my dataset”).
If the likelihood (probability) is greater than 5% (p > 0.05) the assumptions for the Null Hypothesis is said to be violated and we can reject it. The test indicates that the found differences (rejected null hypothesis) did not occur by chance, but does not indicate the size of the effect.
Or explained simply: there is a statistical significance between two or more groups and what they have reported regarding their use of digital tools though we do not know why.

Effect size is a calculation on how strong a significance is. Until the effect size is 100% (ie: all twins have or have had at least one biological sibling) there is always a reason to ask more questions! Any statistical statement with an effect size of less than 100% is “provisional best explanation”

One sample T-test

Test-retest reliability lies in the description of the procedure.

Triangulation is a very pragmatic mixed method approach to validate findings with the use of several qualitative methods for the same subject.

Data mining for learning analytics:

Data mining is having one or more sets of data, asking the data what answers it can come up with.

In data mining, statistical variables are called features.
The true art is to find relevant features to examine to find new interesting answers.
In the world of Big Data, you can get data from all sorts of sources. You choose! But is the data relevant? Is the data of quality? Is the data available?
Can twitter scrapings be used as a source for learning analytics? Which features are signs of learning?

All this will be continued.

]]>
https://brejner.online/quick-guide-qualitative-statistics/feed/ 0
Hvad skal man skjule sit privatliv for? https://brejner.online/hvad-skal-man-skjule-sit-privatliv-for-hvis-man-har-rent-mel-i-posen/ https://brejner.online/hvad-skal-man-skjule-sit-privatliv-for-hvis-man-har-rent-mel-i-posen/#respond Tue, 18 Nov 2014 20:24:06 +0000 http://blog.mette-soegaard.dk/?p=1340 Hvad skal man skjule sit privatliv for, hvis man har rent mel i posen?

For mig er spørgsmålet enten dybt, dybt ironisk eller ligeså naivt.

Kæresten og jeg var inde at se “Citizenfour”, Snowden dokumentaren, og grinede lidt af en mand med tin-foil-hat på (og mon ikke det var derfor han havde den på i biografen) da vi ankom. Vi grinede ikke, da vi gik derfra igen…
Nogle af de pointer jeg tog med mig fra filmen var, at vi almindelige forbrugere SKAL forstå det grundlæggende om algoritmerne, som både bruges af google, facebook og alle andre med adgang til metadata og bigdata.
Fordi det er ikke kun en måde at skræddersy vore søgeresultater og hvilke reklamer vi får vist. Det er på sin vis ok, at jeg ikke har køb-billig-benzin-reklamer på min brugergrænseflade, når jeg nu ikke er bil-ejer..
MEN medaljen har den bagside, at hvis FB (og sikkert også andre) sorterer hvilke venners opdateringer jeg primært ser i min stream ud fra hvor mange fælles likes vi har, vores politiske overbevisninger eller andet.

Det er et fundamentalt demokratisk problem, hvis vi ikke er klar over eksistensen af og i kontakt med mennersker, der tænker anderledes end vi, folk, som har andre levevilkår osv.
Man taler om “filterbubbles” som et fænomen.

Linkability handler om at sammenkæde “ejerskaber”. Dvs et bestemt kreditkort tilhører den samme person som en bestemt mailadresse, en facebook-konto, et ansigt og en stemme (ALT kan genkendes digitalt med stor (endnu ikke 100%) træfsikkerhed og vi har kameraer overalt i det offentlige rum), et chatnavn, en gps i telefonen, en app…
Man får altså mulighed for at backtracke folks bevægelser og omgangskreds og kommunikation, hvis man har gemt den slags data. Og denne linkability bliver VILDT uhyggeligt, når disse potente værktøjer er i hænderne på organisationer, der bruger informationerne uden om retssystemet, som Snowden-filmen påstår/dokumenterer det gøres.

For mig er der en grundlæggende to måder at bryde loven på: kriminelt, som skal stoppes og med civil courage, hvor det ikke er for egen vindings skyld man bryder loven. Som udgangspunkt skal loven naturligvis holdes! Men der findes tidspunkter i historien, hvor “systemet” er blevet inhumant og ikkevoldelig modstand er på sin plads. Det placerer Snowdon som frihedskæmper.

“So ein Ding”, Danmarks Radio, lavede en udsendelse om privatliv i 2014. Brug de 28 minutter på at se udsendelsen, den der det værd.

]]>
https://brejner.online/hvad-skal-man-skjule-sit-privatliv-for-hvis-man-har-rent-mel-i-posen/feed/ 0