Beskyttelse af menneskerettigheder og menneskers værdighed er hjørnestene i anbefalingen, som er baseret på at fremme grundlæggende principper såsom gennemsigtighed og retfærdighed.

Læs mere om UNESCOS retningslinjer for kunstig intelligens i uddannelsesverdenen:

• Kunstig intelligens kompetencerammerne for studerende og for undervisere (2024)
• Retningslinjer til generativ AI i uddannelse og forskning (2023)
• Uddannelse i AIs tidsalder (2023)
• Kunstig intelligens og uddannelse: vejledning til politiske beslutningstagere (2021)
• Beijing konsensus om kunstig intelligens og uddannelse (2019)

‘Magic Tools’ for uddannelsesfolk

Prompt engineering er det, der gør forskellen på brugbar og ikke brugbar kunstig intelligens. Som de siger i computer science: “Garbage in, garbage out”. For 1½ år siden var jeg forsigtigt begejstret for et værktøj jeg var faldet over. Denne gang er jeg faldet over en platform, som jeg synes også viser stort potentiale for undervisere og os, der understøtter undervisernes arbejde.

MagicSchool stiller 60+ værktøjer (prompts) til rådighed for brugerne. Værktøjerne er delt op i typer, som jeg har brugt i overskriften af denne post.

Læs deres egen beskrivelse af deres Magic Tools, eller klik på de små billeder, så du kan se de værktøjer, der er til rådighed 29. juni 2024.

Tre eksempler

I første omgang har jeg kastet mig over spørgsmålsgenerering med Depth of Knowledge. Jeg tog udgangspunkt i “Sociocracy” og fik først ChatGPT 3,5 til at forklare hvad det er. Derefter brugte jeg ordet “sociocracy” som eneste input til Magic School. Her er hvad de to tilsammen kom frem til:

5. klassesniveau

ChatGPT forklarer sociocracy til 5. klasseselever:

Imagine you have a big group of friends who all want to decide what game to play together. In sociocracy, everyone gets a chance to say what game they like, and then they talk about it together to find one that makes everyone happy. It’s like making decisions where everyone’s voice is important, and they work together to find the best choice for everyone. So, it’s about listening to each other and finding solutions that everyone can agree on.

Magic Schools spørgsmål på 5. klassesniveau:

DOK Level 1 – (Recall – measure, recall, calculate, define, list, identify.)

• • What is Sociocracy?
  • List two key principles of Sociocracy.

DOK Level 2 – Skill/Concept – graph, classify, compare, estimate, summarize.

• • Compare and contrast Sociocracy with Democracy.
  • Summarize the role of consent in decision-making within a Sociocratic system.

DOK Level 3 – (Strategic Thinking – assess, investigate, formulate, draw conclusions, construct.)

• • Investigate the impact of Sociocracy on group dynamics within an organization.
  • Formulate a plan for implementing Sociocracy in a school setting and assess potential challenges.

DOK Level 4 – (Extended Thinking – analyze, critique, create, design, apply concepts.)

• • Analyze the effectiveness of Sociocracy in promoting inclusivity and equity in decision-making processes.
  • Design a proposal for integrating Sociocratic principles into local government structures and justify your choices.

9. klassesniveau

ChatGPT forklarer sociocracy til 9. klasseselever:

Sociocracy is a way of organizing groups where everyone has a say in decisions that affect them. It’s not just about voting for one option; instead, it focuses on consent, which means everyone agrees that a decision is good enough for now, even if it’s not perfect.

In sociocracy, decisions are made through rounds of discussion where everyone gets a chance to speak up. It’s like a team where every player’s opinion matters, and they work together to reach agreements that everyone can support. This approach aims to create more inclusive and efficient decision-making processes by valuing everyone’s input and aiming for solutions that satisfy the whole group.

Magic Schools spørgsmål på 9. klassesniveau:

DOK Level 1 – (Recall – measure, recall, calculate, define, list, identify.)

• • What is the definition of sociocracy?
  • List two key principles of sociocracy.
  • Identify one benefit of using sociocracy in decision-making processes.

DOK Level 2 – Skill/Concept – graph, classify, compare, estimate, summarize.

• • Compare and contrast sociocracy with democracy in terms of decision-making processes.
  • Graphically represent a sociocratic decision-making structure.
  • Estimate the number of members typically involved in a sociocratic circle.

DOK Level 3 – (Strategic Thinking – assess, investigate, formulate, draw conclusions, construct.)

• • Investigate how sociocracy can promote inclusivity within a group.
  • Assess the potential challenges of implementing sociocracy in a large organization.
  • Formulate a plan for introducing sociocracy in a school club to improve communication and decision-making.

DOK Level 4 – (Extended Thinking – analyze, critique, create, design, apply concepts.)

• • Analyze a case study where sociocracy was successfully implemented and its impact on organizational culture.
  • Critique the effectiveness of sociocracy in addressing power dynamics within teams.
  • Design a proposal for integrating sociocracy into a local community organization to enhance collaboration and accountability.

Universitetsniveau

ChatGPT forklarer sociocracy til universitetsstuderende:

Sociocracy is a governance and decision-making system designed to foster inclusive and effective collaboration within organizations. It emphasizes consent-based decision-making, where proposals are adopted if no one has reasoned objections rather than through traditional voting.

In sociocracy, authority is distributed across circles or teams, each with defined roles and responsibilities. These circles operate semi-autonomously but are interconnected through feedback loops and representatives, ensuring that decisions made at all levels consider the input and concerns of all stakeholders.

The goal of sociocracy is to achieve more agile, responsive, and equitable organizational structures by prioritizing transparency, effective communication, and continuous improvement. It’s often seen as a way to balance individual autonomy with collective goals, promoting a culture of cooperation and shared responsibility within workplaces and other collaborative settings.

Magic Schools spørgsmål på universitetsniveau:

DOK Level 1 – (Recall – measure, recall, calculate, define, list, identify.)

• • What is Sociocracy?
  • List two key principles of Sociocracy.
  • Identify one benefit of using Sociocracy in a group setting.

DOK Level 2 – Skill/Concept – graph, classify, compare, estimate, summarize.

• • Compare and contrast Sociocracy with Democracy.
  • Summarize how decision-making works in a Sociocratic system.
  • Classify two roles commonly found in a Sociocratic organization.

DOK Level 3 – (Strategic Thinking – assess, investigate, formulate, draw conclusions, construct.)

• • Investigate the origins of Sociocracy and how it has evolved over time.
  • Assess the impact of implementing Sociocracy in a workplace or school environment.
  • Formulate a plan for introducing Sociocracy to a new group and explain the steps involved.

DOK Level 4 – (Extended Thinking – analyze, critique, create, design, apply concepts.)

• • Analyze a case study where Sociocracy was successfully implemented and evaluate the key factors contributing to its success.
  • Critique the potential limitations of Sociocracy in certain types of organizations.
  • Design a model for integrating Sociocratic practices into a community project and explain how it would enhance collaboration and decision-making.

Spørgsmålene om sociocracy på universitetniveau skelner altså ikke mellem om den studerende læser naturvidenskab, samfundsvidenskab eller humaniora. Men ellers synes jeg bestemt, at Magic School tilbyder noget, der kan arbejdet videre med!

Best practice

Magic Schools beskrivelse af best practice for educators:

• Check for Bias and Accuracy: Al might occasionally produce biased or incorrect content. Always double-check before sharing with students.
• The 80-20 Approach: Use Al for initial work, but make sure to add your final touch, review for bias and accuracy, and contextualize appropriately for the last 20%.
• Your Judgment Matters: See Al-generated content as a starting point, not a final solution. Always adhere to your school’s guidelines.
• Know the Limits: Our Al is not connected with retrieval from the internet yet and training ends at a certain date, so be aware when dealing with recent topics.
• Protect Privacy: Don’t include personal student details like names or addresses. We strive to promptly remove any accidentally submitted information.

Hvad er din “best practice” for brug af kunstig intelligens til undervisningsmaterialer?

Det skal give mening at bruge et værktøj, også kunstig intelligens. Men hvad der ikke gav mening i forgårs kan godt komme til at give mening i morgen. Mange af os der var børn før årtusindskiftet, husker trafikkortene fra ADAC og fra FDM. I dag bruger de fleste af os fx Google Maps (eller tilsvarende) og kan godt finde ud af, at selvom Google siger, at ruten er dén vej, så følger vi ikke instruktionerne blindt og vandrer ud foran bilerne i trafikken. Vi lader naturligvis ikke vores værktøjer tage beslutninger for os.

Sådan er det også med kunstig intelligens i undervisningssammenhænge. Det er stadig vores faglige bedømmelse af værktøjet der afgør, om eller hvordan det kan bruges. Lige nu går det hurtigt med udviklingen af prompts for undervisningsverdenen. Eksemplet fra Magic School synes jeg er mere end lovende!

Hvad bruger du? Hvad har du prøvet? Hvorfor droppede du et bestemt værktøj og hvorfor bliver du ved med et andet?

På Kaggle har der siden 2012 været en konkurrence om hvilken Machine Learning Model, der bedst kan forudsige overlevelseschancerne for de 2.224 mennesker ombord Titanic ud fra køn, alder, klasse og race/nationalitet. Ud fra tallene er det tydeligt, at kvinder og børn overlevede i højere grad end mænd og dem, der betalte mere overlevede i højere grad end dem, der betalte mindre. Med så tydelig en fordeling er det vel vist med al ønskelig tydelighed, at skibe kun bør befolkes af kvinder og børn, fordi det statistisk set er for farligt for mænd at sejle?

Dén slags galimatias-slutninger kan undgås vha transparens, kontekstforståelse, sund fornuft og ved kvalitativt at undersøge hvad data og beregningerne har udsigekraft om.

“Never send a machine to do a human’s job”, fordi algoritmer er serier af beslutninger taget på baggrund af statistik.

Oversæt vejskiltet, så det kan læses af mig, 2018

Mit nederlandske er lidt rustent, så jeg bad Google Translate som app om at oversætte skiltet til noget jeg forstod. Det gjorde den så synkront:

Følgende forslag kom Google Translate-appen med, da jeg bad om oversættelse til dansk: Cyklister på kørebanen Cyklister lop kørselsforbud Cyklister på vejbanen Det er da i det store hele ok og forståeligt, omend der stadig er et stykke vej inden oversættelserne sidder lige i skabet.

I 2022 testede jeg menukort med andre alfabeter og “blandingssprog”

Ligesom med vejskiltet det hele begyndte med, kan du nu også se, at det er Augmented Reality. Altså den analoge virkelighed beriget med et lag af informationer.

Velkommen til sommer 2023

Jeg tog et foto af teksten i en brochure af papir og satte Google Lens til at analysere indholdet af fotoet. Jeg satte den til at at koncentrere sig som tekst, markerede hvilken tekst jeg ville have copypasted og kopierede teksten direkte fra min smartphone til min laptop (det skal selvfølgelig også sættes op, men det går let via din googlebruger og chrome). En hel A4-side fuld af tekst pr foto i Google Lens.
Jeg skal fortsat rette til, men nu er det (næsten) kun æ, ø og å og bindestreger, der driller. OCR er hermed rykket fra “sjov og ballade” til “værktøj, der sparer mig tid”, så jeg er glad!.

Næste mål er, at den kan identificere musiknoder for mig og spille temaet fra melodien i de noder jeg peger imod… “There Ain’t No Rest For The Wicked”

Som Nolej er i øjeblikket, er der naturligvis begrænsninger, som virksomheden selv oplyser om:

• Sproget er engelsk
• Den kan ikke lave tutorials med arbejdsprocesser (“trin for trin”-vejledninger)
• Kemiske og matematiske formler virker heller ikke

Nolej er bedst til eksplicit, deklarativ viden som man kender det fra medicin, jura og lignende videnstunge fag.

I en demo-video som jeg har set, er det beskrevet hvordan kunstig intelligens transskriberer og derefter analyserer store mængder (gerne akademisk) materiale, flitrerer nøglebegreberne ud, laver grafer over begrebernes sammenhæng og dermed hvilken viden, der er forudsætning for hvad, det vil sige kortlægger videnskløften og til sidst opretter en protokol, dvs. en læringssti for hvordan eleven kommer dertil. Læringssti skal i denne sammenhæng forstås som en hensigtsmæssig læringsrækkefølge.

Hvad kan Nolej og hvor skal mennesker tage over?

I tilfælde af video begynder Nolej processen med at transkribere. Derefter er processen det samme for de tre slags kildemateriale hvor den analyserer begreber i teksten, producerede spørgsmål til quiz og sluttelig laver en sammenfatning af materialet. Jeg prøvede alle tre.

Undervejs kan producenten rette til. Første gang rette i transkriptionen, anden gang i nøglebegreberne.

Efter at Nolej har udført sit arbejde, er det op til

• en fagekspert at vurdere validiteten af videnemnerne og op til
• en designer at udvælge de væsentligste begreber i forhold til læringsmål at undgå kognitiv overbelastning og/eller kedsomhed.

Designeren skal selvfølgelig også forholde sig til hvordan man lærer/øver sig på at anvende, analysere, evaluere og skabe, hvis det også er relevant for det overordnede læringsmål.

Hvad fik jeg ud af det?

Den ene gang gav jeg Nolej en video at arbejde med. “En kop kaffes tid” senere blev den færdig med nedenstående resultat. Jeg har med vilje ikke rettet undervejs eller redigeret det endelige produkt. Det giver derfor ikke et retvisende billede af, hvordan materialet ville blive præsenteret for den studerende, men et billede af, hvor meget Nolej kan uden supervision.

Alt i alt er jeg imponeret over Nolej, fordi det ikke “bare” genererer quizzer; den producerer materialer til H5P klar til at rette til og derefter “Plug’n’Play” i ethvert LMS, og fordi det kommer til at spare mig for enorme mængder tid.

Se et af resultaterne her, eller log ind som gæst og se alle de annoterede ressourcer og opgaver Nolej har produceret til mig her.

Forleden bad jeg nogle børn om at lave billedmanipulation. De kunne fx tage et foto af en kattekilling og placere den i en skål spaghetti med kødsovs. Eller sætte sig selv på toppen af en pyramide.

Sådan gjorde jeg selv:

1. Jeg tog et billede af en reklame på et busskur, som jeg ville bruge som baggrundsbillede
2. Derefter tog jeg et billede af mig selv, hvor jeg gjorde alt andet end mig selv på billedet gennemsigtigt
3. Til slut lagde jeg billederne ovenpå hinanden

Konkret brugte jeg “Background Eraser” og “PhotoLayers“, to gratis apps på min SmartPhone, og her er resultatet af 10 minutters indsats.

Med det originale billede fjernede jeg Mona Lisa og lod Dall-e2 udfylde med “Mona Lisa as icon”.

Nogle af modellerne her får mig til at tænke, at moderen burde have drukket en del mindre under graviditeten og eller at de skulle skrue ned for indavlen i dét samfund..

Spøg til side, her er de tre resultater:

De tre modeller lod jeg Dall-e2 lave parafraser over med disse yndigheder som resultat i random order:

Kender du til prompt engineering? Det bør du sætte dig ind i. Prompt engineering er teknikken til at få det resultat ud af den kunstige intelligens, der bedst kan bruges. Det er m.a.o. instruktioner til maskinen om 1) opgaven den skal udføre 2) konteksten for opgaven og dermed hvilke afhængigheder maskinen skal regne med 3) dine input og 4) hvordan maskinen skal præsentere output.

Mange af de services vi har adgang til idag, er “forprogrammerede”. Rytr.me ser ud til både at være forprogrammeret vedr opgaven, konteksten og delvist krav til output:

Med få input fra dig selv om dit emne kan du få både god, sjov og dårlig inspiration fra maskinlæring, hvis du er ramt af angsten for det hvide papir og gerne vil sættes igang.

Input om mit emne: Hydroponi i private hjem
Output sprog: dansk
Output tone: convincing
Variationer: 2
Her er resultaterne fra de forskellige outputs jeg fik fra Rytr.me:

https://rytr.me/ er et værktøj, der bruger maskinlæring til at producere tekst. Det kan lette arbejdet helt enormt, hvis man skal skabe indhold til fx indlægssedler til medicin, boligannoncer, SoMe-indhold og meget andet. Bare vælg mellem forskellige sprog, sprogtoner, definer formålet med teksten, emne, nøgleord, antal variationer og hvor “kreativt” værktøjet må gå til værks. Værktøjet har indbygget plagiatkontrol, så det er der også taget hånd om. Med andre ord: opgavegeneratoren er opfundet og automatiseret og skriftlig fremstilling bliver aldrig det samme igen.
Jeg kan stærkt anbefale at læse vejledningen på https://rytr.me/resources, der både gennemgår de tekniske muligheder og anbefalede worksflows.
For andre skriveassistenter se fx https://www.g2.com/categories/ai-writing-assistant

Hvordan kan vi i uddannelsesverdenen formulere opgaver, der lader de studerende demonstrere læringsudbytte og samtidig medtænker, at de sandsynligvis bruger skriveassistenter?
Jeg istemmer andres forslag om at identificere problemer, der ikke har fundet deres løsninger endnu og bede om kvalificerede problemløsningsforslag. Det giver plads til, i samarbejde med de berørte, at definere problemet og undersøge, om det er det rigtige problem, der søges løst, plads til kritisk at analysere de fejlede løsningsforslag, kreativt at kommunikere nye meningsfulde løsningsforslag, afprøve dem og få løsninger valideret af de mennesker, som problemerne er problemer for.
Er det ‘nok’ til at dokumentere de studerendes læringsudbytte?

Men tilbage til begyndelsen: Jeg har ikke forslag til hvordan kollegerne i folkeskolen kan lære eleverne at skrive stil ud over med et på mange måder uhensigtsmæssigt forbud.
Men eleverne skal i hvert fald lære kritisk tænkning, kreativitet/problemløsning, samarbejde og kommunikation.
Har du forslag eller andet input?

Learning Management Systemer, som hører til indenfor mit fagområde, har kæmpet i mange år med deres pædagogiske rygte, fordi mange LMS’er er ‘født’ som administrative systemer i et eller andet omfang.

Der findes noget indenfor rekruttering, som hedder Applicant Tracking Systems, altså HR systemer. Logikken bag teknikken minder om den der bruges til Search Engine Optimization, hvor maskinen leder efter nogle bestemte ord brugt på forskellige niveauer af teksten, dvs at nøgleord går igen fra overskrift i brødtekst og dermed øger ansøgningens “dette-lyder-som-en-god-kandidat”-score. Hos ATS hentes nøgleordene i jobopslaget, så vidt jeg kan skønne.

Hvad så hvis jeg, Mette, skulle søge min egen stilling? Jeg har prøvet at køre min LinkedIn-profil gennem deres ATS-analyse og her er resultatet:

Jeg er IT-didaktiker af uddannelse, af jobtitel og arbejdsfunktion, og på engelsk hedder det Instructional Designer eller E-learning Specialist. Mit job består i at designe og producere online undervisningsmidler.

Her er hvad jobtitlerne Instructional Designer, Senior Instructional Designer, Lead Instructional Designer, Instructional Design Specialist, Instructional System Designer udløser af forslag til nøgleord:

• E-Learning
• Learning Management
• Instructional Design
• Learning Management Systems
• Curriculum Development
• Learning
• Program manager

Disse stillinger med tilhørende nøgleord har ikke udløst et match på nøglebegreber med min profil.
Da jeg søgte på titlen Instructional Specialist var der bonus med ét nøgleord: Differentiated Instruction. Ved E-learning Consultant var decideret tåkrummende at se ATSen havde fundet “consulting” men ikke fx e-learning på min profil..

Det jeg laver er online undervisningsmaterialer, dvs e-læring. Så jeg prøvede at bruge e-learning som nøgleord. Resultatet for e-learning developer, learning- and development specialist, e-learning consultant, learning- and development manager, director of learning and development, human resource analysist og e-learning specialist var følgende nøgleord:

• Adobe Photoshop
• Articulate Storyline
• Instructional Design
• Training and development
• Human Resource
• Recruiting
• Learning Management Systems
• Customer Relationship Management
• Employee training
• Leadership development
• Organizational development
• Operating systems
• Analytical skills

Gad nok vide, om ATS laver ‘clusters’ af lignende ord, fx elearning og e-learning og online undervisning. Er det tre forskellige eller et emne?

Kender jeg HR-folk, der kan gøre mig klogere på det fordelagtige i ATS?

Men så tog jeg et foto  af blomsterne og lod Google Lens hjælpe:

Først lavede Lens et overblik over fotoet, som man kan se på markeringen, og udvalgte ét fremtrædende element (der, hvor prikken er) Jeg ignorerede prikken og flyttede markeringen (de hvide bøjede streger i hjørnerne af fotoet) til de lilla blomster og trykkede på “Søg” igen. Google foreslog “Lærkesporer”

Jeg tør stadig ikke lægge hovedet på blokken for om det er lærkesporer, men nu har jeg et mere kvalificeret gæt end før, som jeg kan arbejde videre med hvis det bliver vigtigt at finde ud af hvad det er for blomster. Blomsterne er derfor nu døbt: “Vi tror det er lærkesporer“

Men hvad er billedgenkendelse?

Forget it! Det vil jeg slet ikke prøve at svare på (det ved jeg i øvrigt heller ikke), men jeg kan godt fortælle hvordan det virker!

Først tager du en masse billeder af “noget” og lærer maskinen “Dette er en hotdog“, “Dette er ikke en hotdog“, “Dette er ikke en hotdog“, “Dette er en hotdog“, “Dette er ikke en …..” osv (alt efter hvad der er på billedet, selvfølgelig) og når maskinen er blevet fodret nok med billeder af hotdogs og endnu flere billeder af ikke-hotdogs, lærer den sig selv hvad den synes, der er forskellen på hotdogs og ikke-hotdogs, så den fremover kan gætte selv ud fra det datasæt (dvs de billeder) den har haft lejlighed til at lære om (som den er blevet fodret med).
Prøv selv med ArtBot, som simulerer netop maskinlæring til billedgenkendelse.

Tre eksempler

Et eksempel på brug af billedgenkendelse er kameraet i brugsen, som kan kende forskel på  smilende og ikke-smilende ansigter:

Maskinen her sorterer de grønne tomater fra de røde, fordi den kan kende forskel på farverne.

I TV-serien Silicon Valley nævnes en “Not hotdog app” som jeg nævnede tidligere. Klippet viser nøjagtigt, hvor “dum” (eller præcis, om man vil) maskinen er.

For mig er spørgsmålet enten dybt, dybt ironisk eller ligeså naivt.

Kæresten og jeg var inde at se “Citizenfour”, Snowden dokumentaren, og grinede lidt af en mand med tin-foil-hat på (og mon ikke det var derfor han havde den på i biografen) da vi ankom. Vi grinede ikke, da vi gik derfra igen…
Nogle af de pointer jeg tog med mig fra filmen var, at vi almindelige forbrugere SKAL forstå det grundlæggende om algoritmerne, som både bruges af google, facebook og alle andre med adgang til metadata og bigdata.
Fordi det er ikke kun en måde at skræddersy vore søgeresultater og hvilke reklamer vi får vist. Det er på sin vis ok, at jeg ikke har køb-billig-benzin-reklamer på min brugergrænseflade, når jeg nu ikke er bil-ejer..
MEN medaljen har den bagside, at hvis FB (og sikkert også andre) sorterer hvilke venners opdateringer jeg primært ser i min stream ud fra hvor mange fælles likes vi har, vores politiske overbevisninger eller andet.

Det er et fundamentalt demokratisk problem, hvis vi ikke er klar over eksistensen af og i kontakt med mennersker, der tænker anderledes end vi, folk, som har andre levevilkår osv.
Man taler om “filterbubbles” som et fænomen.

Linkability handler om at sammenkæde “ejerskaber”. Dvs et bestemt kreditkort tilhører den samme person som en bestemt mailadresse, en facebook-konto, et ansigt og en stemme (ALT kan genkendes digitalt med stor (endnu ikke 100%) træfsikkerhed og vi har kameraer overalt i det offentlige rum), et chatnavn, en gps i telefonen, en app…
Man får altså mulighed for at backtracke folks bevægelser og omgangskreds og kommunikation, hvis man har gemt den slags data. Og denne linkability bliver VILDT uhyggeligt, når disse potente værktøjer er i hænderne på organisationer, der bruger informationerne uden om retssystemet, som Snowden-filmen påstår/dokumenterer det gøres.

For mig er der en grundlæggende to måder at bryde loven på: kriminelt, som skal stoppes og med civil courage, hvor det ikke er for egen vindings skyld man bryder loven. Som udgangspunkt skal loven naturligvis holdes! Men der findes tidspunkter i historien, hvor “systemet” er blevet inhumant og ikkevoldelig modstand er på sin plads. Det placerer Snowdon som frihedskæmper.

“So ein Ding”, Danmarks Radio, lavede en udsendelse om privatliv i 2014. Brug de 28 minutter på at se udsendelsen, den der det værd.