Merge pull request #42 from eelcodijkstra/main

enkele presentaties toegevoegd

_toc.yml

@@ -34,5 +34,5 @@ parts:
     chapters:
       - file: ai/prompts
       - file: ai/ieni-volgens-chatgpt
-      - file: ai/chatgtp-workshop
+      - file: ai/chatgpt-workshop
 

ai/chatgpt-voor-docenten.md

@@ -4,6 +4,17 @@
 
 Zie de [presentatie](../assets/chatten-met-docenten.pdf)
 
+:::{admonition} Deze workshop zelf geven?
+We willen jullie graag helpen om deze workshop op je eigen school te geven
+voor je collega-docenten.
+Neem in dat geval even contact op met ons, ook voor eventuele assistentie.
+We horen graag jullie ervaringen en suggesties om deze workshop te verbeteren!
+
+De tekst van de workshop, met de nodige achtergrondinformatie, vind je
+[hier](chatgpt-workshop).
+:::
+
+
 ChatGPT komt zonder handleiding. Het interface is erg eenvoudig: je kunt in
 natuurlijke taal, Engels of Nederlands, een vraag stellen, en je krijgt een
 antwoord in diezelfde taal. Dat is alles. Maar daarmee weet je nog niet wat de

ai/chatgtp-workshop.md → ai/chatgpt-workshop.md

@@ -271,7 +271,55 @@ maar niet een "waar" antwoord geeft. En denk eraan dat ChatGPT niet deterministi
 is: eenzelfde vraag kan verschillende antwoorden geven.
 (Je kunt om een ander antwoord vragen door de "regenerate" knop.)
 
-## Beperkingen en ethisch gebruik
+## ChatGTP in het onderwijs
+
+**Kansen, beperkingen en ethisch gebruik**
+
+Drie belangrijke punten bij het gebruik van ChatGPT in het onderwijs:
+
+* ChatGPT is overal (en laagdrempelig) beschikbaar
+* ChatGTPT is transformatief - *disruptive innovation*
+* het gebruik van ChatGPT is *niet detecteerbaar*
+
+**Overal beschikbaar.** Er zijn allerlei manieren om toegang te krijgen tot 
+ChatGPT en andere LLMs, van gratis versies tot betaalde versies.
+De gratis versies lopen wat achter in de technologie, maar zijn voor veel doeleinden
+ook goed te gebruiken. Zowel OpenAI als Microsoft (Bing) en Google (Bard) 
+bieden gratis versies aan.  
+Ook de betaalde versies, van bijvoorbeeld OpenAI (ChatGPT 4 Plus) maar ook van
+Khan Academy (Khanmigo) zijn voor veel mensen te betalen.
+(Die kosten zijn veel lager dan bijlessen of examentraining.)
+
+**ChatGPT is transformatief.** ChatGPT heeft alle kenmerken van een 
+*disruptive innovation*: deze zet de bestaande verhoudingen op de kop.
+Dit betekent dat je over veel zaken, bijvoorbeeld in het onderwijs, 
+op een fundamentele manier moet nadenken wat de betekenis ervan is in een
+wereld met AI. (Dit denken is in veel domeinen, bijvoorbeeld in het onderwijs,
+nog maar net begonnen.)
+
+**ChatGPT is niet detecteerbaar.** Je kunt niet detecteren dat het resultaat
+gemaakt is met behulp van AI. Ook al vallen veel leerlingen nu nog door de mand,
+bijvoorbeeld door een taalgebruik dat niet bij hen past, 
+dat zal in de nabije toekomst al "gerepareerd" zijn.
+(Een voorbeeld is een leerling die aan ChatGPT aangaf dat het resultaat eruit 
+moest zien als gemaakt door een dyslectische leerling. 
+Het resultaat bevatte precies de fouten die je van zo'n leerling verwacht.)
+
+De figuur hierboven geeft het resultaat van een taal-analyse van afstudeerscripties
+van studenten uit Delft. Na de introductie van ChatGPT in november 2022 komen ineens
+veel meer minder gangbare Engelse woorden in deze scripties voor.
+Dit doet vermoeden dan deze studenten AI gebruikt hebben voor het schrijven van hun
+scriptie. 
+(Voor zover bekend is heeft deze lichting niet een extra cursus Engels gekregen.)
+Een student die zijn taalgebruik wil aanpassen kan ChatGPT gewoon een aantal
+voorbeeld-documenten geven, bijvoorbeeld oudere afstudeeerscripties, om dit effect
+te vermijden.
+
+Deze punten worden o.a. in de presentaties van Mollick & Mollick genoemd.
+
+
+
+
 
 ### ChatGPT heeft een grillige grens
 
@@ -297,8 +345,233 @@ een *grillige grens* tussen wat wel en wat niet werkt.
 Je moet altijd controleren of het resultaat klopt, 
 soms word je aangenaam verrast, en soms zul je je "snijden aan de rafelrand".
 
-* 
+### Bloom's 2-sigma probleem
+
+Benjamin Bloom, bekend van o.a. *Bloom's taxonomy*, heeft veel onderzoek gedaan
+Hij heeft onderzoek gedaan naar manieren hoe je het *onderwijs* (dus aan de kant van
+de docent) kunt verbeteren voor betere leeruitkomsten.
+
+Eén van de manieren daarvoor is *mastery learning*. Daarbij mag  een leerling pas verder
+met het volgende onderwerp, als deze het huidige *goed* beheerst (op het niveau
+van een 8 of een 9). De leerling krijgt extra oefening en extra tijd om dat niveau
+te bereiken.
+
+(Mastery Learning is vooral van belang bij vakken waar kennis en vaardigheden "stapelen",
+zoals bij de Bèta-wetenschappen. Bij Geschiedenis is dat misschien minder van belang.)
+
+Het blijkt dat mastery learning in klasverband een verbetering geeft ten opzichte van
+de "normale" manier van werken van 1 sigma (1 standaarddeviatie). Dat komt ongeveer
+overeen met 1,5 tot 2 punten (in ons cijfermodel).
+
+Je kunt een nog veel grotere verbetering krijgen, van 2 sigma, door leerlingen 1 op 1
+met een goede tutor te laten werken, die op elk moment de leerling precies de juiste
+uitdaging geeft (als in een computer game).
+
+Kunnen we met een AI-gebaseerde tutor mogelijk een dergelijk effect benaderen?
+Dat zou een revolutie in het onderwijs betekenen!
+
+:::{admonition} Achtergrond
+:class: dropdown
+
+Zie Wikipedia: https://en.wikipedia.org/wiki/Bloom's_2_sigma_problem
+
+Het oorspronkelijke artikel van Bloom uit 1984: https://web.mit.edu/5.95/readings/bloom-two-sigma.pdf
+
+Bloom, Benjamin S (June–July 1984). "The 2 Sigma Problem: The Search for Methods of 
+Group Instruction as Effective as One-to-One Tutoring" (PDF). 
+Educational Researcher. 13 (6): 4–16. doi:10.3102/0013189x013006004. S2CID 1714225.
+
+Uitdaging volgens Bloom: *find methods of group instruction as effective as one-to-one tutoring*.
+
+Over mastery learning:
+* *students must achieve a level of mastery (e.g., 90% on a knowledge test) in 
+  prerequisite knowledge before moving forward to learn subsequent information on a topic.*
+
+> Failure for a student to achieve mastery is viewed, 
+> differently from conventional educational testing, 
+> as due to instruction rather than lack of student ability.
+
+Op elk moment de juiste uitdaging: zie de "Zone of Proximal Development" (ZPD) van
+Vygotski (https://en.wikipedia.org/wiki/Zone_of_proximal_development).
+In het Nederlands: de zone van naaste ontwikkeling.
+
+:::
+
+### Khan Migo
+
+De Khan Academy probeert een dergelijke AI tutor te maken, Khanmigo, op basis van 
+CHatGPT. Deze is op de volgende manieren gespecialiseerd:
+
+* voor leerlingen gedraagt deze zich als zeer geduldige tutor:
+    * helpt leerlingen bij het maken van hun opdrachten
+    * maar, zegt geen antwoorden voor, en maakt hun huiswerk niet
+* transparant naar docent (en ouders): deze kunnen zien wat een leerling gedaan heeft,
+zoals de chat-geschiedenis met de tutor.
+* voor docenten is dit een goede assistent:
+    * houdt de voortgang van de leerlingen bij
+    * helpt met het voorbereiden van lessen e.d.
+* de meeste AI risico's worden vermeden:
+    * geen inbreuk op privacy e.d.
+    * blijft veilig binnen de "grillige grens", minimaal risico op hallicunaties
+    * blijft bij het onderwerp
+
+Op dit moment (nov. 2023) is Khanmigo alleen nog maar beschikbaar in de USA.
+
+Zie: https://www.khanacademy.org/khan-labs
+
+:::{admonition} Achtergrond
+:class: dropdown
+
+Zie bijvoorbeeld de video: https://www.youtube.com/watch?v=sOWHNKHAMkQ 
+(Harnessing AI for education) voor een uitleg van de visie van Sal Khan op AI.
+:::
+
+### Gebruik ChatGPT als tutor
+
+Je kunt ChatGPT ook "programmeren" als tutor in een bepaald onderwerp, 
+door middel van  *gestructureerde prompts*".
+
+### Punt van zorg: betrouwbaarheid
+
+ChatGPT is een taalmodel, geen kennismodel: heeft geen "begrip van waarheid".
+ChatGPT geeft op grond van de trainingsdata een plausibel antwoord - dat niet waar hoeft te zijn.
+Hoe ga je daar mee om?
+
+*Je moet het antwoord altijd controleren** - en dat vraagt beslist om goede
+informatievaardigheden.
+
+Een andere zorg is dat je veel uitingen op het web zult krijgen die met 
+generatieve AI zoals ChatGPT gemaakt zijn.
+Deze zijn niet "van echt te onderscheiden" - bijvoorbeeld toespraken van 
+bekende personen, foto's of video's van bekende personen - die wat inhoud betreft
+(net iets) anders zijn dan je verwacht.
+
+Hoe weet je dan of het om echte foto's en video's gaat?
+Om dat goed uit te zoeken, moet je echt goede informatievaardigheden hebben.
+
+:::{admonition} Achtergrond
+:class: dropdown
+
+Een groep met zeer goede informatievaardigheden is Bellingcat (https://www.bellingcat.com).
+Deze groep heeft bijvoorbeeld aan de hand van foto's, video's en ander materiaal
+op het web uitgezocht wat er met de MH-17 gebeurd is.
+Ze combineren hiervoor materiaal uit heel veel verschillende bronnen,
+waardoor bijvoorbeeld een bron die gemanipuleerd is snel opvalt.
+
+Zie bijvoorbeeld: [hoe onderscheid je feit en fictie op sociale media in tijden van oorlog](https://www.bellingcat.com/resources/how-tos/2023/10/26/separating-fact-from-fiction-on-social-media-in-times-of-conflict/)
+:::
+
+
+### Punt van zorg: bias
+
+Als je een LLM vraagt om een arts of van een advocaat te tekenen,
+dan zul je in veel (te veel) gevallen een tekening krijgen van een 
+blanke man in die rol.
+Dat komt doordat de data waarmee de meeste LLMs getraind zijn, sterk gekleurd is;
+ofwel, een bias bevat.
+
+Veel data heeft een dergelijke bias: denk aan de medische onderzoeken, die vaak
+gedaan worden met mannen van 25-35 jaar; of sollicitatiegegevens, die de 
+verborgen voorkeuren van de sollicitatiecommissies weergeven.
+
+Als je hier alert op bent, kun je bij je opdrachten ook aangeven hoe je wilt
+dat het resultaat eruit moet zien, bijvoorbeeld een tekening van
+een jonge afrikaanse vrouw als arts.
+
+### Punt van zorg: privacy
+
+:::{admonition} Achtergrond
+
+Bekijk voor het verdienmodel van OpenAI, het bedrijf achter ChatGPT, de uitleg van
+hun plannen in de keynote van november 2023: https://www.youtube.com/watch?v=U9mJuUkhUzk
+
+:::
+
+
+### Anders omgaan met huiswerk
+
+Je kunt niet nagaan of leerlingen voor het maken van hun huiswerk gebruik gemaakt
+hebben van ChatGPT - net zomin overigens als je weet of hun ouders of 
+oudere broer of zus geholpen hebben.
+
+Dit betekent dat je op een andere manier moet omgaan met het maken van huiswerk.
+
+Je kunt leerlingen toestaan om ChatGPT te gebruiken bij hun huiswerk,
+maar dat ze zich wel aan een aantal regels moeten houden:
+
+* ze moeten de gebruikte prompts en de antwoorden erbij vermelden;
+* ze moeten de gebruikte antwoorden gecontroleerd hebben;
+* ze moeten wat ze inleveren kunnen uitleggen: als je er vragen over stelt, 
+moeten ze die kunnen beantwoorden.
+
+Je kunt soms ook (veel) hogere eisen stellen aan de opdracht;
+bijvoorbeeld, een werkende website in plaats van een powerpoint-prototype.
+
+Je moet leerlingen goed duidelijk maken wat de rol van huiswerk is,
+en daarbij passende opdrachten geven.
 
+Leer studenten LLMs te gebruiken als hulp bij het leren en bij het uitvoeren van taken,
+niet voor het maken van opdrachten waar je van zou kunnen leren.
+
+> De zekerste manier om ervoor te zorgen dat computers later je werk overnemen,
+> is om ze nu je huiswerk te laten maken.
+
+Je traint dan wel de computers, maar niet jezelf.
+
+:::{admonition} Achtergrond
+
+Zie de blog van Ethan Mollick op ondeusefulthing.org: 
+[The Homework Apocalypse](https://www.oneusefulthing.org/p/the-homework-apocalypse)
+:::
+
+## Gestructureerde prompts
+
+Eerder ben je aan de slag gegaan met "conversational prompts". 
+Een andere, complementaire, aanpak is het gebruik van *gestructureerde prompts*.
+Door het gebruik van bepaalde elementen kun je ChatGPT sturen in een bepaalde richting.
+
+Bijvoorbeeld:
+
+* geef ChatGPT een bepaalde **rol** of **persona**
+* beschrijf de **taak** die ChatGPT moet uitvoeren duidelijk en precies, 
+eventueel in de vorm van een **stappenplan** of een aantal **voorbeelden**.
+* beschrijf de **context** van de taak
+* beschrijf de **doelgroep**
+* beschrijf de **vorm van het resultaat** dat je verwacht.
+
+
+Het boek Chatten met Napoleon bevat veel voorbeelden van 
+dergelijke gestructureerde prompts, voor allerlei situaties in het onderwijs,
+voor docenten en voor leerlingen.
+
+In het begeleidende materiaal bij deze cursus zijn varianten te vinden van de [prompts van
+Mollick & Mollick](prompts.md).
+
+:::{admonition} Achtergrond
+:class: dropdown
+
+Een uitleg met voorbeelden van prompting voor onderwijs: voor docenten en voor leerlingen.
+
+* video in de reeks *AI 101 for Teachers*, https://code.org/ai/pl/101,
+met document met prompt-voorbeelden voor docenten
+    - aflevering "Demystifying AI for Teachers"
+    - https://docs.google.com/presentation/d/1WXvjG9TscUuH5Xz8Pj2okz6lMIKV__g0v6AoYVXKb40/copy
+* idem, voor studenten (leerlingen)
+    - aflevering "Transforming Learning with AI" (Mollick & Mollick)
+    - https://docs.google.com/document/d/1E74yMRBBy6UDTueKm2rNHHNkKSTh0LjjADArun7Lz9w/edit
+* https://github.com/microsoft/prompts-for-edu/tree/main
+    - Microsoft's verzameling van de prompts van Mollick & Mollick voor onderwijs. 
+
+Enkele blog-posts van Ethan Mollick over prompting:
+
+* https://www.oneusefulthing.org/p/working-with-ai-two-paths-to-prompting
+*
+
+Sommigen maken een echte studie van "prompt engineering". 
+Maar het is de vraag hoeveel dat op termijn oplevert, omdat de manier waarop ChatGPT en
+andere LLMs hiermee omgaan voortdurend evolueert.
+
+:::
 
 ## Zelf aan de slag (2)
 

ai/keynote.md

@@ -2,6 +2,8 @@
 
 **Serge Thill, Wouter Janssen (NOLAI)**
 
+Zie de [presentatie](../assets/ieni-keynote-tir-20231109.pdf)
+
 Het onderzoek op het gebied van machinaal leren en kunstmatige intelligentie
 vindt steeds meer toepassingen in veel maatschappelijk relevante domeinen
 zoals ons onderwijs. Bijna een jaar na de introductie van ChatGPT lijkt de

dg/informatievaardigheden.md

@@ -5,6 +5,8 @@
 
 **Josien Boetje, Hogeschool Utrecht**
 
+Zie de [presentatie](../assets/2023-11-09_ieni_digitale-informatievaardigheden-in-po-en-vo-josien-boetje.pdf)
+
 Verrijk je onderwijs met digitale informatievaardigheden! 
 In deze 90-minuten durende workshop duiken we in de wetenschappelijke inzichten 
 over effectieve didactiek van informatie-vaardigheden. 

dg/mediawijsheid-oorlog.md

@@ -2,6 +2,8 @@
 
 *Paneldiscussie onder leiding van Remco Pijpers (Kennisnet)*
 
+Zie de [presentatie](../assets/sociale-media-oorlog.pdf)
+
 Met de oorlog in Gaza en Israël is het ook oorlog op sociale media. Kinderen
 kunnen de beelden niet willen zien en toch willen (blijven) kijken. Hoe kun je
 vreedzaam kijken? Remco Pijpers van Kennisnet praat daarover met een panel van

index.md

@@ -12,28 +12,20 @@ Digitale geletterdheid-onderwerpen.
 * **locatie**: [Victor J. Koningsbergergebouw](https://www.uu.nl/victor-j-koningsbergergebouw),
   Universiteit Utrecht  
 * **datum en tijd**: 9 november 2023, 9:00 - 17:30 uur
-* [**aanmeldformulier**](https://www.smink-registratie.nl/ieni/) - 
-  *neem een collega mee als gast, zonder extra kosten!*
 
-:::{admonition} Voorbereiding
-* neem je laptop mee
-* maak een [ChatGPT account](https://chat.openai.com/) aan
-* sommige sessies vragen nog een extra voorbereiding
+:::{admonition} Terugblik
+Deze website bevat het programma en de presentaties van de conferentie van 9 november 2023,
+voor het geval je deze terug wilt zien.
+
+(Momenteel, 13 november, zijn nog niet alle presentaties compleet.
+We verwachten dat dit eind deze week wel het geval is.)
+
 :::
 
 ## Programma
 
 [zie programma in detail](#detail-programma)
 
-:::{admonition} Let op!
-:class: warning
-
-De laatste sessies in de laatste kolom vinden in het Auditorium plaats.  
-BBG = Buys Ballotgebouw; M = Minnaertgebouw
-
-(wijzigingen voorbehouden)
-:::
-
 :::{image} assets/ieni-november-2023-programma-v4.png
 :align: center
 :width: 700
@@ -194,8 +186,6 @@ Informatie-vaardig-heden in je (PO/VO) lessen
 
 ---
 
-
-
 :::
 
 :::{card}
@@ -208,7 +198,6 @@ Informatie-vaardig-heden in je (PO/VO) lessen
 
 :::
 
-
 ::::