Utvärdering prgm23 med CMAST

[dbosk]

Generellt

• Arbetsbelastningen normal, inte så mycket att göra.
• Canvas är bra, lätt att hitta det som behövs.
• Många som vill ha mer liveföreläsning.
• En labbsal var dubbelbokad vid tillfälle, eller att det var folk där trots att det var bokat. Prata med assarna om att kasta ut andra studenter som inte är med på labben.

Assarna

• Skillnad i kvalitet, vissa har koll på allt. Vissa visste inte ens vilken uppgift det handlade om på redovisningen.
• I fredags fick många vänta en timme, en väntade två timmar. Men det var drop-in och få assar.
• Några har blivit grönmarkerade och aldrig fått hjälp.
• Bedömningen varierar från asse till asse. Fick godkänt av en asse på alla utom ett kriterium, nästa asse godkände inget kriterium.
• Vissa assar har inte frågat något om koden, andra har frågat väldigt mycket.

Positiva saker

• Canvassidan
• De som kunde lite programmering sedan innan tyckte att det var jättekul.
• Verkar inte vara någon som tyckte att det var svårt.
• OLI var uppskattat

Lite mindre bra

• Assarna: stor skillnad, jättebra eller jättedålig.
• Många föreläsningar är digitalt, vill har mer riktiga föreläsningar. Har missat att övningarna uppfyller detta. Har kanske bara gått på de första övningarna och sedan slutat att gå.
• Skum formulering i labb 6. Var lite otyligt med att man skulle ha flera klasser och använda labb 5.

Funkaperspektiv

• Inget stort direkt
• En funkastudent fick provet upplåst en halvtimme sent.

[dbosk]

Tidsåtgång

Majoriteten ligger runt 8-9 timmar. Vilket är rimligt. Varierar också mellan undervisningen och under p-uppgiften.

Under den första utvärderingen låg majoriteten på 3-5 (30%) eller 6-8 (37%) h/vecka. Bara 20% låg högre.

LEQ

Lågt (<5) på 1 (interesting issues), 4 (challenging in a stimulating way), 15 (practice with feedback without grading) och 22 (get support when needed)
.
Högre (>5) på 16 (fair assessment) och 21 (learn by collaboration).

På den första var det bara 4 (challenging in a stimulating way) som låg under 5 (på 4.5).

Män låg högre på 1, 4, ~15. Lika på 16. Kvinnor låg mycket högre på 21 (6.3 istället för 5.5).

Bästa aspekten

"ämnet"

"laborationerna 1-6 var bra för att lära sig och tvingade en att hålla takt med schemat"

"Att försöka lösa problem"

"Det bästa med kursen var förmodligen att inlämningsuppgifter byggde på föregående vilket gjorde det lätt att fokusera på det särskilda fokuset
med uppgiften. Annars hade man behövt skriva helt nya program där andra "fel" eller misstolkningar hade kunnat uppstå. Noterbart däremot,
hade det samtidigt kunnat vara jobbigt ifall ett fel eller misstolkning följde med nästföljande uppgift innan man fick feedback på föregående.

Annars var en bra del i kursen att man jobbade i grupp för dessa uppgifter."

"Absolut ingenting, under all kritik"

"Intressant upplägg"

Från den första

"Det bästa var att alla uppgifter inte rättades, det gjorde så att man kunde reflektera över kamratresponsen man fick och göra en bra kod inför redovisningarna."

"Möjligheten att diskutera och arbeta i grupp."

"Omfånget av materialet - Vi gick genom väldigt mycket på ganska kort tid och nu känns det som att man har ett brett val av "verktyg" man kan använda i sitt kodande."

"Labbarna"

"Friheten att arbeta i ish sin egen tackt och att det fanns allt online utan att du behövde vänta på att klassen i helhet skulle hinna dit. Snabba responstiden på lärare när något upptäckes som fel var också fantastiskt."

"Det är kul att lära sig ett nytt programmeringsspråk och att lösa problem/uppgifter"

"Bra och lagom svåra labbar/uppgifter. OLI funkar bra och är tydligt."

"OLI och att det fanns en del riktigt bra assar"

"Assarna"

"Oli modulerna var bra, uppgifter i texten och sedan kort test på de man läst. De va enkelt att ta in informationen i de flesta fall"

"Att få jobba i grupp eftersom det var det ända sättet som jag lyckades lära mig något under kursen."

"Fexibiliteten, att jag kunde ta del av kursens material då det passade mig best"

"Tycker att det har varit bra med upplägget med övningarna och seminarierna så att man får tillfällen att testa sina förmågor samt i grupp kan lära sig om man stötte på några problem."

"labbarna o få live feedback under presentation av lab 3 t ex. assarna"

"Förmodligen det självständiga arbetet där vi fick lära oss mycket via OLI Torus."

"Kul att programmera"

"Bra tempo. Tydliga genomgång i OLI, lärt mig mycket"

"Intressant att få lära sig programmering och väldigt bra lärandematerial (OLI) som balanserar teori med problemlösning och tester på ett sätt som undervisningsforskningen stödjer"

Att förbättra

"Dåliga övningar som inte gav något. Försökte till en början men lärde sig inget. Föreläsningarna var tråkiga och ointressanta. Pratades mycket om sådant som aldrig användes."

"Lite mer hjälp från lärarassistenterna och lättare att kontakta lärarna vid behov"

"Att ha fysiska fler fysiska föreläsningar för tips och frågor" (fanns tre tvåtimmarstillfällen per vecka där väldigt få deltog)

"Många föreläsningar, särskilt de i början, kändes långdragna och inte allt för relevanta. Exempelvis att instruera att ladda ner Linux och Ubuntu samt lära sig använda det, något som inte på någon grad är en nödvändighet. Jag är övertalad att majoriteten av studenter inte använde det och kommer inte att använda det i större om någon grad i framtiden. De 3 - 4 % som genuint lirar Linux började inte använda det för grundläggande programmering, det som kursen förmedlar.
Hade kursen handlat om servrar eller varit allmänt avancerad så hade jag kunnat förstå det, men nu var detta inte tillfället."

"Fler exempel vid föreläsningar. Börja från lägre nivå vid olika koncept för att alla ska hänga med, annars är det lätt att halka efter mycket."

Att förbättre från första utvärderingen

"Det blev lite enformigt att arbeta med dem matematiska summorna i tre veckor i rad. Skulle kunnat varit lite mer variation." (Det fanns ju en massa övningsuppgifter att arbeta med också, labbarna om summorna var bara examinationen.)

"Bättre instruktioner
Mer kunniga och engagerade assar
Mer förståelse för olika sätt att skriva kod."

"Ska jag vara helt ärligt kan canvassidan förbättras markant. Till exempel är den omöjlig att orientera sig i där innehållet för varje vecka spridits
på lite här och där, det är på riktigt 98 st olika flikar bara på startsidan. För mig personligen fungerar det alldeles utmärkt att använda OLI, men
hur OLI introducerades var minst sagt otydligt. Inte för att tala om FeedbackFruits som jag inte har använt och bara var otydligt. Mitt förslag är
att ni fixar canvassidan VECKOVIS och på så sätt också organiserar canvassidan utifrån kursens innehåll. [Den är anpassad veckovis, en modul per vecka.] Första översikten är bra men det är
alldeles för många flikar (98st).

"Ytterligare ett förbättringsområde angår föreläsningarna där vi inte hade några alls förutom introföreläsning. Däremot hade vi övningar [som var mer interaktiva föreläsningar] som
klart kunnat hållas på ett bättre sätt där undervisaren ej anpassade sin hastighet utifrån publiken. För mig personligen gav inte övningarna
eller de få föreläsningarna något. Undervisaren gick alldeles för snabbt fram och förklarade inte riktigt allting (speciellt svårt med terminalen).
För individer som mig som aldrig använt terminalen hanterades det avsnittet väldigt dåligt. Jag förstår att jag kunnat ställa frågor men då hade
föreläsningen/övningen tagit betydligt längre än angiven tid. [Men hellre det än att folk ändå inte fattar.]

"Apropå terminalen bör inte kursen inledas med en massa otydligheter där många studenter aldrig programmerat tidigare. Jag har erfarenhet
av Java och jag förstod inte varken varför terminalen var relevant eller vad som undervisaren gjorde.

"Även det här med kamratrespons är högst oklart. Efter första veckorna slutade respons komma och det verkade inte så viktigt trots allt. Inte
nog med det, det var omöjligt att hitta var jag kunde ge respons."

"Mer aktiva föreläsningar/övningar" [De blir som de deltagare som dyker upp.]

"Det är lite otydligt när ni skriver övning i schemat men det egentligen är genomgång. [För att de ska vara mer interaktiva.] Kanske borde byta det. Också PEP-8 som är ett relativt
viktigt doucumnet känns lite undangömt. Tror det borde vissas tydligare. Kanske stå i alla instructioner för det är enkelt att glöma att dubblechecka allt." [PEP-8 borde läggas in som en läsuppgift.]

"Lite tydligare förklaringar till vissa begrepp exempelvis när vi började jobba med metoder var det stundtals svårt att förstå vad som menades"

"Undervisningen. Att inte behöva sitta och läsa oli utan att få interagerande undervisning." [Det som övningarna är till för.]

"Mer lektioner på plats och mindre videor. Tydligare intro, d.v.s. man skulle kunna hoppa över det nästan helt och fokusera mer på att faktiskt komma igång med python."

"Oli matrialet och de inspelade förläsningarna. Kändes rätt värdelöst"

"Möjlighet att träffa läraren och ställa frågor/få hjälp. Jämnare nivå på assarna, fanns en del guldkorn som verkligen engagerade sig men också
en hel del dåliga som antingen var otrevliga och vägrade hjälpa en eller inte satte sig in i ens kod/problem utan bara ville att man skulle skriva
koden precis likadant som de hade gjort. Fanns även en del länkar i canvas där det stod att fler videor skulle komma men långt efter att den
veckas arbete var över fanns det fortfarande inga länkar, saknades också genomgångar i feedback fruit/ OLI på något moment."

"Förtydligandet på vilka vägar man kan ta för att ta del av innehållet. Första veckorna försökte man läsa oli och titta på videosen för man trodde
det var nödvändigt för att inte missa något viktigt. Det tog för mycket tid och man började ligga efter snabbt."

"Jag som aldrig hållt på med programmering förut känner att det har varit svårt att lära mig hur det fungerar. Att ha föreläsningar som består av
läsning och videor tycker jag inte varit optimalt utan programmering lär mig sig bäst av att göra. Läsning och videor har häller inte varit inom en
rimlig tidsram upplever jag då man egentligen skulle behövt minst 2 föreläsningstillfällen för att hinna gå igenom allt ordentligt. Nu har tiden
varot knapp så man har inte haft tid att sitta själv och övat på programmering. Sedan tycker jag det är dåligt att lärare inte kunnat närvara på
övningar utan har funnit på zoom. Jag tycker absolut att det är bra att lektionera finns på zoom så alla ges möjlighet att delta, men jag tycker
ändå att lärare åtmisnte kan ta sig in till skolan för att undervisa. Lärare på plats ger en mycket bättre kvalite på undervisningen genom att
man får en annan kontakt och det gör det lättare att vara aktiv.

"Sedan tycker jag även att det har varit svårt att kunna få perspektiv på allt vi gjort. Man förstår hur det fukar i uppgifterna men jag har ingen
aning hur det funkar i partiken på exempelvis företa och liknande. Detta gör att jag är orolig över hur det ska gå med kommande uppgift
eftersom det kommer att vara svårt att sätta in sin kunskap i ett nytt område då man inte fått det nog bra förklarat för sig."

"Det sades att det skulle räcka med att använda sig av schemalagd tid, men man hann knappt kolla klart videor och läsa OLI på den första
lektionen. Och under labben, som var den andra schemalagda lektionen, skulle man egentligen vara klar."

"inte ha alla föreläsningar på distans på en hemsida med videor. alla jag pratat med starkt ogillade att "allt" var på distans och bara "på en
hemsida". vi behöver en lärare som lär oss." [Fanns lärarledda tillfällen 6 h/vecka.]

"Kamratresponserna. Man vet inte med noggrannhet om responserna är 100% ärliga eller om personen som rättat ens kod bara snabbt har
läst igenom koden. Det skulle ha varit bättre om assar också kunde titta på ens kod, inte bara vid det sista labbtillfället (3 och 6)."

"Övningarna känns ostrukturerade efter Olle gjort sitt, samt att de tog ofta 5-10 minuter att komma igång med övningen"

"Vissa frågor i OLI kunde man inte få rätt svar på utan att starta ett nytt försök. För mig var det tex en fråga om vad som var ett lämpligt
variabelnamn på en dikt och hur man printar index i i en lista som jag svarade exakt likadant på 2 respektive 4 gånger innan jag fick rätt svar.
Det var även lite snopet att kontrollskrivningen 31 oktober inte låg ute redan vid kursstart. Det gjorde att kalendern var tom precis efter
resterande tentor och jag bokade en resa bara för att efteråt få se att en kontrollskrivning hamnat under resans gång. Andra omständigheter
har gjort att resan avbokats men tydligare framförhållning hade uppskattats."

"Fler videos för varje modul"

Råd till kommande studenter

"Lägga ner tid på att förstå språket och tankesättet, då blir det lättare att själv skriva en egen kod"

"Se till att lära dig själv, bra hjälp finns inte alltid tillgänglig. Öva på att programmera när du kan :)"

"Låt inte gruppkamraterna göra allt jobb, lär dig och sätt dig in i koden. Strunta i teminalen och FeedbackFruits då de inte tillför något viktigt så
länge du inte är intresserad av de. Ta det bästa av de undervisningsmetoderna som finns, OLI."

""Lek" med koden. Undersök vad som händer när du ändrar på en viss sak för att förstå hur datorn själv förstår och läser din kod. Det är då
som det blir mest engagerande för mig i alla fall."

"skriv allt i en main() och läs PEP-8 i sin helhet."

"Läsa OLI noggrant"

"Gå åtminstone på en av övnings- och labbtillfällena varje vecka."

"Se till att hitta någon annan kursdeltagare som har lite koll som kan hjälpa dig att svara på frågor samt prata med olika assar för att snabbt
hitta vilka som är bra på att hjälpa. Var tidig till labbpassen för att hinna få hjälp"

"Om man läser oli, sätt in er i frågorna så går det bra."

"Börja så snart som möjligt med veckans labb."

"Öva direkt på det som läraren har gått igenom på föreläsningen samt kolla upp allt så att du verkligen förstår det."

"Våga fråga, var redo att offra mycket av din tid för att lära dig så bra som möjligt, gå på övningarna och diskutera koder med vänner. Repetera
också så att du inte glömmer bort det du har lärt dig."

"ta tiden att bygga en bra grund"

"Lägg ner tid. Det gynnar dig i längden att gå igenom allt grundligt, blir enklare med tiden"

Annat

"Jag stötte på ett problem där jag inte kunde delta så super mycket i labbarna då mina medlemmar var bekanta och bekväma med
programmering. Det hände ofta att de skrev koden och jag fick skriva min egna så att jag inte skulle ligga efter i kursen och ha kunskaperna
som krävs. Jag tycker att det skulle vara lite fel om jag fick de att gå i lägre takt pga mig. Jag ville bara lyfta fram detta. I slutändan tror jag det
gick ok men de va en stressmoment att man inte gjorde så mycket."

Få har gått på övningarna, hur har du gjort och varför?

"Jag har gått på en del av övningarna och det för att kunna få hjälp."

"Jag känner att jag klarar labbarna utan att gå på övningarna och då kändes övningarna överflödiga."

"Fått det mesta utifrån OLI materialet och sökt själv efter information på nätet, men jag erkänner att jag borde ha gått på flera övningar i
efterhand."

"Jag gick på dom, jag har inte programmerat innan och skulle vilja ha ett högre betyg, därför kände jag att det behövdes att gå på all
undervisning."

"Inte känts givande då de var ostrukturerade"

"Jag har jobbat hemifrån då jag läst två kurser programmering på gymnasiet, vilket gjorde att jag kände igen det mesta."

"Gick början men övningarna gav inte mycket. Kändes som att vissa saker var uppenbara och tog för lång tid. Suttit hemma och kollat
programmeringen istället. Jobbat på labbarna eller liknande."

"Jag skippade övningarna för att jag lärde mig själv bättre."

"Jag har valt att gå på de övningar som jag har haft möjlighet att ta mig till och jag tycker att dem har varit bra att. Jag tycker att dem har varit
givande att kunna sitta i grupp och tillsammans tackla dem svårigheter som man har med uppgifterna samt höra olika personer hur de tänker
på problemet."

"Jag gick på de 3 första. Innehållet var klart otydligt. Det lilla innehåll jag lyckats få var basic. Således lutade jag mig till det enda
undervisningstödet kvar, OLI."

"Jag har sällan varit på campus, generellt sett, då jag måste pendla för att ta mig dit. Som skrivet ovan, det viset som jag löser uppgiften på är
att testa mig fram och försöka komma på ett smidigare/optimalare sätt som ändå uppfyller kraven. Att fråga en asse om hjälp brukar jag inte
göra, för det oftast går att hitta svaret på nätet eller på Oli Torus."

"Jag har gått på övningarna om jag ansett att jag behövt det, några gånger har jag inte gått eftersom jag har varit tvungen att koncentrera mig
på andra kurser. Jag har inte heller en dator som jag kan använda för programmeringen, därför har jag varit hemma för det mesta utav tiden i
kursen"

"Jag har jobbat själv på övningarna men det är för att jag redan kunde en del programmering och inte kände att jag behövde gå på övningarna"

"Jag har gått på vissa övningar och stannat hemma under andra. Jag föredrar överlag att lära mig det som är relevant för min situation och att
lära mig genom att göra, så att lyssna på övningar som gått igenom annat än sådant som var relevant för pågående moment och som
dessutom till stor del gick ut på attt felsöka assarnas datorer kändes inte som den bästa tidsinvesteringen"

"Jag har gått ett par gånger och de var på början. Det var bra men efter ett tag kändes det som att jag hade helt ok koll. Därför gick jag inte mer"

Hur har du använt tiden i kursen?

"Gjort klart labbarna ganska tidigt i veckan för att sedan kunna hjälpa mina kurskamrater."

"Kollat OLI material"

"Det mesta av tiden gick åt till labbarna, annars har jag också använt OLI."

"Jag använde tiden till andra kurser"

"Mest jobbat på labbarna och gjort OLI:modulerna tillsammans med min grupp utanför schemalagd tid."

"suttit med min grupp och jobbat med labben och diskuterat eller suttit hemma/i skolan och jobbat självständigt med OLI"

"Jag har försökt följa schemat med föreläsningar. Det är bra att det finns utsatt tid för det. Har i övrigt försökt planera tillsammans med min
grupp så vi haft möjlighet att ställa frågor ang inlämningar på laborationerna."

"jobbat hemma med oli och på lab-tillfällena möts upp med min grupp i skolan i en bokad datasal."

"Väldigt illa, den har inte varit så värst inspirerande. Jag har läst OLI, gjort uppgifterna och arbetet med gruppuppgifterna."

"Gått igenom allt Oli Torus material och skrivit labbarna."

"Skrev nästan alla prov i början. Sen jobbade jag men uppgifterna. Om vi blev klara tog jag sovmorgon eller jobbade på annat."

"Jag har läst mycket i OLI fast gått på enstaka övningar, vilket inte är en så bra användning av min tid i kursen."

"Främst till att arbeta med uppgifterna"

"Under schemalagd tid har jag pluggat främst genom att börja med ett moment i OLI och sedan genom att försöka tillämpa informationen från
momentet i mina egna experimentella versioner av väldigt överkomplicerade labbar."

"Jag har ofta gått igenom materialet utanför schemalagd tid exempelvis på helger."

"Den mesta tiden har använts åt att läsa OLI och göra labborationerna."

"Ungefär 50 % av tiden läsa OLI samt kolla videor, resten av tiden har använts att försöka skriva kod och lösa veckans problem."

"Hälften av tiden har gått åt att kolla på föreläsningar och göra OLI (lite mer i början när innan jag fröstod att de inspelade föreläsnigarna inte
var absolut nödvändiga att titta på). Andra hälften av kursen har gått åt labbaran"

[dbosk]

Prioriterad utveckling

• Bättre intro. Förtydliga kring OLI och annat material. I princip innehåller OLI övningar. Så rent teoretiskt borde man kunna klara sig med OLI + labbarna varje vecka. (Vi ser att det är precis vad vissa gör också.) 2h

• Förbättra hur vi arbetar med kamratrespons (bättre med FBF integrerat). 8h

• Revidera labbar till att ha mer stimulerande problem. 80h

• Implementera påminnelser för uppgifter. Många missar vissa obligatoriska moment, exempelvis specifikationen, granskningen och det avslutande diagnostiska provet.

Revidera övningsserien. Denna behöver få ett tydligare formulerat innehåll. Speciellt de fördjupande övningarna. De bör även vara utformade så att man kan göra dem på egen hand om man har förhinder att delta.