KI-produksjon og -sammenligning for egen KI-refleksjon

For å forsøke å vise studentene forskjellene på og hvor lite tillit KI-løsninger fortjener, utformet jeg et arbeidskrav med tre deloppgaverder studentene ble gitt en prompt som produserte en enkel webapplikasjon.

• I deloppgave 1 skulle prompten skulle kjøres i tre forskjellige KI-løsninger, og produsere en HTML-fil med CSS og JavaScript fra hver av dem. De tre KI-løsningene var Google Gemini, OpenAIs ChatGPT og UiO GPT.
• I deloppgave 2 ble studentene bedt om å gi de tre KI-løsningene de tre HTML-filene, og skrive en prompt som ba KI-løsningene sammenligne kodene og vurdere hvilken som var best.
• I deloppgave 3 skulle studentene (på sitt nivå) reflektere over og vurdere om KI-sammenligningen ga mening, og om de var enige.

Studentene leverte både HTML-filer og et dokument med prompter, resultater fra KI-løsninger og egne refleksjoner.

En av de tydeligste utfordringene var at noen studenter ikke fikk UiO GPT til å godta HTML-filene på grunn av sikkerhetsbegrensninger. Dette gjorde det umulig for dem å fullføre oppgaven i UiO GPT, og de fikk kun vurderinger og sammenligning fra Gemini og ChatGPT.

De fleste studentene gjennomførte oppgaven etter beskrivelsene av deloppgavene. Det var interessant å se flere studenter innse at egen forståelse av kode ikke var tilstrekkelig til å svare grundig på deloppgave 3.

Dette var en nyttig oppdagelse for dem, og et av målene med oppgaven for å vise at vi trenger grunnleggende kunnskap og kompetanse for å evaluere KI-produsert kode.

Ved en ny gjennomføring vil jeg gi noen retningslinjer for sammenlignings-prompt, samt spesifisere ytterligere refleksjonsområder for deloppgave 3.