Hur AI-verktyget ChatGPT klarar en hemtentamen i palliativ vård

INTRODUKTION

Under senhösten 2022 presenterades ChatGPT (chat.openai.com), vilket är en chattbott som med hjälp av artificiell intelligens (AI) besvarar frågor som ställs till densamma (Open AI, 2022). Svaren kan förfinas och korrigeras i botten genom att påpeka felaktigheter i svaret eller att ställa fördjupande frågor där dessa kan vara med för att ge ett mer fullödigt svar.

Redan samma dag som denna chattbott släpptes lyftes faran för skriftliga examinationer fram (Bryan, 2022). I en tråd med twittermeddelanden förklarar Bryan hur denna bott skulle kunna skriva studenters uppgifter och uppsatser. Även svenska lärosäten och deras företrädare har i olika sammanhang under vintern lyft riskerna med denna chattbott (exv. Ahlgren & Leitet, 2022; Färlin, 2023; Institutionen för informationsteknologi UU, 2022). Både svensk och internationell nyhetsmedia har visat på dess utmaningar, där fokus legat på tilltro till svar som ges, men även lyft fram risken med inkorrekt information online som denna AI-bott kan lära sig av (t.ex. Brännström, 2022; Larsson, 2022; Metz, 2022). Det har även rapporterats om felaktigheter i fakta som den rapporterar, där ett exempel är att senaste svenska riksdagsvalet ägde rum 2021 och där botten inte korrigerar sitt svar (Axén, 2022).

Denna bott är numera en realitet som lärare i utbildningar på både grund-, gymnasie- och högskolenivå behöver förhålla sig till. Den kommer med all säkerhet att användas av studenter för att snabbt få svar på frågor, där den kan ha en spännvidd från uppslagsverk till spökskrivare. I framtiden kommer botten även att kunna användas som en resurs till studenter i deras individuella studier, exempelvis som läxhjälp. Verktyg börjar presenteras för att även bidra till att bedöma om den har använts för att skriva svaren (exv. Kim, 2022).

Syftet med denna studie var att undersöka om ChatGPT skulle kunna besvara frågorna i en av våra examinationer vid sjuksköterskeprogrammet vid Uppsala universitet, samt att granska det sätt som ChatGPT besvarat frågorna på och undersöka om bedömande lärare hade kunnat upptäcka att det var en bott som besvarat dem.

METOD

RESULTATET

Resultatet visade att tre svar hade fått noll poäng då ett svar besvarades på engelska samt två på grund av att svaret speglade ett annat, felaktigt sammanhang. I övrigt var bottens svar ungefär 2–3 gånger så omfattande i jämförelse med studenternas svar på hemtentamen i examinationsverktyget Inspera Assessment. Texten från ChatGPT på svenska innehöll i genomsnitt 175–180 ord. Ett exempel på ett bra svar avsåg ett scenario med sambons undran om samliv och sexualitet i samband med palliativ vård: Ge förslag på information och åtgärder du kan göra som sjuksköterska. Bottens svar hade renderat 1,5 av 2 p:

Som sjuksköterska kan du ge Lisa och Kalle information om att intimitet och sexualitet är viktiga aspekter i alla stadier av livet, inklusive i palliativt skede. Du kan också ge information om hur de kan fortsätta att upprätthålla intimitet och sexualitet under dessa omständigheter, till exempel genom att prata om deras behov och önskemål med varandra, att använda kommunikation och beröring för att skapa närhet, att använda hjälpmedel som kan underlätta intimiteten (till exempel stödprodukter för sängen), och att ta hjälp av professionell hjälp (till exempel en sexterapeut).

Det är också viktigt att du ger Lisa och Kalle tid och rum att prata om och hantera de känslor och bekymmer som kan uppstå när man saknar intimitet och sexualitet. Du kan också erbjuda dem stöd och rådgivning om hur man kan hantera dessa känslor och bekymmer, och hjälpa dem att hitta strategier för att hantera eventuella hinder som kan förhindra intimitet och sexualitet.

Det är viktigt att du också respekterar Lisa och Kalles integritet och privatsfär, och att du ger dem den tid och den plats de behöver för att utforska sin intimitet och sexualitet på ett självbestämmande sätt. Du bör också se till att du har den kompetens och den kunskap som krävs för att ge rådgivning och stöd om dessa ämnen på ett professionellt och empatiskt sätt.

Ser vi till svarets diskursiva stil finns en annan ton än vad som förekommer i studenternas svar. Det är en diskurs som är mer ödmjuk och känslig.

Ett exempel på ett felaktigt svar var svaret på frågan: Kalle har blivit så törstig [på föregående sida har det beskrivits att patienten står på kortisonbehandling]. Under ditt besök dricker han flera glas vatten på en kort stund. Lisa berättar att han kissar ofta. Vad misstänker du nu? Motivera.

Based on the information provided, it is possible that Kalle may be experiencing dehydration. Dehydration occurs when the body does not have enough fluids, and can be caused by a variety of factors such as excessive sweating, vomiting, diarrhea, or not drinking enough fluids.

One sign of dehydration is increased thirst, which Kalle is experiencing. Another sign is increased urination, which Lisa mentions that Kalle is also experiencing. It is important to properly hydrate the body to maintain good health, and if Kalle is experiencing dehydration, it may be necessary for him to drink more fluids and possibly seek medical attention if his symptoms are severe or do not improve.

Bedömning: 0 av 2p. Korrekt svar: misstanke om diabetes då patienten står på en behandling med kortison. Diabetes är en komplikation till kortisonbehandling som en snart färdig sjuksköterska förväntas känna till och reagera på. Dessutom var detta svar skrivet på engelska av botten, trots att frågan ställts på svenska.

Vidare hade vi exempel på svar där upprepade grammatiska fel (”en dödsfall”) hade varit en möjlig grund till att en bedömande lärare kunde ha reagerat, förutom förekommande faktafel.

I Sverige finns det olika typer av efterlevandestöd som kan erbjudas till den som har förlorat en närstående. Detta syftar till att hjälpa den som sörjer att hantera sin sorg och sin nya situation, samt att ge rådgivning och stöd i olika frågor som kan uppstå efter en dödsfall.

Efterlevandestöd kan till exempel bestå av olika typer av samtalsstöd, gruppstöd, rådgivning och stöd i kontakt med olika myndigheter och försäkringsbolag. Det kan också innefatta stöd i form av praktisk hjälp, till exempel med att ordna begravningen eller att hantera den avlidnes ekonomi.

Det finns olika organisationer och myndigheter som erbjuder efterlevandestöd, till exempel Socialstyrelsen, Försäkringskassan, Försäkringskassans kris- och efterlevandekontor, Röda Korsets efterlevandestöd och olika församlingar och föreningar. Det är också vanligt att kommuner och landsting har egna verksamheter som erbjuder efterlevandestöd. Det är viktigt att tänka på att det finns ingen ”rätt” eller ”fel” sätt att sörja på, och att alla reagerar olika på en dödsfall. Efterlevandestöd är till för att ge stöd och hjälp till den som sörjer, och det kan vara bra att ta kontakt med någon av ovan nämnda organisationer eller myndigheter om man känner att man behöver hjälp att hantera sin sorg eller om man har frågor eller funderingar som man vill få svar på.

Totalt genererade svaren från ChatGPT 28 poäng. Eftersom gränsen för godkänt är 25 poäng skulle de svar som genererats av ChatGPT ha godkänts under förutsättning att studenten lagt in eller bett om någon form av litteraturförankring i svaret. Dessa essäsvar var genomgående präglade av en inre logik, hade väl avvägda stycken och i vissa fall listade svar i punkter eller siffror.

DISKUSSION

Det är tveksamt om de bedömande lärarna hade kunnat identifiera om svaren kom från AI-verktyget ChatGPT. Vid en examination med ett större antal individuella examinationer, och att bedömande lärare hade bedömt lika, hade svar med inre logik och bra innehåll kunnat ha passerat.

En granskning av de 16 svar på frågorna som vi samlade in från AI-verktyget ChatGPT visar att det förekommer ett svar på engelska trots att frågan var ställd på svenska. I detta fall var även svaret felaktigt innehållsligt. De övriga 15 svaren var på svenska. Det hade för bedömande lärare varit ett frågetecken med ett engelskspråkigt svar då inga övriga svar angavs på annat än svenska. Botten hade vidare ett svar vilket avser en skild kontext (personalfrågor i stället för vård). Även detta svar hade identifierats i rättningen och poängsatts till noll poäng. I bägge dessa fall hade svaren stuckit ut, men frågan är om det hade varit nog för att bli misstänksam i en större omfattning.

Svaren har en del grammatiska fel såsom en/ett med följande inkongruenser samt avsaknad av bestämd form, men som är svar som inte nödvändigtvis hade varit något som en bedömande lärare hade reagerat på. Dels förekommer studenter som kan ha svenska som andraspråk, dels är det främst vanligt att det även i en datoriserad inlämning sker felskrivningar där tanken kanske gått snabbare än fingrarna över tangenterna.

Texten från ChatGPT på svenska innehöll i genomsnitt 175–180 ord, vilket i genomsnitt var ungefär två till tre gånger så lång text som studenter skrivit som besvarade frågorna i det digitala examinationsverktyget Inspera Assessment. Dessa essäsvar var genomgående präglade av en inre logik, de hade väl avvägda stycken och i vissa fall listade svar i punkter eller siffror. En sådan framställning är det enklare att duperas av. Som bedömande lärare är det ”drömsvaren” att få bedöma. Det går snabbt att få en överblick över svaret och att de delar eller argument som krävs kan återfinnas.

Diskursen i svaren som genererats av AI-verktyget ChatGPT är emellertid mer amerikansk i sin kommunikativa stil, snarare än svensk (Staples, 2015). Det finns en artighet och strävan efter att inte komma i konflikt med det svar som den anger avseende sexualitet och intimitet. Begrepp som respekt för integritet och privatsfär nämns, i studenternas svar var detta en mindre förekommande aspekt utan ett större fokus på att ge förslag till hjälp och assistans. Denna kulturella skillnad finns exempelvis i tonen på det bra svaret

… Det är viktigt att du också respekterar Lisa och Kalles integritet och privatsfär, och att du ger dem den tid och den plats de behöver för att utforska sin intimitet och sexualitet på ett självbestämmande sätt.

För botten kan man kanske fundera över om vad som är dess modersmål. Det finns litteratur som visat på att personer har en annan kommunikativ stil när de använder sitt andra språk jämfört med sitt modersmål (Han et al., 2020). Frågan är förstås om vi kan tänka oss att det även lyser igenom i en botts svar.

En begränsning är att vi inte gjorde något försök att granska bottens svar i något av de verktyg som tagits fram för ändamålet. Det är i skrivande stund heller inget som förekommer i lärosätets digitala examinationsmiljö, vilket för närvarande enbart påpekar potentiellt plagiat.