Hur AI-verktyget ChatGPT klarar en hemtentamen i palliativ vård

Abstract

Dataprogrammet ChatGPT är en bott som utför automatiska uppgifter. Denna chattbott skapade rubriker under hösten på grund av dess förmåga att med artificiell intelligens (AI) skapa svar på riktade frågor och texter utifrån ett beskrivet syfte. I slutet av december 2022 lades 16 frågor från en hemtentamen i palliativ vård vid sjuksköterskeprogrammet in i AI-botten för att få dem besvarade och testa bottens förmåga att besvara frågorna korrekt. Vi ville även testa om man kunde se någon skillnad på svaren i rättningsmallen och på studenternas svar och på de svar som genererats från AI-botten. En bedömning av bottens svar visade på att den hade klarat examinationen. Somliga svar var mycket bra och resonerande till sin natur, något gav reducerade poäng pga. bristande innehåll och ett par svar felaktiga. Ett svar stack ut då det var på engelska. Svaren hade ibland smärre grammatiska fel, men var främst betydligt längre och bättre strukturerade än studerandes. Möjligheten att upptäcka försök till vilseledande i examination hade varit liten. Det finns skillnad i svarens diskurs, där svaren från botten har en mer amerikansk stil i sin formulering. 

ENGLSIH ABSTRACT

How the AI tool ChatGPT passes a home exam in palliative care
The ChatGPT computer program is a bot that performs automatic tasks. This chatbot made headlines during the fall due to its ability to use Artificial Intelligence (AI) to create answers to targeted questions and texts based on a described purpose. At the end of December 2022, 16 questions from a home exam in palliative care at the nursing program were put into the AI bot to get them answered and test its ability to answer the questions correctly but also an assessment of whether the answers could be detected. An evaluation of the bot’s answers showed it had passed the examination. Some answers were excellent and reasoned, some gave reduced points due to lack of content, and some were incorrect. One answer stood out as it was in English. The answers sometimes had minor grammatical errors but were significantly more prolonged and better structured than the students’ answers. The possibility of detecting attempts at deception in the examination had been limited. There is a difference in discourse in the answers, with the answers from the bot having a more American style.