Pedagogiska dilemman vid anonymiserad examination och bedömning¹

INLEDNING

Diskussionen kring anonymiserade examinationer i högre utbildning har förts länge, framför allt efter Bolognareformen. Argumentationen har huvudsakligen handlat om ökad rättssäkerhet, trots att det saknas stark evidens för att anonymisering markant skulle minska bias i bedömning och betygsättning. Det finns naturligtvis alltid en viss risk för bias när lärare bedömer studenters prestationer, men frågan är hur stort problemet är i realiteten. På senare år har det gjorts flera större studier som nyanserar bilden av bias som ett stort problem, vilket ger anledning att på nytt diskutera huruvida anonymisering är bästa sättet att minimera problemet. Det är även dags att på allvar diskutera vilka andra, oönskade, konsekvenser anonymisering kan få.

Diskussionen om de pedagogiska konsekvenserna av anonymiserade examinationsupplägg hamnade ofta i skymundan när anonymiserade examinationer infördes vid många svenska lärosäten för ett drygt tiotal år sedan. I dag finns dock ett starkt forskningsfält som visar hur examination och bedömning påverkar studenters lärande. Det ger ytterligare anledning till kritisk reflektion över anonymiseringens effekter på studenters lärande.

I syfte att lyfta fram ett pedagogiskt perspektiv på anonymiserade examinationer, där studenters lärande står i fokus, kommer jag i det följande att referera till forskning och diskussioner om anonymisering av examinationer inom högre utbildning. Diskussionen kring anonymisering knyter jag till paradigmet lärandeorienterad examination och bedömning (learning oriented assessment; Carless, 2007, 2015a, 2015b; Zeng et al., 2018). Sådan examination syftar i första hand till att stimulera lärande genom meningsfulla examinationsupplägg och skiljer sig alltså från synsättet att examination och bedömning enbart syftar till att kontrollera erhållna kunskaper.

När det gäller forskning om anonymisering, bias och bedömning/betygsättning har jag valt att ge särskild tyngd åt studier med gediget empiriskt underlag, genomförda efter Bolognareformens och den målrelaterade bedömningens införande. Jag tycker mig utifrån dessa studier se att det saknas belägg för att anonymisering på ett betydande sätt skulle minska effekten av bias. Däremot kan jag se att anonymiserings potentiellt negativa konsekvenser för en lärandeorienterad examinations- och bedömningskultur är reella.

ANONYMISERADE PRESTATIONER OCH GENERATIV AI

Under det gångna året har vi sett en lavinartad ökning av användandet av generativa AI-språkbotar. Diskussionen kring AI påminner om samtalen vi hade under pandemin, när mycket handlade om att förhindra fusk genom otillåtna hjälpmedel, alternativt hur vi kan inkludera AI som fullt tillåtna hjälpmedel i examinationsuppgifter. Jag menar att den nya och lättillgängliga tekniken i ännu högre grad än tidigare manar till eftertanke. Det ska vara tydligt för våra studenter vilka kunskaper och kompetenser som premieras och varför vi examinerar som vi gör. För att kunna vara tydliga krävs att examinerande lärare har en god och uppdaterad kompetens i och ett reflekterande förhållningssätt till examination och bedömning.

Den nya tekniken utgör ett starkt argument för att vara restriktiv med anonymisering: Ju mer anonymt och anonymiserat, desto större utrymme att låta en bot göra jobbet. Kursupplägg med examinationer som inte stimulerar studenter till ett djupinriktat och meningsfullt lärande lämnar alla dörrar öppna för genvägar via ChatGPT eller liknande hjälpmedel. Ett gott, lärandeorienterat examinationsförfarande, där studenten även får lära sig om sitt eget ansvar för lärandet, försvåras dock av ett anonymiserat upplägg.

EN STUDENTDRIVEN FRÅGA OCH RESPONSEN PÅ DEN

Frågan om anonymiserad examination har i hög grad varit studentdriven (i Sverige exempelvis Eliasson, 2009; Rosenberg & Lindkvist, 2008). Den tändande gnistan var en kampanj som drevs av National Union of Students (NUS) i Storbritannien under namnet Mark my words, not my name runt millennieskiftet. Kampanjen tog fasta på en undersökning som hade visat att det inom studentkårerna i Storbritannien fanns en stor oro för att diskriminering och partiskhet från lärarens sida kunde påverka betygsättningen (NUS; Pitt & Winstone, 2018). Även om oron naturligtvis var alarmerande och rätteligen manade till debatt, bör det noteras att kampanjen utgick ifrån en upplevd oro hos studenter snarare än från faktiska belägg för diskriminering.

Sveriges förenade studentkårer, SFS, har drivit ett liknande anonymiseringskrav som de brittiska studenterna. SFS erkänner som enda undantag från anonymiserade prov de fall då ”anonymiseringen skulle försvåra en saklig bedömning av hur studenten lever upp till målen” (UKÄ, 2020, s. 41). SFS:s krav ledde till att många svenska lärosäten och fakulteter redan för tio–femton år sedan började använda sig av olika mekanismer för examinationsanonymisering. Den utvecklingen föregicks av diskussioner dels om vad som vore juridiskt möjligt, dels om logistiska och praktiska förutsättningar. Däremot diskuterades sällan pedagogiska konsekvenser av anonymisering (Zackari & Olsson, 2022).

Många lärosäten tillämpar i dag (UKÄ, 2020) anonymiserade examinationer och frågan drivs fortfarande från studenthåll, konstaterar Universitetskanslerämbetet, UKÄ, i sin senaste upplaga av Rättssäker examination (2020). Även i Rättssäker examination förespråkas anonymisering av skriftlig examination som lämplig ur ett rättssäkerhetsperspektiv. Även om UKÄ menar att enskilda lärosäten ska avgöra ”om det är möjligt och lämpligt med anonyma prov på en kurs” (UKÄ, 2020) så är det tydligt att anonymiseringstanken har vunnit acceptans på myndighetsnivå.

Ett problem har dock tills relativt nyligen varit att många studier av bias och anonymisering av examinationer i högre utbildning haft ett relativt svagt empiriskt underlag (Bygren, 2020), och att det därför varit svårt att ta vetenskapligt informerad ställning i frågan. Bedömningsförfarandet är mer komplicerat än att förhindra bias. Examination handlar om vilka kompetenser som en utbildning syftar till att träna och vilken kunskapssyn som ska framhållas. I vilken utsträckning kan och bör kunskaper och kompetenser bedömas frikopplade från individens förhållningssätt, erfarenheter och tolkningskontext? Detta är en fråga som behöver diskuteras ytterligare.

FORSKNING OM BIAS PÅVERKAN PÅ BEDÖMNING OCH BETYGSÄTTNING

Eftersom all bedömningspraktik är kontextuellt formad har det varit svårt att dra mer generellt giltiga slutsatser av de många små och kvalitativa studier som gjorts tidigare (Bygren, 2020; Lindberg-Sand, 2011; Pitt & Winstone, 2018; Simper et al., 2021; Wenger, 2000). Det är först på senare år som en mer omfattande forskning (såväl metastudier som kvantitativa studier) av olika anonymiseringspraktiker och konsekvenserna av dem har byggts upp. Intressant nog pekar nyare studier på ett intresse för att nyansera diskussionen kring anonymisering av examinationer utifrån diskursen kring lärandeorienterad examination (Boud & Soler, 2016; Carless, 2015a; Zeng et al., 2018).

Forskningen visar att själva kärnan i den oro som studenter kan uppleva i samband med examination handlar om att få sämre betyg på grund av lärares partiskhet. En av de större studier som gjorts av bias, anonymisering och betygsättningen är genomförd vid Stockholms universitet. Där har Bygren (2020) tittat på betygssättningen av samtliga skriftliga examinationsformer (totalt över 25 000, extraherade från Ladok) inom tre olika ämnesfält (ekonomi, statsvetenskap och sociologi) under en period av 9 år (vt 2005–ht 2013). Den studerade tidsperioden sträcker sig både före och efter införandet av anonyma examinationer i de studerade miljöerna, vilket gjordes genom en central reform vid Stockholms universitet 2009. Som jämförelsematerial använder Bygren motsvarande data från juridikstudenter, vilka skrev anonymiserade examinationer redan före 2009 och alltså inte påverkades nämnvärt av den policystyrda förändringen.

Bygren (2020) har undersökt huruvida anonymiseringen har påverkat betygsättningen utifrån två parametrar, dels ”utländskhet” (”foreignness”), dels kön (kvinna/man). Resultaten visar ingen statistiskt påvisbar påverkan på betygsättning som kan härledas till könsbias. När det gäller parametern ”utländskhet” fanns en svag tendens till ökning av antalet examinationsresultat som i ett anonymiserat examinationsupplägg getts betyget ”godkänt” än i icke anonymiserade examinationsupplägg. Intressant nog är förhållandet det motsatta när det gäller överbetyg (väl godkänt), med en viss minskning av antalet examinationsresultat från studenter med ”utländska” namn som getts betyget ”väl godkänt” i anonymiserade examinationer än i ickeanonymiserade. Bygren ser alltså en viss tendens, även om den var svag, till minskning av ytterbetyg men samtidigt motsvarande ökning av mellanbetyg när examinationer anonymiseras.

Bygren (2020) påpekar att resultaten är anmärkningsvärda och intressanta, eftersom studier som tidigare ofta framhållits som argument för anonymisering anfört att såväl pojkar som minoritetsgrupper diskrimineras. Värt att notera är dock att dessa tidigare studier varken rört högre utbildning eller vuxna studenter utan barn i grund- och gymnasieskolan (Hinnerich et al., 2011, 2015 för svensk högstadiekontext; samt Burgess & Greaves, 2013, Sprietsma, 2013 för andra europeiska länder). Bygren föreslår att bias kopplat till kön skulle kunna förklaras med olika mognadsgrad hos pojkar och flickor i skolåldern, vilket ju inte gäller vuxna studenter. Vad gäller bias för ”utländskhet” föreslår Bygren att sådana tendenser är kontextberoende. Lärare inom högre utbildning är ofta förtrogna med att möta studenter och kollegor i en internationell och heterogen miljö, vilket kunde förklara att det inte finns någon statistiskt påvisbar tendens att diskriminera studenter på grund av ”utländskhet”.

En brittisk longitudinell studie som inkluderade över 30 000 studenter under läsåren 2000/2001 – 2012/2013 pekar i samma riktning. I den jämförde Hinton och Higson (2017) betygen i en anonymiserad skriftlig examination med betygen satta i en icke anonymiserad muntlig examination. De kunde inte se några skillnader i betygsättning som kunde härledas till bias, varken avseende kön eller etnicitet.

En kvantitativ studie (15 000 studenter) vid ett större polskt universitet (Krawczyk, 2018) når liknande resultat. Krawczyk ville där undersöka huruvida kön och fysisk attraktivitet (”physical attractiveness”) påverkade betygen. En jämförelse mellan icke anonym och anonym betygsättning av samma prestationer gav ett visst belägg för att den icke anonyma betygsättning i någon mån gagnade kvinnor. Däremot fann Krawczyk inget belägg för att ”attraktivitet” påverkade betyget.

Ytterligare några studier om bias och bedömning kan helt kort nämnas. Ett par studier av Malouff et al. (2013, 2014) indikerar att så kallad ryktesbias (halo bias), dvs. att läraren vet hur studenten presterat tidigare (2013) eller hur andra lärare bedömt studenten (2014), kan ha viss påverkan på betygsättningen. Batten et al. (2013) har däremot inte kunnat belägga att anonymisering och reducering av ”ryktesinformation” påverkade vare sig bedömning av eller återkoppling på studenternas prestationer.

Sammantaget kan man alltså konstatera att enstaka studier har svaga indikationer för vissa förskjutningar, men att den övergripande bilden är att anonymisering inte har någon statistiskt markant påverkan på akademiska lärares bedömning och betygsättning.

FORSKNING OM BIAS PÅVERKAN PÅ ÅTERKOPPLING OCH KAMRATRESPONS

Det finns ett antal mer småskaliga, kvalitativa studier kring bias i relation till kvalitet i och omfattning av återkoppling till studenterna (eg. Batten at al., 2013; Birch et al., 2016). Bias har dock inte kunnat påvisas. Däremot är det väl belagt (t.ex. Birch et al., 2016), utifrån ett stort antal andra studier, att kvalitativ, individuell återkoppling har stor betydelse för att främja studenters lärande: respons ökar såväl studiemotivationen som känslan av inkludering i lärandekontexten (Birch et al., 2016). Birch et al. ser stora risker för negativ påverkan av anonymisering på återkoppling och studenters lärandeupplevelser och manar därför till försiktighet (Birch et al., 2016).

Det är väl belagt att kamratrespons har positiva effekter på studenters lärande. Vissa studier indikerar att studenter kan uppskatta anonymitet för att det gör att kamratgranskningen känns mer objektiv eller utgör en god möjlighet att träna sig på att ge kamratrespons (van Heerden & Bharuthram, 2021; Li, 2017; Rotsaert et al., 2018). Andra studier indikerar däremot att det för studenter kan ha en positiv inverkan att känna namnet på de studenter man ger återkoppling till och får respons från (van Heerden & Bharuthram, 2021). Öppenheten kan göra att processen upplevs som lättare, mer givande och med en högre grad av tillit. Dijks et al. (2018), liksom van Heerden & Bharuthram (2021), fann att studenter som kände (till) sina kamratgranskare tyckte att det var lättare att tolka och värdera den återkoppling de fick.

Den sammantagna bild som dessa studier ger av studenters upplevelser av anonymisering av kamratgranskning ligger väl i linje med senare års forskning som pekat på betydelsen av rika och täta relationer inom ramen för utbildningen för att motivera studenter och få dem att engagera sig i sina studier mer generellt (Bergqvist Rydén & Larsson, 2018; Felten & Lambert, 2020; Fjelkner-Pihl, 2021; van Heerden & Bharuthram, 2021).

LÄRANDEORIENTERAD EXAMINATION, BEDÖMNING OCH ÅTERKOPPLING

Examination och bedömning utgör bland de absolut starkaste påverkansfaktorerna för hur studenter förhåller sig till sina studier (Carless, 2015a,b SFS, 2013). Det är väl belagt att kommunikationen i samband med examination och bedömning liksom utformningen av examinationsförfarandet (inklusive återkoppling) har en fundamental inverkan på studenternas lärande.

Lärandeorienterad examination kan sägas bestå av tre viktiga byggstenar. Den ena är att examinationsformerna är utformade på ett sätt som stimulerar studenternas lärande och djupinriktade inställning till sitt lärande. Den andra utgörs av bedömarkompetens och avser då både lärares och studenters dito (Boyer, 1990; ESG, 2015, s. 12; HSF, 1993:100; Shulman, 1986). Den tredje byggstenen utgörs av studenternas aktiva engagemang i den återkoppling de får, och att återkopplingen stimulerar till lärande som förbättrar kommande prestationer (Carless, 2015b). Lärandeorienterad examination handlar alltså i hög grad om hur examination, bedömning och lärandemål samspelar, om vikten av transparens och dialog för att stötta studenters lärande samt om vikten av att bedömare såväl som studenter tillägnar sig kompetens i att bedöma och att bli bedömd.

Yang och Carless (2013), och även Hill och West (2020, 2022), tillhör de forskare som upprepat argumenterat för vikten av att feedback är dialogbaserad för att den ska ha bästa möjliga positiva betydelse för studenters lärande. Ett sådant dialogiskt förfarande är beroende av att relationen mellan student och lärare är öppen och tillitsfull (Boud & Molloy, 2013; Carless, 2009; längre tillbaka även Whitelegg, 2002). När det gäller anonymisering av examinationsformer så har Price et al. (2010), liksom på senare år Pitt och Winstone (2018), lyft risken för att denna relation bryts genom anonymiserade examinationer. Därmed riskerar en viktig del av återkopplingens värde att gå förlorad.

PRAKTISKA DILEMMAN KRING ANONYMISERADE EXAMINATIONSFORMER OCH ÅTERKOPPLING

Vissa former av examinationsformer och bedömningsunderlag är lättare att anonymisera än andra. Skriftliga salsbundna examinationer tenderar att vara bland det första som anonymiseras, liksom andra enklare examinationsformer där rätt och fel kan bedömas objektivt. Vad gäller andra former av examinationer finns det dock ofta omständigheter som gör att för- och nackdelar med anonymisering måste vägas mot varandra, något som för övrigt framhållits sedan anonymiserade examinationer började diskuteras i Sverige (exempelvis Pendrill & Daniels, 2009).

Det så eftersträvansvärda utvecklingsperspektivet, där studenter stimuleras att överföra kunskaper mellan kurserna och stöttas i att successivt träna upp sin egen bedömningskompetens (assessment literacy) försvåras genom anonymisering. Det finns emellertid fler omständigheter som hindrar kunskapsutvecklingen. Salsbundna eller andra skriftliga examinationer kan vara svåra att anonymisera om man exempelvis vill inkludera personliga reflektioner kring ett ämnesstoff eller be om kommentarer rörande kursspecifika element (till exempel seminariediskussioner, labbar, exkursioner) eller använda additiva element där studenten successivt bygger vidare på tidigare prestationer. Även examinationsmoment som involverar dialog eller muntliga moment är i riskzonen när examinationen ska vara anonym. Erfarenheter från handledning, grupparbete liksom de flesta formerna av mer autentisk och kompetensbaserad examination är svåra att anonymisera utan att fundamentalt värdefulla aspekter av kunnandet blir osynliga och svårbedömda.

Det finns alltså en risk att en praktik med krav på anonymisering av examinationer får som bieffekt att bedömning av progression i en students kunskaps- och kompetensutveckling ersätts av summativa skriftliga ”objektiva” examinationsformer, helt enkelt för att dessa är lättast att anonymisera.

Den konflikt som lätt uppstår när examination och återkoppling ska vara anonym är lätt att se. Winstone och Boud (2020) pekar på att problematiken uppstår huvudsakligen på grund av att återkoppling traditionellt sett är så nära kopplad till bedömning vid examination. Ett sätt att minska konflikt av det här slaget kan vara att införa många formativa bedömningsmoment under loppet av en kurs, där studenten får framåtsyftande återkoppling som är skild från det bedömningsmoment som är betygsgrundande (Brennan, 2008; Winstone & Boud, 2020).

VILKEN EXAMINATIONSKULTUR VILL VI HA?

När vi i dag diskuterar anonymisering av examination och bedömning är kunskapsläget ett annat än när frågan var aktuell för tio–femton år sedan. I dag visar ett antal större studier baserade på omfattande empiri att det inte finns någon signifikant skillnad i lärares bedömning som kan härledas till huruvida examinationer genomförs anonymiserat eller inte. Däremot pekar många forskare på att den personliga och kontextuellt formade kunskapen, tolkandet och reflekterandet, liksom den utvecklande dialogiska återkopplingen och den relationsrika högre utbildningen riskerar att tappas bort i en anonymiserad examinationspraxis. I ljuset av detta nya kunskapsläge är det således av mycket stor betydelse att anonymiseringsdiskussionen förs med konsekvenserna gällande utbildningarnas kunskapsmål och studenters lärande i åtanke.

Forskningsresultaten gör naturligtvis inte frågan om risken för osakliga bedömningar eller bias mindre viktig, men de gör att man kan ifrågasätta anonymisering som den mest effektiva vägen att gå för att undvika orättvisor. Den oro för exempelvis diskriminering som individuella studenter kan uppleva ska inte på något vis förringas. Men precis som forskning om bedömning och bias i högre utbildning behöver undersöka vad det är för processer eller strukturer som eventuellt leder till bias (Birch et al., 2016), behöver vi diskutera och söka synliggöra hur vi inom högre utbildning kan arbeta för att undvika bias utan att få andra negativa effekter på köpet. Ett sådant sätt är dialog och diskussion: att i olika fora och ur olika aspekter samtala kring bedömning och examination inom högre utbildning. Hur bedömer vi, på vilka grunder och varför på det sättet? Hur kan vi ur ett bredare perspektiv arbeta för att minimera fördomar och diskriminering? Hur kan vi kontinuerligt öka både lärares och studenters bedömarkompetens (jfr även Zeng et al., 2018)? I förlängningen finns det anledning att fundera över vad vi vill signalera till våra studenter när det gäller hur vi rustar dem för framtiden. Ska vårt fokus i examinationen genomsyras av kontroll, där oro för fördomar, fusk och plagiat dominerar? Eller ska examinationsarbetet handla om förståelse, tillit och ansvar för det egna lärandet?

AVSLUTNINGSVIS

Jag vill mena att det finns starka skäl att vara restriktiv med användandet av anonymiserade summativa examinationer, eftersom pedagogiska argument huvudsakligen talar emot dem. Examinationspraxis betydelse för studenters lärande, upplevelsen av inkludering för minoritetsgrupper i relation till målet med breddad rekrytering, betydelsen av möjligheter att ge kvalitativ individuell återkoppling liksom att bedöma progression för studenters lärande är exempel på några pedagogiskt viktiga aspekter att beakta.

Kanske kan en klok och balanserad väg att gå, om man ändå vill använda sig av anonymiserad examination, vara att låta vissa moment i utbildningen få tjäna som kalibrerande examinationsmoment, gärna i formativt syfte. Dessa skulle då, förutom att kontrollera vissa (deklarativa) baskunskaper, ha som ändamål att säkerställa rättssäkerhet, så att studenter känner sig trygga i att de blir rättvist bedömda (en så att säga bekräftande avstämning). Sådana anonymiserade examinationsmoment skulle emellertid inte stå för sig själva utan ingå i en utbyggd och mer sofistikerad återkopplings- och examinationsdesign som möjliggör bedömning av de komplexa kunskaper och kompetenser som är centrala i högre utbildning.

I denna text har jag strävat efter att anlägga ett pedagogiskt perspektiv. Aktuell forskning indikerar att anonymisering riskerar att motverka centrala värden. Samtidigt är ett tydligt empiriskt stöd för att anonymisering i sig reducerar bias i bedömning och examination svårt att finna. Det gör att vi i dag bör väga in fler olika aspekter och möjliga konsekvenser när man diskuterar frågan om anonymiserad bedömnings plats inom högre utbildning. Minimeringen av risken för bias är naturligtvis en mycket viktig aspekt, men även andra, lika viktiga aspekter behöver beaktas.