”Allt sammantaget den bästa kandidaten”: Om möjligheten till en reglerad sammanvägning av meriter som ett sätt att undvika osaklig meritvärdering vid antagning till forskarutbildningen

1. INLEDNING

Förra året antogs i Sverige totalt sett drygt 3000 nya doktorander.¹ Antagningen är inte bara av stor personlig betydelse för de sökande, den är också förbunden med ”lärosätens, institutioners, gruppers och enskilda handledares verksamhet, status, meritering och framtida möjligheter” (Elmgren, Forsberg, Lindberg-Sand och Sonesson, 2014, s. 1). Vidare påverkar antagningen inriktning och kvalitet på en ansenlig del av svensk forskning och den lägger grunden för den vetenskap som det omgivande samhället har tillgång till. Det är därför svårt att överdriva vikten av att det är de mest lämpade som blir antagna till forskarutbildning.

Sökande till doktorandtjänster inkommer med flera olika sorters meriter, som var och en kan bedömas på en rad olika sätt: sökandens uppsatser och artiklar kan bedömas utifrån deras kvalitet och kvantitet; sökandens projektplan kan bedömas utifrån dess originalitet och detaljnivå; sökandens grundutbildning kan bedömas i termer av kursernas bredd men också i termer av sökandens betyg etc.

När en doktorandtjänst ska tillsättas ska vanligen ett handledarkollegium väga samman dessa meriter till ett samlat omdöme för att avgöra vem som ska få tjänsten. Det kan vara svårt i sig att avgöra hur starka var och en av meriterna är (”Hur bra är den här uppsatsen?”), men att väga samman dem på ett rimligt och konsekvent sätt (”Hur viktig är en projektplans originalitet i relation till dess detaljnivå?”) är ännu svårare. Vanligen har handledarkollegiet inte heller någon hjälp av de styrdokument som reglerar antagning till forskarutbildningen, då dessa sällan beskriver hur man ska gå till väga med just sammanvägningen.

Att sammanvägningen är oreglerad och samtidigt svår att göra är speciellt oroande i ljuset av studier om implicita fördomars påverkan av meritbedömning. Dessa har påvisat att bedömares fördomar speciellt manifesteras i de situationer där sökande har inkommit med meriter som inte är entydigt bra eller dåliga, det vill säga situationer där olika sätt att väga samman meriterna kan resultera i olika rangordningar av de sökande. Fördomarna tar sig där uttryck genom att bedömarna (till synes omedvetet) väljer att väga samman meriterna på ett sätt som missgynnar vissa sociala grupper till förmån för sökande som bedömarna (eventuellt omedvetet) föredrar på osakliga grunder.

Den här texten kommer först att kort redovisa några studier om fördomsfull sammanvägning. Den kommer därefter att undersöka olika sammanvägningsprinciper som skulle kunna tillämpas vid antagning till forskarutbildning. Huvudsyftet är att hitta principer som skyddar de sökande från bedömarnas eventuella implicita fördomar genom att entydigt väga samman en uppsättning bedömningar av specifika meriter till ett samlat omdöme om en sökande. För att konkretisera diskussionen kommer texten att utgå från regler och praxis rörande sammanvägning av meriter vid antagning till forskarutbildning vid Humanistiska och teologiska fakulteterna vid Lunds universitet.

Det bör nämnas att studierna som beskrivs i nästa del inte handlar specifikt om doktorandtillsättningsärenden och att texten inte utgår från att resultaten från dessa studier kan generaliseras på något enkelt sätt till den på många sätt annorlunda doktorandtjänsttillsättningssituationen. Texten diskuterar istället tillvägagångssätt som skulle kunna användas, om det skulle visa sig (via framtida studier) att implicita fördomar (eller annan form av osaklighet) påverkar doktorandtjänsttillsättning. Tillvägagångssätten skulle också kunna användas om en forskningsenhet vill arbeta proaktivt mot fördomsfullhet. Det bör också understrykas att det inte finns några speciella skäl att tro att de antagningsärenden som diskuteras i Sektion 5 har präglats av fördomsfull sammanvägning. Antagningsärendena tas bara upp som illustrationer av möjliga sammanvägningsprinciper. Det ska också nämnas att texten inte har för avsikt att på ett systematiskt sett återge hur praxis ser ut vid Humanistiska och teologiska fakulteterna vid Lunds universitet. Ambitionen är att ta inspiration från denna praxis för att kartlägga möjliga sammanvägningsprinciper och styrkor och svagheter med dessa. Slutligen kommer texten av utrymmesskäl inte diskutera någon annan form av fördomsfull bedömning än just fördomsfull sammanvägning.

2. FÖRDOMSFULL SAMMANVÄGNING AV MERITER

De senaste decennierna har det skrivits en stor mängd artiklar som kartlägger hur och när mänskligt beteende präglas av implicita fördomar (”Implicit Bias”), det vill säga omedvetna tendenser att på olika sätt missgynna vissa sociala grupper. Här ingår till exempel sexistiska och rasistiska fördomar som även uttalade (och uppriktiga) feminister och antirasister skulle kunna bära på (se t.ex. Hardin & Banaji, 2013) men även andra sorters fördomar, baserade på till exempel klassbakgrund, sexualitet, vikt och ålder.

Några av dessa studier rör specifikt sammanvägningen av meriter. Hodson, Davidio och Gaertner (2002), till exempel, rapporterar en studie där ett antal personer får bedöma ansökningshandlingar till en utbildning. Varje kandidat är kopplad till en merituppsättning med två slags meriter: ”SAT-scores” (resultat på standardiserade test motsvarande det svenska högskoleprovet) och ”High school performance” (vilket bland annat inbegriper sökandes betyg från deras tidigare läroinstans). Författarna lät vissa försökspersoner bedöma en merituppsättning kopplad till ett foto av en vit student och lät andra försökspersoner bedöma samma merituppsättning när denna var kopplad till ett foto på en svart student. Det visade sig att bara bedömningen av kandidater med meriter av blandad kvalitet (det vill säga de kandidater som har dåliga ”SAT-scores” men bra ”High school performance” eller tvärtom) var fördomsfull. I de fall där en kandidat hade antingen entydigt bra eller entydigt dåliga kvalifikationer påvisades inte något fördomsfullt beteende. Inget fördomsfullt beteende kunde heller påvisas vad gäller bedömningen av hur bra en kandidat faktiskt presterat vad gäller de två meritformerna, bara vad gäller hur viktiga meritformerna var för att bli antagen till utbildningen.

Resultaten ger starkt stöd till tesen att försökspersonerna väger samman meriter på olika sätt när de bedömer vita och svarta kandidater. För att illustrera hur allvarlig den här sortens fördomsfullhet är kan man reflektera över följande hypotetiska exempel med fyra olika kandidater, där kandidat B och D har entydiga meriter och kandidat A och C har blandade meriter. Anta att meriterna mäts på en femgradig skala där 5 är bäst och 1 är sämst.

Genom att lägga olika stor vikt (vilken kvantifieras med ett tal mellan 0 och 1) vid de två sorternas meriter så kan man förändra summan av kandidaternas meritpoäng för kandidat A och C (som har blandade meriter) men inte för kandidat B och D. Jämför till exempel följande situation, där SAT-scores får vikt 0.4 och High school performance får vikt 0.6, med den omvända situationen.

Här ger de viktade summorna upphov till följande ordning: B>C>A>D (d.v.s. B är bättre än C som är bättre än A som är bättre än D). Men givet att man kastar om vikterna får man istället följande resultat.

Här ger de viktade summorna istället upphov till följande ordning: B>A>C>D (d.v.s. B är bättre än A som är bättre än C som är bättre än D).

Vi kan notera att det bara är meritsumman för kandidaterna med blandade meriter som kan manipuleras genom att skifta sammanvägningssättet (/viktningen). Kandidaterna med entydiga meriter har samma summor oavsett viktning. Det här talar för att det som äger rum i Hodsons, Dovidios och Gaertners studie är just ett skifte av sammanvägningssätt.

Den här sortens sammanvägningsskifte är förrädiskt eftersom bedömarna i båda grupperna behandlar alla kandidaterna inom gruppen på exakt samma sätt; deras sammantagna bedömning och rangordning kan motiveras utifrån deras respektive viktning. Den fördomsfulla bedömningen består i det (eventuellt omedvetna) ad hoc-valet av sammanvägningsprincip (för att lyfta fram A eller C).

I en annan studie beskriver Uhlmann och Cohen (2005) hur försökspersonerna bedömer kandidater till en tjänst som polischef. Kandidaten hade antingen ett typiskt manligt (”Michel”) eller ett typiskt kvinnligt namn (”Michelle”) och en av två merituppsättningar. I den ena beskrevs kandidaten som ”gatusmart” (”streetwise”) men inte formellt utbildad; kandidaten är tuff, i god fysisk form och har erfarenhet av att jobba i utsatta områden, men saknar formell utbildning och administrativ kompetens. Den andra merituppsättningen var den motsatta, den beskriver kandidaten som välutbildad med administrationserfarenhet men i sämre fysisk form och utan erfarenhet av att jobba i utsatta områden. Genom att kombinera antingen ett manligt eller ett kvinnligt namn med de två merituppsättningarna skapade Uhlmann och Cohen fyra stycken kandidater. Varje försöksperson fick bedöma en av de här fyra kandidaterna. Det visade sig att försökspersonerna bedömde den manliga och den kvinnliga kandidaten på ett jämförbart sätt vad gäller specifika meriter (”Hur välutbildad är den här kandidaten?”) men skiftade i hur viktiga de tyckte att enskilda meriter var för att bli polischef beroende på om kandidaten var man eller kvinna. Sammantaget så ansågs de manliga kandidaterna vara mer lämpliga för tjänsten än sina kvinnliga motsvarigheter, trots att dessa hade identiska meriter. Uhlmann och Cohen rapporterar också en liknande studie vad gäller kandidater till en tjänst som ”womens studies”-professor där samma mönster upprepas, men där de kvinnliga kandidaterna anses som mer lämpligare än män med exakt samma meriter.

Det mönster som beskrivs ovan återfinns även i flera andra studier, till exempel Steele och Green (1976), Dovidio och Gaertner (2000) och Norton, Vandello och Darley (2004).

3. FÖRDOMSFULL SAMMANVÄGNING VID DOKTORANDTJÄNSTTILLSÄTTNING

Det är lätt att tänka sig hur en bedömning av sökande till en doktorandtjänst skulle kunna påverkas av fördomsfull sammanvägning på det sätt som illustrerats ovan. Föreställ dig till exempel en antagningssituation där det står mellan två kandidater. En av kandidaterna har bara inkommit med ett relevant skriftligt arbete, en masteruppsats, vilken är av avsevärd kvalitet. En annan kandidat har inkommit med två relevanta skriftliga arbeten, båda av något lägre kvalitet än den första kandidatens arbete. Om kvalitet bedöms som betydligt viktigare än kvantitet så borde man välja den första kandidaten, men om den relativa vikten av kvalitet och kvantitet är annorlunda så kan den andra kandidaten framstå som lämpligare. Om handledarkollegiet som är ansvariga för bedömningen påverkas av implicita fördomar så har vi här en situation som skulle kunna avgöras osakligt genom att handledarkollegiet omedvetet väljer en viktning av meriterna som passar personen de vill ha. Det hade varit att föredra att det funnits en sammanvägningsprincip som etablerats sedan tidigare, som kunde användas för att bestämma vilken av personerna som handledarkollegiet borde välja.

Ingen av de citerade studierna i Sektion 2 undersöker specifikt omständigheterna vid doktorandtjänsttillsättning. Mig veterligen finns det inte heller några sådana studier som undersöker just fördomsfull sammanvägning av meriter i den här kontexten.² Vad som finns att tillgå är olika former av statistik kring hur representationen av olika sociala grupper ser ut bland landets forskarstuderande. Enligt Universitet och högskolor. Årsrapport 2019 så är könsfördelningen bland nyblivna doktorander på nationell nivå sedan åtminstone tio år tillbaka extremt jämn (50% män och 50% kvinnor 2018) om man inte delar upp doktoranderna efter forskningsområde. Gör man det, ser man att kvinnor är kraftigt underrepresenterade bland nyblivna svenska doktorander inom områdena naturvetenskap och teknik (ca en tredjedel är kvinnor). Även forskningsämnesområden som har jämn könsbalans som helhet, till exempel humaniora, innehåller enskilda ämnen med ojämn könsfördelning.³ Till exempel så antogs enligt Granskning av utbildningarna inom filosofiområdet (Högskoleverket, 2008) under femårsperioden 2003–2007 sammanlagt 61 doktorander till forskarutbildningen i praktisk filosofi, teoretisk filosofi och filosofi varav bara 20 var kvinnor.⁴ Vidare redovisar Universitet och högskolor. Årsrapport 2019 att det var 42% utländska nyblivna doktorander 2018 och att 60% av de nyblivna doktoranderna det läsåret 2017/18 hade högutbildade föräldrar.

Den tillgängliga statistiken säger dock väldigt lite om fördomsfull rekrytering, eftersom den i sig inte säger någonting om huruvida någon grupp har missgynnats eller inte, och därför inte om de missgynnats via fördomsfull sammanvägning. För att etablera detta skulle det krävas studier liknande de som rapporterades i Sektion 2 där fingerade merituppsättningar kopplas till flera olika grupptillhörigheter (man/kvinna, vit/svart etc.) och det undersöks om handledarkollegium påverkas i sina bedömningar av vilka grupptillhörigheter som kopplas till merituppsättningarna.⁵

Det är viktigt att notera hur generellt problemet med ad hoc-sammanvägningar är. Det är inte bara implicita fördomar som kan döljas bakom en sådan sammanvägning. Det är också problematiskt när det finns uttalade, medvetna fördomar, eller när det förekommer osaklighet som inte är kopplad till grupptillhörighet, till exempel när någon hyser personligt agg mot en sökande, eller det finns ett jävförhållande eller ett egenintresse hos handledarna att främja sina egna karriärer. Det är därför svårt att komma åt det generella problemet genom att inrikta sig på att göra människor mindre implicit fördomsfulla, något som oavsett har visat sig vara väldigt svårt.⁶

Jag kommer istället att titta på möjligheten att undvika fördomsfull eller osaklig sammanvägning genom att i förväg specificera hur sammanvägningen av olika meriter ska gå till, så att den relativa vikten av olika meriter inte kan bestämmas ad hoc på basis av vilken uppsättning kandidater som bedöms. Att närma sig problemet på det här sättet har visst stöd i litteraturen, till exempel visar Uhlmann och Cohen (2005) att om försökspersoner får bedöma hur viktiga olika kvalifikationer är för att vara polischef innan de får titta på faktiska kandidater, så bedömer de inte längre manliga och kvinnliga kandidater med samma meriter olika.

För att konkretisera diskussionen kommer texten att utgå från regler och praxis rörande sammanvägning av meriter vid doktorandtjänsttillsättning vid Humanistiska och teologiska fakulteterna vid Lunds universitet (där författaren själv är verksam). Som Elmgren, Forsberg, Lindberg-Sand och Sonesson (2014, s. 30–32) gör klart, kan antagningsprocessen variera väldigt mellan olika forskningsmiljöer beroende på till exempel hur doktorandtjänsten ska finansieras och huruvida finansieringen är villkorad till olika grupper eller individer. Vad som följer är därför på inget sätt allmängiltigt. En fördel med att titta på sammanvägning av meriter vid doktorandtjänsttillsättning vid just Humanistiska och teologiska fakulteterna vid Lunds universitet är att det där finns generella styrdokument som reglerar vilka kriterier som ska användas vid bedömning och att alla utvärderingar måste redovisas skriftligt.

4. BEDÖMNING AV SÖKANDE TILL DOKTORANDTJÄNSTER VID DE HUMANISTISKA OCH TEOLOGISKA FAKULTETERNA VID LUNDS UNIVERSITET

Enligt högskoleförordningen 35 § krävs det för att bli antagen till utbildning på forskarnivå att den sökande förutom att ha grundläggande och särskild behörighet ”bedöms ha sådan förmåga i övrigt som behövs för att tillgodogöra sig utbildningen”. Inga ytterligare bedömningsgrunder anges och i 41 § lämnar förordningen över till högskolan att ”bestämma vilka bedömningsgrunder som ska tillämpas vid prövningen av förmågan att tillgodogöra sig utbildningen”.

Vid Humanistiska och teologiska fakulteterna vid Lunds universitet (hädanefter ”HT”) axlar ”Bestämmelser för utbildning på forskarnivå inom humanistiska och teologiska fakulteterna” den ålagda uppgiften att specificera bedömningsgrunderna.⁷ Den relevanta skrivelsen som återfinns där (s. 4) lyder i sin helhet som följer:

”Institutionens prövning av de sökandes förmåga att tillgodogöra sig utbildningen på forskarnivå ska göras på grundval av samtliga handlingar som de sökande bifogar till ansökan och göras utifrån kriterierna kvalitet, kvantitet, progression och relevans. Bedömningen ska också innefatta personlig lämplighet och progression inom ämnesstudierna hos de sökande. Institutionen kan därför besluta att komplettera bedömningen med ett intervjumoment i beredningen av ansökningarna från en tätgrupp. Resultaten av intervjuerna ska i så fall redovisas tydligt i yttrandet.”

(Humanistiska och teologiska fakulteterna, Lunds universitet 2011, s. 4, min kursivering)

Skrivelsen lämnar mycket övrigt att önska; inget av de fyra kursiverade kriterierna förklaras ytterligare, och det förklaras inte varför ”personlig lämplighet” och ”progression inom ämnesstudierna” särskiljs från de fyra första kriterierna (”bedömningen ska också innefatta …”).⁸ Det sägs inte heller något om hur de fyra kriterierna, personlig lämplighet samt progression inom ämnesstudierna ska sammanvägas.

Diskussionen nedan kommer att fokusera på de fyra första kriterierna eftersom det är de som vanligen diskuteras i HT-ämnenas utvärderingar. Eftersom den här texten fokuserar på sammanvägningen av kriterier snarare än tolkningen av enskilda kriterier så finns det inget utrymme att i detalj diskutera hur vart och ett av de fyra kriterierna bäst ska förstås. Jag kommer att anta att kvalitet svarar mot hur bra den sökandes verk (inklusive hennes projektplan) är i förhållande till en för ämnet gängse standard, att kvantitet har att göra med hur många och hur omfattande verk den sökande åberopar, att progression är kopplat till den sökandes förmåga att utvecklas och lära sig och att relevans rör kopplingen framför allt mellan den sökandes projektplan och det ämne den sökande önskar doktorera inom. Vart och ett av kriterierna hade dock behövt en separat utredning.⁹

Något som är centralt för resten av diskussionen är på vilka sätt de fyra kriterierna kan jämföras och mätas. Detta påverkar vilken sorts sammanvägning som kan komma ifråga. Det verkar (på basis av existerande utvärderingar av sökande till doktorandtjänster vid HT) okontroversiellt att det utifrån vart och ett av kriterierna går att ordna sökande partiellt på basis av de relevanta meriternas styrkeförhållande. Om meriterna bara kan jämföras på det här sättet (i termer av att vara bättre eller sämre än varandra, eller i termer av att vara likvärdiga) men att det inte går att kvantifiera hur mycket bättre eller sämre än varandra de är, har vi att göra med en ordinalskala.¹⁰ Som vi kommer att se nedan möjliggör sådana skalor bara relativt grova former av sammanvägningar. När vi använder ordinalskalor är det till exempel inte möjligt att göra vad som ibland kallas kompensatorisk sammanvägning (jfr Department for Communities and Local Government, 2009), det vill säga en sammanvägning sådan att en svaghet i förhållande till ett kriterium vägs upp genom en styrka i förhållande till ett annat kriterium. Detta följer eftersom differensen mellan siffrorna på en ordinalskala inte behöver svara mot skillnaden mellan meriterna som mäts. I Sektion 5 kommer jag att diskutera två sätt att rangordna kandidater som bara förutsätter en ordinalskala: dominansbaserad rangordning och lexikografisk ordning.

I exemplet i Sektion 2 utgick vi från att en kandidats meriter kopplade till respektive kriterium (i det fallet ”SAT-scores” och ”High school performance”) kan tillskrivas siffror vars (viktade) medelvärde kan användas för att rangordna kandidaterna på ett meningsfullt sätt. Det förutsätter att det går att uppskatta hur mycket bättre en kandidat är än en annan vad gäller ett visst kriterium. I en sådan situation har vi att göra med en intervallskala (jfr Stevens, 1946). Givet en intervallskala kan vi använda viktade medelvärden för att väga samman olika kriterier och därigenom åstadkomma en sorts kompensatorisk sammanvägning. Nedan kommer vi att titta på tre stycken principer som förutsätter en intervallskala, en viktningsordning, en exakt viktning och en relativt viktningsoberoende sammanvägning.

Huruvida det är rimligt att anta att meriterna som svarar mot de fyra kriterierna kan mätas på en intervallskala eller bara på en ordinalskala är en svår fråga som beror på exakt hur man specificerar de olika kriterierna. Tolkas till exempel kvantitet direkt i termer av antal inskickade verk eller skrivna sidor är det uppenbart att man har att göra med en intervallskala. Men det här är mindre uppenbart vad gäller de övriga kriterierna. Här kommer jag bara notera att de tre sista metoderna i Sektion 5 förutsätter en intervallskala och det är något som förespråkare för dessa måste försvara.

5. FEM METODER ATT RANGORDNA SÖKANDE TILL DOKTORANDTJÄNSTER

5.1 Dominansbaserad rangordning

Inte alla uppsättningar sökande kräver exakta sammanvägningsregler. Åtminstone teoretiskt kan man tänka sig grupper där vad som ibland kallas dominansbaserad rangordning är tillräcklig för att ordna alla kandidater (Department for Communities and Local Government, 2009). Man har då att göra med en situation där alla par av kandidater är sådana att en av de två kandidaterna bedöms som 1) åtminstone lika bra som den andra vad gäller alla meriter och 2) bättre än den andre vad gäller åtminstone någon merit. Kandidaten med överlägsna meriter i varje par sägs dominera den andra kandidaten.

Ponera till exempel att en doktorandtjänst har tre sökande där allas meriter partiellt har ordnats på en ordinalskala i termer av deras relativa styrka vad gäller kvalitet, kvantitet, progression och relevans.

Ordinaltalen i exemplet reflekterar att Kandidat 1 bedöms som bättre vad gäller kvalitet och relevans än övriga och Kandidat 2 och 3 bedöms som likvärdiga i dessa avseenden. Vidare bedöms Kandidat 1 och 2 som likvärdiga vad gäller kvantitet och båda som bättre i detta avseende än Kandidat 3. Samtliga kandidater bedöms som likvärdiga vad gäller progression. I det här fallet dominerar Kandidat 1 Kandidat 2 som i sin tur dominerar Kandidat 3. Här behövs ingen sammanvägning eftersom Kandidat 1 är strikt bättre än Kandidat 2 och båda är strikt bättre än Kandidat 3.

Utlåtanden om sökande till doktorandtjänster vid HT gör det klart att det är vanligt att åtminstone några personer bland en grupp sökande dominerar åtminstone några andra i gruppen. Det är inte alltid det skrivs ut att en eller flera kandidater är bättre eller lika bra än andra kandidater på alla kriterier, men det är relativt vanligt att några kandidater jämförs bara i termer av en delmängd av de fyra kriterierna och att detta anses vara tillräckligt. Detta verkar förutsätta en dominansrelation. Ta till exempel följande påstående:

”[X] and [Y’s] applications are both of excellent quality, highest relevance and show a strong progression. They have therefore an advantage over the other top candidates.”

(Institutionen för kulturvetenskaper, Biblioteks- och informationsvetenskap, LU, 2015)

Här jämförs inte X och Y med övriga kandidater i termer av kvantitet, men slutsatsen som dras antyder att X och Y måste ha kvantitetsmässigt likvärdiga meriter som de andra kandidaterna, det vill säga att X och Y dominerar övriga kandidater, annars är slutsatsen inte rimlig.

Här är ytterligare ett exempel med samma struktur:

“[I]n the group of top candidates [X] stands out in terms of the criteria of quality, quantity, progression and relevance; we were impressed by the quality and thoroughness of her MA thesis which is more than 140 pages long. The committee also found her project plan to be original and promising and to fit very well with the research profile of the department. Her project connects with core issues in practical philosophy. [Y’s] project plan is at least as original, and it also fits the departmental profile … Her project is in many ways very ambitious, but the fact that [X’s] attached work was somewhat more impressive, explains why [Y’s] highly interesting and promising application is placed slightly below … [X’s].”

(Filosofiska institutionen, praktisk filosofi, Lunds universitet, 2016)

I det här fallet leds vi att anta att X dominerar Y eftersom X kvalitetsfördel (”X’s attached work was somewhat more impressive”) är tillräcklig för att X ska placeras före Y.

Även om det är vanligt med enstaka dominansförhållanden bland en uppsättning kandidater är världen sällan så välordnad att en bedömargrupp helt kan förlita sig på dominansbaserad rangordning för att avgöra hur alla sökande ska rangordnas. Oftast är någon sökande starkare än någon annan vad gäller ett kriterium, men svagare vad gäller ett annat. I dessa fall behöver vi något annat sätt att rangordna de sökande.

5.2 En lexikografisk ordning

Dominansbaserad rangordning är inte det enda sättet att utnyttja ordinalskalor för att rangordna en grupp sökande. En utvärdering gjord inom ämnet teoretisk filosofi kan användas för att illustrera ytterligare en metod. Den relevanta skrivelsen kommer att redovisas i två steg för att i förlängningen belysa två olika rangordningsmetoder. Metoden som redovisas först är inte den av ämnet avsedda men är intressant icke desto mindre. Den relevanta passagen inleds så här:

”Based on instructions from the Joint Faculties of Humanities and Theology, the following evaluation criteria were used:

1. Quality

2. Quantity

3. Relevance

4. Progression

Thus quality is taken to be the most important factor, followed by quantity, relevance and progression in that order ...”

(Filosofiska institutionen, teoretisk filosofi, Lunds universitet, 2016)

Ordningen i vilken kriterierna räknas upp i HTs dokument antas alltså här svara mot hur viktiga de är, med det viktigaste kriteriet, kvalitet, först.¹¹ Ett möjligt sätt att specificera exakt vilken roll ordningen ska ha vid rangordning är genom att tolka den i termer av en lexikografisk ordning.¹² Enligt en sådan tar man bara hänsyn till kriterier lägre ner i listan då kandidater bedöms som lika bra i avseende på kriterier högre upp i listan. Den här principen skulle då förespråka att man i första hand bara bedömer sökande kvalitetsmässigt, och bara i fall där två kandidater är jämnstarka i detta avseende tar hänsyn till kvantitet, samt bara i fall där två kandidater är jämnstarka i både kvalitet och kvantitet tar hänsyn till relevans etc.

Att rangordna kandidater baserat på en lexikografisk ordning förutsätter inte den sortens välordnade situationer som en ren dominansbaserad rangordning förutsätter, utan är ett mer generellt förfarande. Tänk dig till exempel följande situation där allas meriter återigen har partiellt ordnats på en ordinalskala (där 1 således återigen är bäst) i termer av deras relativa styrka vad gäller kvalitet, kvantitet, progression och relevans.

Här dominerar ingen kandidat någon av de övriga. Vi kan således inte använda dominansbaserad rangordning alls. Men den lexikografiska ordningen ovan resulterar entydigt i följande rangordning:

1. Kandidat 1

2. Kandidat 3

3. Kandidat 2

En lexikografisk ordning är dock problematisk i det att den inte tillåter kompensatorisk sammanvägning. Enligt den lexikografiska ordningen kan inte en liten nackdel vad gäller ett kriterium vägas upp av en stor fördel vad gäller något annat kriterium. I exemplet ovan spelar det till exempel ingen roll om det är en väldigt liten kvalitetsmässig skillnad mellan Kandidat 1 och Kandidat 2, den kan ändå inte vägas upp av en väldigt stor kvantitetsmässig fördel. Det här är ett viktigt tillkortakommande. Om en sökande har skrivit en hel bok och en annan bara har en masteruppsats så är väl ändå den förra att bedöma som bättre i fall där det bara finns en ringa kvalitetsmässig fördel till den senare? Vi behöver således vända oss till metoder som tillåter kompensatorisk sammanvägning.

5.3 Viktningsordningar

Vi kan nu titta på hela den passage som återgavs delvis i Sektion 5.2.

”Based on instructions from the Joint Faculties of Humanities and Theology, the following evaluation criteria were used:

1. Quality

2. Quantity

3. Relevance

4. Progression

Thus quality is taken to be the most important factor, followed by quantity, relevance and progression in that order. All criteria are taken into account in the overall evaluation of each eligible applicant. It is for instance, possible in theory that the overall best candidate is not the candidate receiving the highest score on quality, if he or she received very high scores on the other criteria.”

(Filosofiska institutionen, teoretisk filosofi, Lunds universitet, 2016, min kursivering)

Här framgår det att handledarkollegiet inte hade en lexikografisk ordning i åtanke eftersom kriterier längre ner i listan antas kunna slå ut kriterier högre upp i listan. Så något annat måste åsyftas.

Vi kan tolka den bakomliggande principen på ett exakt sätt om vi utgår ifrån att kriterierna kan mätas på en intervallskala, att sammanvägningen motsvarar ett viktat medel och kriterieordningen svarar mot en viktningsordning, där det kriterium som ska ha störst vikt kommer först, det som ska ha näst högst vikt kommer näst först etc. Rangordningsprincipen i skrivelsen tolkar vi alltså på följande sätt:

Kvalitetsvikt > Kvantitetsvikt > Relevansvikt > Progressionsvikt

Kravet är således inte att man ska använda sig av en exakt viktning, bara att de vikter man faktiskt använder ska vara förenliga med den här viktningsordningen. Vi kan konkretisera tanken med följande godtyckliga exempelvikter:

Kvalitetsvikt = .4 > Kvantitetsvikt = .3 > Relevansvikt = .2 > Progressionsvikt = .1

och därmed exemplifiera vad en viktningsordning kan innebär med hjälp av två hypotetiska kandidater. Vi antar för enkelhetens skull en femgradig intervallskala där 5 är bäst och 1 är sämst.

Givet den här uppsättningen vikter så är kandidat nummer två att föredra (=får en högre viktad summa) än kandidat ett, även om den senare har ett högre värde på det högst viktade kriteriet, kvalitet. Här har vi då en sammanvägningsprincip som tillåter kompensatorisk sammanvägning. Att Kandidat 2 kvalitetsmässigt ligger lite under Kandidat 1 kompenseras av att Kandidat 2 ligger mycket över Kandidat 1 vad gäller kvantitet och relevans.

En viktningsordning är dock inte tillräcklig för att undvika de problem med fördomsfull sammanvägning som beskrevs i Sektion 2. Tänk dig till exempel följande viktning som också är i enlighet med teoretisk filosofis viktningsordning.

Kvalitet = .7 > Kvantitet = .15 > Relevans = .1>Progression = .05

Här är Kandidat 1 att föredra (=får en högre summa) framför Kandidat 2 trots att viktningsordningen är densamma i de båda exemplen. Så att bara fixera viktningsordningen (vilket görs i utvärderingen från teoretisk filosofi) är inte tillräckligt för att säkert stoppa den sorts fördomsfulla sammanvägning som beskrevs i Sektion 2. Vad som verkar behövas är en exakt viktning av kriterierna.

5.5 En väg runt problemen: en relativt viktningsoberoende sammanvägning

Det är dock möjligt att få till stånd en sorts kompensatorisk sammanvägning, som undviker sammanvägningsfördomar och de problem vi just gick igenom. Denna kan man få till stånd genom att fråga sig för en uppsättning kandidater: ”vilken av kandidaterna skulle ha fått tjänsten vid flest av alla möjliga viktningar?” Det här är görbart så länge någon begränsning införs så att de möjliga viktningarna inte är oändligt många, till exempel att vikter bara får vara positiva multiplar av 0.10. Låt oss kalla den här metoden för en naiv relativt viktningsoberoende sammanvägning.

För att illustrera metoden, tänk dig en enkel situation där följande två kandidater står emot varandra och de rankas på en intervallskala där 5 är bäst och 1 är sämst.

Om man begränsar de möjliga vikterna till positiva multiplar av 0.10 (som sammanlagda blir 1) finns det 78 möjliga sätt att vikta de fyra kriterierna. För just de här två kandidaterna blir resultatet av 30 av dessa viktningar att Kandidat 1 får högst poäng och resultatet av 39 av dessa att Kandidat 2 får högst poäng (och 9 viktningar likställer de båda kandidaterna). Metoden plockar därför ut Kandidat 2 som vinnare.

Vanligen bedöms dock inte alla meriter som lika viktiga. För att representera detta kan man foga en viktningsordning till metoden och på så vis begränsa mängden av de möjliga viktningarna. Man skulle till exempel kunna använda viktningsordningen som förordades av teoretisk filosofi. Men man skulle också kunna använda en mycket svagare viktningsordning, till exempel ett krav på att kvalitet måste ha högre vikt än de andra kriterierna men att lämna öppet hur dessa ska förhålla sig till varandra. Man tar då inte ställning till hur kvantitet och progression ska viktas relativt varandra, vilket, som vi minns, teoretisk filosofi och historia inte var överens om. Låt oss kalla en naiv relativt viktningsoberoende sammanvägning som har begränsats med en viktningsordning för en sofistikerad, relativt viktningsoberoende sammanvägning.

Om vi tillämpar den sofistikerade relativt viktningsoberoende sammanvägningen på kandidaterna från det föregående exemplet och vi bara använder vikter som är positiva multiplar av 0.10 (som sammanlagda blir 1), så resulterar 17 av de 17 möjliga viktningarna i en högre poäng för Kandidat 1 än för Kandidat 2.

Metoden fångar övertygelsen att vissa meriter är viktigare än andra men förutsätter inte någon specifik exakt viktning (och undviker således problemen i Sektion 5.4). Eftersom det inte finns utrymme att ändra vikterna ad hoc så finns det inget utrymme för implicita fördomar eller andra osakliga grunder att påverka hur sammanvägningen går till. Den sofistikerade, relativt viktningsoberoende sammanvägningen verkar således vara en bra lösning på problemet vi utgick ifrån.

En ytterligare fördel med de relativt viktningsoberoende sammanvägningarna är att de ger oss ett mått på hur viktningskänsligt ett resultat är genom proportionen av de möjliga viktningarna som förordar en specifik kandidat. I exemplet ovan är det 17/17 = 100% av viktningarna som förordar Kandidat 1. Detta innebär att den exakta viktningen av kvantitet, relevans och progression inte spelar någon roll när man bedömer de här kandidaterna.

6. AVSLUTANDE DISKUSSION

I den här texten har jag utgått från studier som föreslår att oreglerad meritsammanvägning påverkas av implicita fördomar i vissa kontexter. Jag har frågat mig hur meritsammanvägning vid tillsättning av doktorandtjänster vid Humanistiska och teologiska fakulteterna vid Lunds universitet skulle kunna regleras om det skulle visa sig att dessa påverkas av osaklig eller omedvetet fördomsfull sammanvägning. Jag har diskuterat och utvärderat fem generella rangordningsprinciper. Av dessa har fyra stycken allvarliga tillkortakommanden. Dominansbaserad rangordning är ofta inte tillräcklig för att rangordna alla relevanta kandidater i en grupp sökande. Lexikografiska ordningar tillåter inte kompensatorisk sammanvägning. Viktningsordningar ger inte entydiga rangordningar och stoppar därför inte fördomsfull sammanvägning och slutligen är en specifik exakt viktning problematisk eftersom det är oklart på vilken administrativ nivå en sådan ska regleras, och om man kan hitta icke-arbiträra vikter vars rangordningar man kan ha förtroende för.

Den (sofistikerade varianten av den) femte metoden förordar att man väljer den kandidat som placeras först bland flest av alla möjliga kriterieviktningar, där möjliga kriterieviktningar dels begränsas i termer av hur finkorniga vikter kan vara (till exempel att de måste vara positiva multiplar av 0.1) samt av en viktningsordning (till exempel genom att kvalitet måste ha större vikt än övriga kriterier).

Den föreslagna metoden skulle kunna kritiseras av dem som tänker att en holistisk eller intuitiv bedömning svårligen eller omöjligen kan reduceras till en formell sammanvägning av flera enklare bedömningar utan kvalitetsförlust. Att bemöta den här kritiken är komplicerat och kan inte avhandlas här på ett tillfredsställande sätt. Det finns dock stöd för att ett analytiskt förfarande i vissa sammanhang leder till bättre beslut (se Ayal m.fl., 2015 för en översikt), samt att beslutskomplexitet bidrar till att man som beslutsfattare riskerar att ta kognitiva genvägar som kan leda till systematiska fel (Marouf, 2011). Men det finns också stöd för att åtminstone vissa sorters beslut förbättras om man uppmuntrar ett intuitivt icke-analytiskt tänkande (Ayal m.fl., 2015) så det svårt att säga något kategoriskt om frågan.

Det är dock klart är att metoden skulle vara relativt enkel att implementera. Det som krävs är att det på en rimlig administrativ nivå (ämnes-, institutions- eller fakultetsnivå beroende på sammanhang) beslutas om vilka sorters meriter som är relevanta för att anta någon till forskarutbildningen (vilket som vi sett i texten redan gjorts av HT), vilken den relativa vikten av åtminstone några av meritsorterna är (till exempel att kvalitet är viktigare än övriga kriterier) och vilken skala som ska användas för att enskilt mäta de olika meriterna. Ett enklare datorprogram behöver sedan skrivas som förkroppsligar den föreslagna sammanvägningsmetoden. Vid bedömning av sökande matas sedan handledarkollegiets bedömningar av de enskilda meriterna in i programmet.

Man kan tänka sig att det inledningsvis kommer att finnas ett visst motstånd mot att introducera automatiseringen av den föreslagna sorten, dels av ovan nämnda skäl, dels på grund av att man i andra liknande sammanhang påvisat algoritmaversion, det vill säga en tendens att föredra en mänsklig beslutsfattare framför en algoritmisk, även när den senare presterar bättre (Dietvorst m.fl., 2015). Men eftersom den föreslagna automatiseringen är så pass enkel och bygger, på ett substantiellt och transparent sätt, på input från mänskliga beslutsfattare är risken antagligen mindre än i andra sammanhang (Dietvorst m.fl., 2018).

Även om rekommendationerna i texten har varit villkorade på att fördomsfull sammanvägning faktiskt förekommer vid tillsättningen av doktorandtjänster (vilket vi i dagsläget inte säkert vet), så kan man också anamma tillvägagångssättet för att proaktivt följa med den rörelse mot fördomsfri rekrytering som utmärker vissa privata rekryteringsföretag (som t.ex. TNG och CVerige.se, se Capuder, 2017). Detta stöds också av att den föreslagna metoden är kraftfullare än den partiella anonymisering som ofta används när rekryteringsföretag arbetar mot fördomsfri rekrytering, eftersom den föreslagna metoden kan tillämpas även i fall där alla sökandes identiteter är kända.