Granskning av pedagogisk skicklighet – utmaningar för sakkunniga

INTRODUKTION OCH BAKGRUND

Pedagogisk skicklighet har varit ett lagstadgat krav för läraranställning inom högre utbildning i Sverige sedan 1964. Den pedagogiska skickligheten har dock inte definierats i lagtexten och inte heller i andra nationella dokument. Istället gör varje lärosäte sina egna definitioner. Definitionerna bygger på forskning om vad som gynnar studenters lärande, men innebär att olika syn på vad som räknas som pedagogisk skicklighet samexisterar nationellt samtidigt som en del lärosäten valt att inte tydliggöra innebörden i begreppet (Winka och Ryegård, 2021). Studier har dock visat att många lärosäten fortfarande inte tillmäter bedömningen av pedagogisk skicklighet den omsorg som kan förväntas (Levander et al., 2020) och att bedömare inte automatiskt upplever sig ha kompetens att bedöma pedagogisk skicklighet bara för att de är kunniga i sitt forskningsämne (Laksov, 2018). Samtidigt har kunskapen och medvetenheten om innebörden av pedagogisk skicklighet successivt utvecklats under 2000-talet (Giertz, 2005; Levander, 2017; Ryegård et al., 2010; Winka, 2017; Winka & Ryegård, 2021), vilket kan leda till att fler lärosäten förväntar sig sådan kompetens hos sakkunniga. Forskning om sakkunniggranskning generellt är dock begränsad och forskning om bedömning av pedagogisk skicklighet specifikt är nästan obefintlig. Syftet med denna studie var att undersöka vilka utmaningar som är förknippade med bedömning av pedagogisk skicklighet inom akademin. För att bättre förstå kontexten för en sådan studie inleder vi med en översikt över fenomenet sakkunniggranskningar och bedömarkompetens.

SAKKUNNIGGRANSKNING

Sakkunniggranskning (engelska: peer review) har en lång historia inom akademin. Att bli bedömd av kollegor har varit ett sätt att säkerställa vetenskaplig kvalitet ända sedan 1800-talet, både i samband med publikationsprocesser och vid rekrytering. Syftet med sakkunniggranskning vid rekrytering var att skapa meritokratiska urvalsprocesser med kvalitativ bedömning av de sökandes vetenskapliga skicklighet (Rovio-Johansson & Tingbjörn, 2001). Processen gick vanligen ut på att sökande skickade in hela eller delar av sin vetenskapliga produktion, vilken bedömdes av en kombination av interna och externa personer som var vetenskapligt kunniga på området och som sedan skrev ett utlåtande. Detta kompletterades sedermera med ett lärarprov för att kontrollera att sökanden även hade förmåga att förmedla vetenskapen.

Kritiska röster har dock höjts mot det vetenskapliga sakkunniggranskningsförfarandet, särskilt vad gäller granskning i relation till publikationer. Kritiken handlar om att sakkunniga inte alltid upptäcker brister eller plagiering i forskning, på grund av att de är färgade av konservatism, partiskhet eller intressekonflikter (Manchikanti et al., 2015). Under det senaste årtiondet har särskilt partiskhet med fokus på genus uppmärksammats både i Sverige (Wennerås & Wold, 2010) och internationellt (Helmer et al., 2017). Ett problem av annat slag är att peer review-systemet är förenat med en stor dold kostnad bestående av nedlagd tid (Rowland, 2002; Severin & Chataway, 2021). I takt med att det vetenskapliga samhället går mot allt större öppenhet har anonymiteten i bedömningar av artiklar kritiserats. Vissa tidskrifter publicerar därför idag sakkunnigas utlåtanden i samband med att en artikel antas (Wicherts, 2016).

Trots kritiken av sakkunnigförfarandet är det vid befordran eller anställning en väl etablerad praxis med lång tradition att tillsätta sakkunniga med särskild kunskap inom det vetenskapliga området. År 1964 infördes begreppet ’pedagogisk skicklighet’ för första gången i författningstexten (SFS, 1964:461) och det blev därmed ytterligare en bedömningsgrund att ta hänsyn till för sakkunniga, något som många anser utmanande (Laksov, 2018; Levander, 2017).

BEDÖMARKOMPETENS

Bedömarkompetens innefattar förmågan att kunna uppfatta och urskilja kvaliteter i det som ska bedömas samt kommunicera detta. I vissa fall handlar det om att sätta ord på en känsla som grundar sig i en erfarenhetsbaserad professionell värdering, i andra fall att använda sitt professionella omdöme i relation till konkreta kriterier. Inom akademin ägnar vi oss kontinuerligt åt ett flertal bedömningspraktiker, exempel som nämnts ovan är i samband med publikationer, rekryteringar och tjänstetillsättningar, opponentskap och medelstilldelning. Dessa bedömningspraktiker litar mer eller mindre på individens professionella omdöme, vilket kan kontrasteras mot bedömningar som genomförs i relation till studenter. Vid betygssättning av studenter har lärare inom högre utbildning tränats i att formulera betygskriterier mot explicita lärandemål (Barman et al., 2014). Explicita betygskriterier möjliggör för både studenter och lärare att förhålla sig till dessa och lättare förstå kvaliteten i en prestation. Motsvarande strävan att explicitgöra kriterier för kvalitet är inte lika tydlig för andra domäner. För avhandlingar används i de flesta fall inga tydliga kriterier. Istället gör opponent och betygsnämnd en bedömning på basis av sin (tysta) kunskap. På samma sätt har hela systemet med peer review-granskningar av manuskript till tidskrifter byggt på andra forskares tolkningar av vad som utgör kvalitet i forskningsartiklar, ofta utan tydliggjorda kriterier. I takt med ett ökande antal inskickade manuskript har dock många tidskrifter sett ett konkret behov av att tydliggöra kvalitetskriterier för både författare och grans­kare (Bordage & Caelleigh, 2001; Severin & Chataway, 2021).

Den starkast bidragande faktorn till ökad efterfrågan på bedömarkompetens när det gäller pedagogisk skicklighet är troligtvis de pedagogiska meriteringsmodeller som utvecklats vid många lärosäten i Sverige sedan början på 2000-talet, med början vid Lunds Tekniska Högskola (Olsson & Roxå, 2013). Nu har cirka hälften av Sveriges lärosäten någon modell där lärare kan ansöka om att i ett eller flera steg erkännas för sin pedagogiska skicklighet (Winka & Ryegård, 2021). Stegen definieras av kriterier för pedagogisk skicklighet och ibland anges även indikatorer för att konkretisera kriteriernas innebörd. Bedömningen sker av särskilt utsedda pedagogiskt sakkunniga och underlaget utgörs av en ansökan som inkluderar en pedagogisk portfölj. Vissa lärosäten har även särskilt utsedda pedagogiska sakkunniga vid läraranställningar och befordran.

UTBILDNING I PEDAGOGISK SAKKUNNIGGRANSKNING

Den ökade efterfrågan på pedagogisk bedömarkompetens skapade ett behov att involvera fler i dessa uppdrag och att öka kompetensen inom området. Ett nationellt projekt om pedagogisk skicklighet, finansierat av NSHU, gav förutsättningar för en nationell utbildning av pedagogiska sakkunniga (Ryegård et al., 2010). Avsikten var att genom kollegiala diskussioner utveckla en gemensam kunskapsbas och ett professionellt arbetssätt i relation till bedömning av pedagogisk skicklighet – ett begrepp som alltså inte omfattas av en gemensam nationell definition. I utbildningen synliggörs flera olika perspektiv på pedagogisk skicklighet och därmed ges utrymme för en problematisering av perspektiven i relation till huvudsyftet att studenter ska ges utrymme att lära sig så bra som möjligt med utgångspunkt i forskning om lärande i högre utbildning. Denna utbildning har sedan fortsatt som ett samarbete mellan flera lärosäten och erbjudits vart eller vartannat år.

Det övergripande syftet med utbildningen är att stödja deltagarna i utvecklingen av ett professionellt omdöme i relation till bedömning av pedagogisk skicklighet. Detta sker genom att utveckla kunskapen om pedagogisk skicklighet och bedömarkompetensen hos deltagarna. Utbildningen samlar kompetens och erfarenheter från olika lärosäten, ämnesområden, roller och funktioner. Då sakkunniga ofta anlitas externt saknas incitament för ett enskilt lärosäte att arrangera en sådan utbildning; kompetensen kommer främst andra lärosäten tillgodo. En nationell satsning har också potential att resultera i mer frekventa och högkvalitativa utbildningar. Genom att utbilda pedagogiskt sakkunniga nationellt ökar alltså möjligheten till kvalificerade bedömningar av pedagogisk skicklighet vid alla lärosäten både i form av externa utlåtanden och intern beredning och beslut.

Utbildningen motsvarar cirka två veckors arbete och sträcker sig över ungefär 3 månader. Under utbildningen får deltagarna öva på att bedöma pedagogiska portföljer, först i grupp och slutligen individuellt. Gruppmedlemmarna diskuterar varandras granskningar och ger ömsesidigt stöd i att utveckla strategier för att både genomföra bedömningarna och skriva själva utlåtandet. De deltagare som gått utbildningen erbjuds stå med på en lista över personer som är intresserade av uppdrag som pedagogiskt sakkunnig. Vid många lärosäten används denna lista för att finna sakkunniga till rekryterings- eller befordringsärenden alternativt bedömning för en pedagogisk meriteringsmodell och i relation till de ämnesområden sökande representerar. Den svenska kontexten, med utveckling av pedagogiska meriteringsmodeller, det ökade behovet av pedagogiskt sakkunniga och framväxten av utbildningen, ledde fram till att vi ville undersöka närmare vilka föreställningar om utmaningar som är förknippade med bedömning av pedagogisk skicklighet.

TEORETISKT RAMVERK

I denna studie har vi tagit ett sociokulturellt perspektiv på lärande inspirerade av teorin om praxisgemenskaper, Communities of Practice (Wenger, 1998; Wenger et al., 2002). Teorin ger ett perspektiv på lärande i sociala system, där individer går från att vara mer perifera till mer centrala medlemmar av praktiken. Wenger fokuserade på lärande och identitet som ett resultat av praktiker som gemenskaper, där till exempel en yrkeskår eller grupp individer engagerar sig i en gemensam strävan i sina aktiviteter och skapar en gemensam repertoar av tillvägagångssätt och verktyg för sin praktik.

Som akademiker ingår vi i flera olika praxisgemenskaper, exempelvis olika arbetsgrupper inom institutionen eller lärosätet, personerna vi forskar med och personerna vi undervisar med. Centralt för varje sådan gemenskap är att det finns en gemensam praktik och en förståelse för hur den utövas eller uttrycks, som exempelvis forskning, undervisning eller hur kompetens bedöms vid rekrytering eller befordran. Vi menar att bedömning av pedagogisk skicklighet kan utgöra en sådan praktik om individerna som ingår i den identifierar en gemensam strävan – att förhålla sig professionellt till och möjliggöra bedömning av pedagogisk skicklighet – med hjälp av gemensamma tillvägagångssätt och verktyg. Detta förhållningssätt, inklusive konkreta arbetsmetoder, kan stimuleras genom den utbildning som beskrivits ovan. I föreliggande studie hänvisar vi till och använder begreppet praxisgemenskaper för alla dessa olika sorters praktiker.

I senare arbeten om praxisgemenskaper har en del av kritiken mot tidigare arbeten (McGrath et al., 2020) bemötts och en teori om praktiklandskap (Landscapes of Practice) har utvecklats (Wenger-Trayner & Wenger-Trayner, 2014). Praxisgemenskaper ses här inte som isolerade från varandra utan sammanlänkade, som i ett landskap. De påverkar varandra och de maktstrukturer som finns inom ett landskap har en inverkan på olika praxisgemenskapers möjligheter att anamma ett eller ett annat perspektiv. Gränserna mellan de olika praxisgemenskaperna är viktiga för lärandet genom att medlemskap i flera praxisgemenskaper möjliggör reflektion över likheter och skillnader mellan dessa och därmed kan generera vad Wenger-Trayner och Wenger-Trayner (2014) kallar ’knowledgeability’ – vilket vi översatt till ’kunskapande’.

Med ett praktiklandskapsperspektiv skulle bedömning av pedagogisk skicklighet kunna förstås som del av ett landskap av olika bedömningspraktiker inom akademin. Hur vi bedömer vetenskaplig skicklighet i forskningsansökningar, artiklar och avhandlingar skiljer sig från varandra och även mellan discipliner. Likaså hur vetenskaplig och pedagogisk skicklighet bedöms vid anställning och befordran och hur vi bedömer våra studenters prestationer och kunskapsutveckling i samband med examinationer. Centralt utifrån detta perspektiv är att skapa kunskap om hur en viss praktik passar in i ett landskap. Sådant kunskapande ger förmåga att bidra till kapaciteten för hela systemet att lära och utvecklas. Genom teorin om praxisgemenskaper och praktiklandskap ville vi förstå de utmaningar som är förknippade med bedömning av pedagogisk skicklighet och i förlängningen vilken kompetens som sakkunniga kan behöva. Att vara sakkunnig och ’Peer’ innebär ur ett sådant perspektiv att både ha kunskap om vad det innebär att undervisa i ett särskilt ämne, vilka alternativa didaktiska och pedagogiska ansatser som skulle kunna användas samt förståelse för universitetets olika praktiker, och hur kunskap mellan dessa skulle kunna utnyttjas för ett bättre lärande. Utbildningen som är i fokus för denna studie utgör också ett exempel på en strävan att skapa en praxisgemenskap kring bedömning, och studiens syfte möjliggör att vi får en bättre förståelse för några av de utmaningar som är förknippande med att delta i praxisgemenskapen.

DELTAGARE OCH DATA

Det totala antalet respondenter var 99 personer, 55 kvinnor och 44 män. Detta utgjorde 96% av det totala antalet som deltog i utbildningen under perioden. De som svarade på enkäten hade ibland flera olika roller. Sjuttioen deltagare var främst anställda som lärare, tjugo deltagare beskrev sig själva som pedagogiska utvecklare, det vill säga arbetar vid en pedagogisk utvecklingsenhet vid ett svenskt eller nordiskt lärosäte, åtta deltagare angav att de primärt hade en teknisk/administrativ anställning och hade roller som handläggare i lärarförslagsnämnder. Bland deltagarna hade tjugonio personer erfarenhet av att sitta som ledamot eller ordförande i lärarförslagsutskott/nämnd eller i bedömningsgrupper för pedagogiska meriteringsmodeller. De flesta, det vill säga sextiotvå personer, svarade på enkäten både före och efter utbildningen, trettiotre svarade endast före utbildningen och fyra enbart efter. Sammantaget svarade nittiofem personer på enkäten före utbildningen och sextiosex personer efter. Deltagande per anställningskategori samt vilka som svarade på enkäten före och efter utbildningen finns sammanfattat i tabell 1.

ANALYS OCH BEARBETNING

För att undersöka deltagarnas syn på utmaningar i samband med bedömning av pedagogisk skicklighet tillämpade vi en induktiv metod där vi använde tematisk innehållsanalys (Vaismoradi et al., 2013) som utgångspunkt för att kategorisera svaren. Den tematiska analysen genomfördes i sex steg där samtliga utsagor behandlades gemensamt:

1. I tre par läste vi igenom svaren på enkäten som genomfördes före utbildningen för respektive kategori av deltagare (pedagogiska utvecklare, personer från lärarförslagsutskott el liknande, intresserade lärare/TA personal). Individuellt tog vi beskrivande anteckningar som förklarade med ett eller några få ord vad svaret på frågan hade för innebörd (från och med nu kallas dessa svar för utsaga). Många deltagare hade skrivit tre utsagor men vissa hade endast en eller två. Det totala antalet utsagor före utbildningen var 235 och efter utbildningen 168. Efter att utsagorna hade beskrivits individuellt, jämfördes de och diskuterades i paren.

2. Varje par redovisade sina beskrivningar av utsagorna för varandra. Då det visade sig att beskrivningarna i hög grad överlappade med varandra diskuterades dessa tills vi nådde konsensus kring beskrivningar som vi tyckte fångade utsagorna. Detta resulterade i åtta beskrivna områden.

3. Två tvärgrupper bildades så att en från varje par utgjorde en ny grupp. Grupperna gick igenom hela materialet av utsagor, både från före och efter utbildningen, med syfte att se om ytterligare områden framträdde när hela materialet studerades. Då det även nu visade sig att beskrivningarna i hög grad överlappade varandra skapades kategorier som kvalitativt beskrev vad som uppfattades som särskilt utmanande vid bedömning av pedagogisk skicklighet.

4. Hela gruppen träffades och diskuterade kategorierna. Detta resulterade i fem teman.

5. Hela materialet kategoriserades i relation till de fem temana. Under denna process förfinades även beskrivningarna av kategorierna så att det skulle bli tydligt hur de skiljer sig åt och varje tema fick en rubrik.

6. Sex månader senare gick vi igenom materialet igen för att säkerställa att våra tematiseringar skildrade materialet tillräckligt specifikt och samtidigt inkluderande.

När analysen var genomförd försökte vi förstå resultaten med hjälp av teorin om praktiklandskap, vilket presenteras i diskussionen.

RESULTAT

De utmaningar som beskrevs av deltagarna i studien kunde delas upp i fem olika teman. Nedan beskrivs varje tema för sig med hjälp av exempel från den öppna enkätfrågan. För en översikt över resultaten inklusive en kortare beskrivning se tabell 2.

ORGANISATORISK LEGITIMITET: ATT LÄROSÄTENA HAR OLIKA SYN PÅ PEDAGOGISK SKICKLIGHET

Frågor som togs upp här handlade om hur legitimiteten för pedagogisk skicklighet såg ut på det specifika lärosätet men också nationellt. Respondenterna pekade på upplevelsen av att frågor kring pedagogisk skicklighet till exempel tillmättes lägre värde än vetenskaplig skicklighet i universitetsorganisationen och att detta kunde leda till flera problem i rollen som sakkunniggranskare.

Respektlöshet från kollegor och företräde för det kollegiala (fakultetsnämnd) som yttrar sig i uttalanden som ”att en pedagogisk grundsyn kan väl vem som helst skriva ihop – och bedöma” (Lärare, erfarenhet från lärarutskott/nämnd eller motsvarande)

Hur man kan få kollegor att ta bedömning av pedagogisk skicklighet på allvar. (Pedagogisk utvecklare)

Vanligast var upplevelsen att instruktioner både till sökanden och sakkunniga var otydliga, att inga tydliga ramar fanns, och att det därmed inte fanns en tydlig samsyn kring vad lärosätet menade med pedagogisk skicklighet. Detta ansågs kunna leda till att sökande inte förstår vad som ska skrivas fram i en pedagogisk portfölj eller biläggas för att styrka påståenden och resonemang som görs där.

Att det inte finns någon samsyn om vad pedagogisk skicklighet är. (Lärare)

Svårt att bedöma när lärosätenas stödjande underlag är svåra att greppa, är otydliga och emellanåt svåra att hitta. (TA)

Att kriterier varierar mellan lärosäten. (Lärare)

Det framkom också att deltagarna upplevde misstro från lärosätets sida i relation till om den pedagogiska kompetensen över huvud taget kan bedömas, eller om det bara är fråga om subjektivt tyckande i fråga om vem som är mer eller mindre pedagogiskt skicklig.

Att det upplevs som ett onödigt merjobb, både för den sökande och bedömarna (det räcker väl med CV). (Pedagogisk utvecklare)

Kunskap om och/eller erfarenhet av att bedöma pedagogisk skicklighet är bristfällig hos många sakkunniga. (Lärare)

Sammantaget handlar utmaningarna inom temat Organisatorisk legitimitet om att pedagogisk skicklighet ofta upplevdes tillmätas lägre värde än vetenskapliga meriter, och att lärosätet självt ibland ifrågasatte om det går att bedöma. Otydliga instruktioner, otydliga ramar och avsaknad av samsyn upplevs som ett uttryck för brist på legitimitet i organisationen.

RELIABILITET: ATT BEDÖMA SAMSTÄMMIGHET MELLAN TEXT OCH PRAKTIK

Nästa utmaning handlar om synen på relationen mellan texten som skrivits fram i en pedagogisk portfölj och den pedagogiska praktik som en individ ägnar sig åt.

Å ena sidan poängterade många respondenter utmaningen i att kunna bedöma om en lärare verkligen gör det den säger, att en lärare som är väldigt bra på att skriva om pedagogik nödvändigtvis inte är pedagogisk i sin lärargärning. Det fanns en oro över att personer som har stora kunskaper inom pedagogisk teori skulle kunna få fördel av detta, även om teorin inte omsätts i praktiken.

Hur väl denna dokumentation faktiskt stämmer med verkligheten är svårt att uttala sig om men jag förmodar att det varierar ganska mycket från person till person. Hur genomskåda en pappers­tiger? (Lärare)

Underlaget för bedömningen är otillräckligt för att bedöma hur pedagogiskt skicklig den sökande de facto är IRL, i mötet med sina studenter (att reflektera över något är inte detsamma som att utföra det). (Pedagogisk utvecklare, erfarenhet från lärarutskott/nämnd eller motsvarande)

Att komma under skinnet på skönmålningar och fånga reell skicklighet. (Lärare, erfarenhet från lärarutskott/nämnd eller motsvarande)

En relaterad utmaning handlar om risken för plagiering, att lärare i för hög grad inspireras av eller kopierar andras pedagogiska portföljer och hur man i så fall kan upptäcka det.

Svårt att värdera hur ”genuint” det som skrivs i en pedagogisk portfölj faktiskt är. (Lärare)

Å andra sidan fanns också en farhåga att en del lärare gör väldigt mycket bra undervisning, men har svårt att skriva fram det. Utmaningen som bedömare handlar därför om att kunna uppfatta denna skillnad.

Att lärare kan vara skickliga på att undervisa men sämre på att uttrycka sig i skrift eller tvärt om. (Pedagogisk utvecklare)

Hur hanterar jag en portfölj skriven av en person som förefaller högst kompetent, men som inte lyckas skriva fram det på ett bra sätt? (TA)

Att det är svårt att dokumentera pedagogisk skicklighet väl – det krävs mycket för att skriva en belysande portfölj. (Lärare)

Vidare handlar detta tema om konsten att välja ut rätt underlag för att styrka den pedagogiska skickligheten och pekar på att bli medveten om vilka underlag som är relevanta och bedömningsbara för en sakkunnig.

Att ta hänsyn av studentutvärderingar. Vad säger studentutvärderingar egentligen? (Lärare)

Hur urskiljer jag vad som är relevant i t ex en pedagogisk portfölj, där den som skriver ju strävar efter att betona allt hen har gjort och t ex lyfter fram intyg etc från personer som är positivt inställda? (TA)

En utsaga lyfte fram frågan om portföljinnehållet behöver kompletteras, exempelvis med intervjuer, för att kunna göra en omsorgsfull bedömning som sakkunnig.

Att bättre nyttja intervjuer för att bedöma pedagogiska kvalifikationer och kompetens. (Lärare, erfarenhet från lärarutskott/nämnd eller motsvarande)

Temat Reliabilitet handlar sammantaget om utmaningen i att identifiera samstämmighet mellan texten som producerats i en pedagogisk portfölj och lärarens praktik. Farhågan är att lärare skulle kunna få en för- eller nackdel beroende på sin förmåga att skriva eller sina teoretiska kunskaper, snarare än på sin pedagogiska praktik. Svårighet att upptäcka plagiering och fusk, samt osäkerhet kring vilket underlag som behövs för att kunna göra en omsorgsfull bedömning togs också upp.

VALIDITET: ATT BALANSERA MELLAN KVANTITET OCH KVALITET I UNDERLAGET

Medan ovanstående tema handlar om relationen mellan texten och praktiken handlar detta tema om relationen mellan texten och bedömningen. Här framkommer utmaningar som hur man ska balansera mellan kvantitet och kvalitet i underlaget, exempelvis om läraren i ansökan radar upp många saker som hen gjort eller aktiviteter som genomförts utan att resonera om bakomliggande tankegångar eller analysera utfallet.

Att det saknas en konkret redogörelse över varför och hur något har utförts, t ex en utbildning, utan det snarare beskrivs att något har gjorts. Ofta saknas ett helhetsperspektiv, från ax till limpa, istället presenteras lösryckta episoder. (Lärare)

Att personer skriver för mycket kvantitativa data och för lite om sina reflektioner, förhållningssätt och motiveringar för sina pedagogiska och didaktiska val. (Pedagogisk utvecklare)

Svårigheten att bedöma en person som har väldigt omfattande och lång erfarenhet men ytligt resonemang om dess innebörd, i jämförelse med en person som har mycket ingående och intressanta resonemang men liten erfarenhet lyftes därmed.

Frågor om var man ska lägga ribban kom också upp, särskilt i fråga om bedömning i relation till de pedagogiska meriteringsmodeller som idag finns vid många lärosäten, men också i relation till specifika ämnen.

Att hitta en röd tråd och kunna avväga vilka indikatorer (om sådana finns) som är viktigast samt att avgöra vilka kriterier som är uppfyllda eller ej (speciellt när vissa delar är uppfyllda och inte andra). (Lärare)

Skillnaderna i krav, meriter och dokumentation mellan olika ämnesområden. De speglar olika praktiska förutsättningar, traditioner, språkliga redskap och mål som gör att man inte kan använda sig av någon enkel ”standardiserad” bedömningsmodell utan verkligen behöver sätta sig in i såväl utlysning som kravspecifikation och bedömningsunderlag. (Pedagogisk utvecklare)

Svårigheter kring att hantera viktning av kriterier och underlag och att koppla kriterier från lärosätet till underlag togs upp liksom frågor kring hur stort utrymme man som bedömare har att göra ett bra jobb, om underlaget inte är tillräckligt.

Att vikta indikatorer/kriterier till en helhetsbedömning och att vara tydlig med hur jag tolkar betydelsen av varje indikator/kriterium. (TA, erfarenhet från lärarutskott/nämnd eller motsvarande)

Det framkom också att för lite information, bilagor etcetera, skapar svårighet vid bedömningen.

Att kunna förstå och få en helhetsbild av den enskilde sökanden om dokumentationen är bristfällig (t ex att innehåll är vagt formulerat i den pedagogiska portföljen men även ologisk struktur hos den som skrivit). (Lärare)

I detta tema finner vi även frågor som rör förmågan att bedöma det kvalitativa.

Hur kan man bedöma om en reflektion är tillräckligt djup (när man själv läser portföljer som pedagogisk expert). (TA, erfarenhet från lärarutskott/nämnd eller motsvarande)

Att bedöma omfång och djup av beskrivna pedagogiska erfarenheter. Att kunna bedöma effekter av olika pedagogiska insatser/förändringar i undervisning. (Lärare)

Temat Validitet lyfter fram utmaningar som rör avvägningar kring vad som ska värderas och viktas i underlaget, till exempel vad gäller längd på erfarenhet av undervisning i relation till djup i resonemang, hur kriterier ska viktas i bedömningen samt var ribban ska läggas.

KONSTRUKTIVITET: ATT FORMULERA SIN BEDÖMNING I ETT UTLÅTANDE

Återkommande i enkäten var kommentarer kring hur man kan skriva ett utlåtande som är konstruktivt och utvecklande för den lärare vars pedagogiska portfölj bedöms, samtidigt som man ska föra fram kritik.

Att skriva ärligt och rakt, men samtidigt konstruktivt och utvecklande så att texten sporrar den aktuella personen och inte hämmar honom/henne (låser fast) i hans/hennes fortsatta gärning. (Pedagogisk utvecklare, erfarenhet från lärarutskott/nämnd eller motsvarande)

Detta kan vara särskilt utmanande när den övergripande bedömningen är negativ och risken för att hämma en kollegas pedagogiska utveckling föreligger.

Att skriva även negativa utlåtanden så att de inte känns kränkande. (Lärare)

Samtidigt är beslutsfattarna de huvudsakliga adressaterna för utlåtandet, och dessa behöver få en tydlig bild av hur den sökande uppfyller kraven för att kunna fatta rätt beslut, vilket innebär att kritiken inte får döljas.

Att hitta en god ton i det färdiga utlåtandet som upplevs som vänlig och hjälpsam, samtidigt som jag också får fram vad som saknas eller inte når ända fram. (TA)

Det var också någon som var orolig för att snarare ta på sig rollen som stödjande kollega istället för att fokusera på själva bedömningen. Någon lyfte också farhågan att gå för mycket in i en handledande roll. Detta var vanligare för de som var pedagogiska utvecklare.

Att inte vara alltför mycket pedagogisk utvecklare, så att omdömet sväller ut till engagerad feedback, utan att detta hålls på en lagom nivå. (Pedagogisk utvecklare)

Detta tema kopplar till temana ovan, eftersom det blir väsentligt att skriva fram att det är personens skicklighet såsom den framkommer i portföljen som bedöms. Det är därför viktigt att försöka identifiera styrkor och luckor i dokumentationen och att i formuleringen av utlåtandet fokusera på vad som funnits tillgängligt för bedömaren, eftersom läraren kan ha skicklighet som den inte lyckas visa i sin portfölj.

Temat Konstruktivitet handlar sammanfattningsvis om att det kan vara utmanande att vara konstruktiv i sin kritik samtidigt som kritiken inte får döljas för de som är adressaterna för utlåtandet. Vikten av att skilja på portföljen och personen som skrivit den blev särskilt uppmärksammad i detta tema, samt att rollen som stödjande kollega eller handledare inte får överskugga rollen som konstruktiv bedömare.

PROFESSIONALITET: ATT KÄNNA LEGITIMITET SOM PEDAGOGISKT SAKKUNNIG

Det sista temat som vi identifierade i enkätsvaren handlar om respondenternas tvivel på sin egen kompetens som bedömare. Den vanligaste kommentaren handlade om hur väl man behöver förstå och vara insatt i det sammanhang inom vilket läraren, vars portfölj man bedömer, verkar.

Om man ej är inom samma ämnesområde kan det eventuellt vara svårt att sätta sig in i vilka ”pedagogiska möjligheter det finns” inom området. (Lärare)

Sådant som också lyftes här var att man saknar förståelse för de ramar och särskilda utmaningar som finns, både i själva ämnet som undervisas och i den institutionella miljön. Här lyftes även allvaret i uppgiften, där medvetenheten om bedömningens betydelse för den sökandes framtid sågs som utmanande när man enbart utgår ifrån ’någons beskrivningar’ utan chans till dialog eller observation av undervisningen.

En annan aspekt på temat var hur trovärdig man är och om man som bedömare har tillräcklig högskolepedagogisk kompetens för att kunna göra en bedömning.

En annan fråga blir då naturligtvis hur trovärdig man kan bli som bedömare om man själv inte är meriterad. (Lärare, erfarenhet från lärarutskott/nämnd eller motsvarande)

Slutligen framkom funderingar kring hur mycket utrymme för tolkning som erbjuds inom uppdraget och vilket ansvar man har som sakkunnig.

Avgöra hur formalistisk man ska vara, dvs. hur mycket får man ”läsa mellan raderna” vs. hur ”juridisk” ska man vara när man tillämpar angivna bedömningskriterier? (Lärare)

Temat Professionalitet kan sammanfattas med att det handlar om relationen mellan bedömaren och det hen är ombedd att bedöma och omgivningens förtroende för arbetet. Den professionella legitimiteten påverkas av bedömarens förståelse för sammanhang, ramar, ämnet och den institutionella miljön, liksom om man har den högskolepedagogiska kompetens som krävs för att göra en professionell bedömning.

DISKUSSION

Denna studie syftade övergripande till att undersöka vad bedömarkompetens innebär vid granskning av pedagogisk skicklighet. Specifikt undersökte vi vad som uppfattas som utmanande i samband med sakkunniggranskning och bedömning av pedagogisk skicklighet.

Det framstår som tydligt att de utmaningar som identifierats genom analysen av enkäterna och sammanfattats i de fem temana kompletterar tidigare forskning som pekat på utmaningar som identifierats för att bedöma pedagogisk skicklighet (Laksov, 2018; Levander, 2017). Särskilt är det komplexiteten i uppdraget som framhålls, något som gör att det vidgade perspektivet från att se bedömning av pedagogisk skicklighet som en specifik praktik till en praktik bland många blir användbart.

Wengers teori om praxisgemenskaper (1998) bidrar till förståelse för de utmaningar som deltagarna lyfter fram i mötet med bedömningsprocessen för pedagogisk skicklighet. Deltagarna kommer från olika praxisgemenskaper för sin akademiska praktik, både i fråga om disciplinärt ursprung, lärosätesidentitet samt deras roll vid lärosätet. Deras intresse för att gå utbildningen härstammar från uppdrag i en nämnd eller kommitté som fattar beslut om tjänstetillsättningar och befordringar, från en roll som pedagogisk utvecklare eller motsvarande, eller från ett generellt intresse att utveckla sin förståelse kring bedömning av pedagogisk skicklighet. De utmaningar som deltagarna identifierade är därmed troligen starkt knutna till deras medlemskap i dessa praktiker. Synen på och värderingar kring pedagogisk skicklighet (organisatorisk legitimitet), liksom synen på möjligheter att bedöma pedagogisk skicklighet i fråga om samstämmighet mellan text och praktik (reliabilitet) och mellan kvantitet och kvalitet (validitet), bottnar utifrån ett praxisgemenskaps-perspektiv i accepterade föreställningar kring vad som är möjligt och vad som är svårt att bedöma. I utbildningen utmanas och förhandlas deras tidigare uppfattningar om bedömarkompetens både teoretiskt och praktiskt. Utbildningen medverkar på så sätt till att utveckla en praxisgemenskap kring bedömning av pedagogisk skicklighet. Deltagarnas olika ingångar i utbildningen medför därför att de enligt Landscapes of Practice teorin är ’brobyggare’ till andra praxisgemenskaper (sina respektive discipliner, lärosäten, roller). Utvecklingen av en eller flera praxisgemenskaper för bedömning av pedagogisk skicklighet skulle även kunna få konsekvenser för bedömning av vetenskaplig skicklighet. Detta bör undersökas i fortsatta studier.

Utifrån ett landskapspraktiskt perspektiv framträder flera saker av vikt. Som Wenger-Trayner et al (2014) poängterar kan man ifrågasätta om kunnande inom en praktik även innebär kunnande inom en annan. Kan till exempel bedömarkompetens flyttas från en vetenskaplig praktik till en pedagogisk? Bedömning av vetenskaplig skicklighet tränas i viss mån kontinuerligt från studenttiden genom opponentskap på uppsatser, via doktorandperiod i seminariesituationer, till rollen som forskarhandledare och kanske opponent och betygsledamot vid disputationer. Visserligen utvecklar många även en pedagogisk kompetens genom sin undervisning men man kan ifrågasätta om detta kan likställas med en pedagogisk bedömarkompetens. Att förstå sin egen kontext innebär inte automatiskt en förståelse för hur en sökandes pedagogiska praktik passar in i det praktiklandskap där den söker en tjänst eller position. Ett landskapspraktiskt perspektiv länkar därmed tydligt an till den utmaning som identifierades i våra resultat, där frågan om att känna legitimitet som pedagogiskt sakkunnig (professionalitet) med kompetens att bedöma pedagogisk skicklighet i ämnen där man själv inte är kompetent som lärare sågs som utmanande. Frågor kring legitimiteten hos bedömaren har tidigare lyfts fram i studier (Laksov, 2018; Levander et al., 2020) liksom för bedömarkompetens inom andra områden där otydlighet kring kriterier och hur olika aspekter ska viktas poängterats (Jönsson, 2012) och svårigheterna i att tolka textbaserat material (Badersten & Olsson, 2015).

Eftersom identitet är en viktig komponent i ett praktiklandskapsperspektiv menar vi att personer som har regelbunden kontakt med många olika undervisningspraktiker och pendlar mellan olika nivåer och roller, både lokalt vid lärosätet och övergripande mellan lärosäten, eller mellan olika discipliner, har förutsättningar att utveckla just sådant kunnande där de har inblick i och förståelse för de förutsättningar som olika undervisningspraktiker kräver i fråga om kompetens. De skulle eventuellt också ha lättare att se skillnad på de specifika och generella pedagogiska skicklighetskriterier som förekommer i olika praktiker. Då vårt datamaterial inte gav tillräcklig kunskap om deltagarnas bakgrund – flera var både pedagogiska utvecklare och lärare, eller både lärarförslagsutskottsledamöter och lärare – är en viktig fråga att beforska hur viktigt kunnande om flera undervisningspraktiker är i samband med sakkunniggranskningar.

Länkat till utmaningen att känna legitimitet som pedagogiskt sakkunnig är också utmaningen att formulera sin bedömning i ett konstruktivt utlåtande (konstruktivitet). Utsagorna som citeras inom detta tema anser vi tydligt pekar mot att deltagarnas förståelse för hur deras bedömningspraktik passar in i ett större sammanhang, vad Wenger-Trayner och Wenger-Trayner (2014) skulle kalla ett bedömningslandskap. Genom att sträva efter att ’hitta en god ton’, skriva ’utvecklande’ och ’inte kränkande’ illustrerar dessa utsagor en förhoppning om att sakkunniggranskning av pedagogisk skicklighet bidrar till kunskapande i det bredare systemet. Genom att formulera konstruktiva utlåtanden finns möjlighet inte bara för individer att utvecklas, utan också själva lärosätet och dess syn på pedagogisk skicklighet. Ett sådant systemperspektiv anser vi borde vara centralt både vad gäller bedömning av pedagogisk och vetenskaplig skicklighet.

En annan fråga som fokuseras genom landskapspraktikperspektivet är att varje lärosäte har sin egen uppfattning om vad pedagogisk skicklighet innebär, uppfattningar som ofta många upplevde som otydliga. Även om det finns överlapp och gemensamma principer kring till exempel definitioner av pedagogisk skicklighet och formulering av kriterier för pedagogisk skicklighet är många lärosäten måna om sin självständighet (Winka & Ryegård, 2021). Om man ser bedömning av pedagogisk skicklighet som ett slags systematiserat gränsryttarskap där individer från andra praxisgemenskaper (lärosäten) med delvis andra kriterier för pedagogisk skicklighet som förhandlats fram lokalt bjuds in att genomföra bedömningarna, blir det i sig utmanande att tolka och förhålla sig till lokala uppfattningar om pedagogisk skicklighet. Dessutom skapar denna flora av kriterier också ett validitetsproblem, då det kan bli tveksamt om en person som är utsedd som meriterad eller excellent lärare vid ett lärosäte också kan bära med sig en sådan utmärkelse ifall de flyttar till ett annat lärosäte, på samma sätt som vid docentur, som trots olika kriterier normalt ses som en överallt gällande titel. Ett sätt att underlätta navigerandet mellan olika landskap skulle därmed vara att nationellt söka större samstämmighet mellan kriteriebeskrivningar. En nationell dialog skulle kunna leda till en ökad samsyn och bättre möjligheter för lärare att flytta med sig sina utmärkelser när de byter lärosäte.

SLUTSATSER

Granskning av pedagogisk skicklighet är en av många bedömningspraktiker vi ingår i som akademiker. Fem specifika utmaningar förknippade med bedömning av pedagogisk skicklighet identifierades i studien. För att hantera dessa utmaningar och utveckla kompetens och legitimitet att bedöma pedagogisk skicklighet behövs dialog kring granskningar, både lokalt inom ämnen och lärosäten och bredare i ett nationellt sammanhang. Deltagande i utbildning kring granskning av pedagogisk skicklighet är en möjlig väg då det inte bara stödjer utveckling av bedömarkompetensen utan också kan bidra till utvecklingen av en nationell praxisgemenskap kring bedömning av pedagogisk skicklighet. Eftersom alla lärosäten för närvarande har sina egna varianter av kriterier försvårar det dock uppdraget som pedagogiskt sakkunnig. Med bas i studiens resultat vill vi därför framhålla behovet av en nationell dialog om kriterier för att identifiera överlapp och söka samstämmighet mellan kriteriebeskrivningar, då detta kan leda till kritisk reflektion och minska validitetsproblemen för lärare som söker anställning liksom sakkunniggranskare av pedagogisk skicklighet.

Framtida forskning bör fokusera generellt på frågor kring kollegial bedömning och specifikt värdet av olika slags kunnande i relation till sakkunniggranskningar. En viktig fråga att vidare beforska är därför hur viktigt kunskapande om flera undervisningspraktiker än inom det egna ämnet är i samband med sakkunniggranskningar.

ÖVERVÄGANDEN

Denna studie är genomförd i en mycket specifik kontext och vi känner endast till en motsvarande kurs (i Norge) som startats med den svenska kursen som utgångspunkt. Då vi som genomförde studien alla var involverade i att undervisa på kursen, och några av oss till och med varit med om att starta kursen, är frågan om hur forskargruppen har reflekterat över hur vi kan ha påverkat studien central. Det innebär att den kunskap, det engagemang och intresse vi har i frågan om bedömning av pedagogisk skicklighet, och av utbildningen, troligen bidragit till både design av själva studien och tolkningen av dess resultat. Dock är vi från sex olika lärosäten och har bakgrund i olika discipliner, vilket också har givit utrymme för problematisering och diskussion då olika perspektiv kontinuerligt lyfts genom processen. Genom den explorativa ansatsen där vi ställde öppna frågor i enkäten till deltagarna försökte vi bjuda in till olika perspektiv på utmaningar utan att själva ha definierat dessa på förhand, som skulle varit fallet i en enkät med flervalsalternativ. Ett annat sätt att sträva efter att vår förförståelse inte påverkade studien på ett negativt sätt var genom att dela upp analysen i olika steg, med olika grupper och också utsträckt över tid. Valet av teoretiskt perspektiv (Landscapes of Practice) har också utgjort en möjlighet att lyfta förståelsen för datamaterialet ifrån enbart våra egna perspektiv till en annan nivå, och därmed problematisera och diskutera resultaten i ljuset av teori.