Att bedöma pedagogisk skicklighet – är det verkligen så svårt? – en studie av skillnader i bedömningar mellan vetenskapligt och pedagogiskt sakkunniga

INLEDNING

Pedagogisk skicklighet har ansetts vara en av flera viktiga kompetenser hos undervisande personal vid Sveriges lärosäten sedan slutet på 1800-talet (Rovio-Johansson & Tingbjörn, 2001). I Högskoleförordningen (SFS, 1993:100) infördes formuleringen att bedömning av pedagogisk skicklighet ska ägnas lika stor omsorg som bedömning av vetenskaplig skicklighet. I den översikt som Rovio-Johansson och Tingbjörn genomförde 2001 framkom dock att lite hade förändrats i anställningsförfaranden vid lärosätena sedan förordningens införande. Därefter har krav på högskolepedagogisk utbildning fått en alltmer framträdande plats inom ramen för uttalanden från flera av de organisationer som verkar på den utbildningspolitiska arenan, såsom Sveriges förenade studentkårer, Sveriges universitetslärarförbund, Sveriges universitets- och högskoleförbund samt Swednet, Swedish Educational Development Network. Användningen av pedagogiskt sakkunniga har också ökat från att det bara var Chalmers tekniska högskola som konsekvent använde sådana vid tjänstetillsättningar 2001, till en vidare spridning över landet. De används dock i första hand i samband med inplacering i de pedagogiska meriteringsmodeller som vid dags dato existerar vid merparten av de svenska lärosätena (Winka, 2017). Frågan är om och på vilket sätt användningen av pedagogiskt sakkunniga verkligen gör någon skillnad.

BAKGRUND

Forskning visar att studenter anpassar sina lärandestrategier till examinationskraven (Entwistle & Ramsden, 2015). På samma sätt anpassar sig akademiker till karriärstrukturen vid lärosätet (Bexley, James, & Arkoudis, 2011). Det kan därmed antas att de bedömningskriterier som sökanden uppfattar värderas högt vid tjänstetillsättningar och befordringar till docent eller professor, styr det sätt de dokumenterar sin skicklighet på. Om den pedagogiska skickligheten i huvudsak bedöms utifrån antalet undervisningstimmar kommer den sökande att fokusera på det i sin dokumentation. Läggs vikt däremot vid att driva pedagogiska utvecklingsprojekt, kommer den sökande att fokusera på detta. Sakkunniggranskares syn på pedagogisk skicklighet, eller vad som uppfattas av sökanden vara de sakkunnigas syn på pedagogisk skicklighet, spelar med andra ord stor roll för hur universitetslärare planerar sin tid och sitt engagemang.

Pedagogisk skicklighet finns inte definierat i högskoleförordningen, utan har överlåtits till universitet och högskolor att definiera. Det har inneburit att cirka hälften av universiteten och högskolorna i Sverige har tydliggjort sin egen definition (Ryegård, 2013), något som anses vara viktigt för transparensen och en viktig del i kvalitetsarbetet (Ryegård, Apelgren & Olsson, 2010). Om bedömningskriterier och synen på vad som utgör pedagogisk skicklighet är otydliga, outtalade eller ’dolda’ finns risk för att onödig osäkerhet och stress skapas hos lärare (Henderson, Turpen, Dancy & Chapman, 2014). Dessutom har studier visat att avsaknad av kriterier för bedömning av portföljer leder till lägre kvalitet på bedömningarna, då man oftast utgår ifrån sig själv snarare än en överenskommen syn på vad som ska eftersträvas (Van der Schaaf, Baartman & Prins, 2012).

Det övergripande syftet med denna fallstudie är att undersöka huruvida användningen av särskilt utsedda pedagogiskt sakkunniga tillför kvaliteter som gör insatsen befogad för lärosätena, för att på så sätt vägleda andra fakulteter som är intresserade av att använda pedagogiskt sakkunniga. För att bättre förstå hur kriterier för pedagogisk skicklighet tillämpas av pedagogiskt och vetenskapligt sakkunnig undersöker jag i studien följande specifika fråga:

• Hur skiljer sig sakkunniggranskningar åt vad avser om de görs av vetenskapligt sakkunniga eller pedagogiskt sakkunniga?

NATIONELLA OCH INTERNATIONELLA TRENDER GÄLLANDE VAD PEDAGOGISK SKICKLIGHET ÄR

Hur den pedagogiska skickligheten ska bedömas har analyserats och diskuterats i ett flertal rapporter och publikationer. Lindberg (1988) analyserade sakkunnigutlåtanden vid tillsättning av professurer i pedagogik 1910–1975. Han drog slutsatsen att samma kvalitetskriterier som för vetenskaplig skicklighet kunde användas i bedömningen av pedagogisk skicklighet: bredd, djup, originalitet, kreativitet, metodskicklighet och mångsidighet.

På senare år har en samsyn kring betydelsen av pedagogisk skicklighet vuxit fram (Badersten, 2014). Denna samsyn utgår från den bredare definition på vetenskaplighet som Ernest Boyer förde fram redan 1990 i sin text Scholarship Reconsidered (Boyer, 1990). Samsynen poängterar att reflektion över den egna undervisningen och utvecklingen av densamma är avgörande för undervisningens utveckling. Man gör också åtskillnad mellan det snävare undervisningsskicklighet som åsyftar vad som sker i det didaktiska mötet mellan lärare och student, och pedagogisk skicklighet som avser de många och skiftande uppgifter som är involverade i att planera, genomföra, utvärdera och utveckla undervisningen, dels i kollegial samverkan och dels i relation till högskolepedagogisk litteratur (Ryegård, Apelgren & Olsson, 2010). Även pedagogiskt ledarskap, en kompetens som bland annat innefattar dimensioner som att föra in nya perspektiv, skapa nätverk och arbeta systematiskt mot en vision, har kommit att utgöra en viktig del av den pedagogiska skickligheten (Bolander Laksov & Tomson, 2016).

Trigwell & Shale (2004) lyfter fram en viktig aspekt som har fått starkt fotfäste i Sverige: att pedagogisk skicklighet innefattar i vilken grad man samarbetar, bygger vidare på och stödjer andra att utveckla sin pedagogiska verksamhet. Bland pedagogiska meriteringsmodeller i Sverige syns denna trend tydligt (Winka, 2017).

Förutom Trigwell & Shales arbete bör Krebers forskning (Kreber, 2002; 2005; 2015) om scholarship of teaching and learning nämnas, det som vi på svenska alltmer kommit att kalla akademiskt lärarskap. I Krebers arbete framträder en bild av pedagogisk skicklighet som inte bara visar på olika faser eller nivåer i lärares skicklighet. Dessutom lyfter hon i sin senare forskning (2015) fram en moralisk aspekt eller dygd, som hon anser vara förknippad med akademiskt lärarskap. Genom att ställa frågor om det värde som ett särskilt handlande i en specifik situation tillför studenternas lärande, fångar hon en aspekt av undervisningsskickligheten som går bortom en mer instrumentell effektivitetsprincip. Det är med andra ord centralt att som universitetslärare både kunna svara på frågor som rör hur och varför undervisningen bör ske på ett särskilt sätt, och att kunna göra prioriteringar i relation till vad som utgör meningsfulla handlingsalternativ för att nå ett specifikt mål.

Utifrån ovanstående forskningsöversikt framkommer en syn på pedagogisk skicklighet som inte bara fokuserar på bredd, djup, originalitet, kreativitet och metodvariation, som Lindberg framhöll. Dessutom framkommer att reflektion och utvecklingsarbete, pedagogiskt ledarskap och samarbete, liksom resonemang kring prioriteringar och utförande ingår i pedagogisk skicklighet.

NATIONELLA OCH INTERNATIONELLA TRENDER GÄLLANDE HUR PEDAGOGISK SKICKLIGHET SKA BEDÖMAS

En aspekt som lyfts i litteraturen är vikten av att de sökande, de akademiska lärarna, litar på att bedömningen av den pedagogiska skickligheten sker på ett säkert och bra sätt (Tigelaar, Dolmans, Wolfhagen & van der Vleuten, 2005). De som bedömer den pedagogiska skickligheten bör därför anses ha legitim kompetens att göra sådana bedömningar. Frågan om pedagogisk skicklighet bättre bedöms av ämnessakkunniga eller särskilt pedagogiskt sakkunniga har diskuterats i flera artiklar. Å ena sidan kan ämnesförtrogenhet anses ge en förståelse för de ämnesmässiga förutsättningarna för vad som är möjligt att genomföra pedagogiskt. Å andra sidan kan sådana förutsättningar vara lokalt förankrade på fakultets- eller universitetsnivå, vilket kan leda till ökad risk för jävsförhållanden (Ryegård, 2013; Ryegård et al., 2010). Särskilt pedagogiskt sakkunniga är personer som har särskild kunskap om pedagogiska processer i högre utbildning. Badersten (2014) anser att det bästa tillvägagångssättet bör vara att använda externa sakkunniga som har både högskolepedagogisk expertis och ämnesmässig expertis.

Ett problem som lyfts i litteraturen är att reliabiliteten i bedömningar av portföljer kan ifrågasättas eftersom varje portfölj består av en stor mängd exempel och kvalitativa beskrivningar från olika slags kontexter (Baume, Yorke & Coffey, 2004; Tigelaar et al., 2005). Detta gör att bedömare behöver tolka informationen och göra bedömningar där man inte alltid har tillräcklig förståelse för kontexten, vilket kan leda till att sakkunnigas bedömningar uppvisar stora skillnader. En lösning på problemet är att granskarna håller sig till gemensamma kriterier och utvecklar en gemensam förståelse för vad kriterierna innebär (Baume et al., 2004).

Ytterligare ett problematiskt område handlar om på vilket sätt det blir meningsfullt för de sökande att iordningsställa de pedagogiska meritportföljerna (Tigelaar et al., 2005). Ett sätt att hantera detta är att de utlåtanden som skrivs bör peka på utvecklingspotential så att både det som finns beskrivet och det som saknas i underlaget kommenteras.

Baserat på ovanstående resonemang bedöms pedagogisk skicklighet bäst när sökande har tillit till granskarnas kompetens att bedöma densamma, gärna med både ämnesförtrogenhet och högskolepedagogisk kompetens. Reliabiliteten i granskningarna är beroende av att det finns en gemensam förståelse för kriterierna bland granskarna, och att granskningarna bör peka på utvecklingspotentialen i meritportföljerna för att därmed bidra till att granskningen ska upplevas som meningsfull av de sökande.

DESIGN AV STUDIEN

Med utgångspunkt i forskningsfrågan ville jag genomföra en dokumentanalys. I likhet med andra kvalitativa metoder innebär det att jag har gjort en kvalitativ tolkning för att skapa mening och förståelse för det empiriska underlaget i relation till forskningsfrågan (Bowen, 2009). De dokument som omger bedömningar av pedagogisk skicklighet – ansökningshandlingar och sakkunnigutlåtanden – behandlas som ’sociala fakta’, som ”produceras, delas och används på socialt organiserade sätt” (Atkinson & Coffey, 1997, s. 47), där den analytiska processen involverar att urskilja, skapa mening och syntetisera från data, det som finns i dokumenten. Dokumentanalysen genererar på så sätt data – utdrag, citat eller hela passager, som organiseras i teman och kategorier genom innehållsanalys.

I enlighet med Cousin (2005) valde jag en instrumentell fallstudiedesign, vilket innebär att man undersöker ett fall som ett exempel på ett fenomen med syftet att bättre förstå de frågeställningar som omger fenomenet – i detta fall handlar frågan om skillnader i sakkunniggranskningar vid anställnings- och befordringsärenden. Eftersom det är viktigt vid instrumentella fallstudier att vara känslig för vilka lokala faktorer som spelar in i de slutsatser som dras strävade jag efter att ge en rik beskrivning av omständigheterna som omger anställnings- och befordringsärenden för den valda fallstudien.

RESULTAT

Resultatet av analysen tydliggör flera skillnader mellan utlåtandena från vetenskapligt sakkunniga och pedagogiskt sakkunniga: skillnader i omfattning, i upplevd bedömningskompetens, i perspektiv på pedagogisk skicklighet och i tillämpning av kriterier. Nedan behandlas varje tema för sig.

Skillnader i tillämpning av kriterier

De nio kriterier som fastställts av juridiska fakulteten togs som utgångspunkt för en analys av sakkunnigutlåtandenas innehåll (Tabell 3).

KRITERIUM 1: BREDD, KVALITET OCH AKTUELLA FÖRKUNSKAPER I ÄMNET

Ett flertal av de sakkunniga har i början av sina utlåtanden tydliggjort sin tolkning av uppdraget samt på vilka grunder de har gjort sin bedömning. Detta första kriterium tolkas i allmänhet som omfattning av pedagogisk erfarenhet. Flera bedömare kommenterar antalet timmar sökanden har undervisat. Omfattning beskrivs på flera olika sätt i utlåtandena. Kommentarerna om kriteriet sträcker sig från korta konstateranden, som ”X har visat sig ha en omfattande pedagogisk erfarenhet” (VS 9), till längre resonemang där hänvisning görs till att undervisningen skett på olika utbildningsnivåer (grund-, avancerad, doktorandnivå) och med en metod-bredd där sökanden visar att de har erfarenhet av olika undervisningsformer som t.ex. case-metod, problembaserat lärande eller rättegångsspel.

Bredd och kvalitet tolkas i vissa fall som bredd i fråga om ämnesbredd, dvs. att man undervisat inom flera olika områden inom ämnet. Återkommande är också att sakkunniga uppmärksammar om den sökande har undervisat i andra sammanhang än universitetsutbildningar, såsom inom fortbildning för t.ex. domare och advokater.

Trots att vetenskapligt sakkunniga i lägre grad (79 %) än de pedagogiskt sakkunniga (100 %) artikulerar hur man har tolkat de olika kriterierna kommenteras ändå kriteriet mer eller mindre utvecklat. Inga kvalitativa skillnader i tolkningarna fanns i utlåtandena mellan de båda sakkunniggrupperna.

KRITERIUM 2: FÖRMÅGAN ATT STRUKTURERA OCH ORGANISERA ÄMNETS KUNSKAPSOMRÅDE I KURSER OCH I DEN EGNA UNDERVISNINGEN

Detta kriterium kommenteras av alla pedagogiskt sakkunniga (100 %) och av flertalet vetenskapligt sakkunniga (58 %). Det framgår att de sakkunniga lägger stor vikt vid erfarenheter av kursansvar, något som i vissa fall också länkas samman med att vara examinator, att kunna samarbeta med kollegor och kriteriet att planera, leda och utvärdera kursverksamhet. I ett fall gjordes en rankning i relation till hur stor kursansvarserfarenhet sökande hade. Några kvalitativa skillnader i hur kriteriet tolkats av pedagogiskt respektive vetenskapligt sakkunniga kunde inte identifieras för kriterium 2.

KRITERIUM 3: FÖRMÅGA ATT FÖRMEDLA ENGAGEMANG OCH INTRESSE FÖR ÄMNET

Bedömningen av förmåga att förmedla engagemang och intresse för ämnet fokuserar på olika faktorer. För det första lägger sakkunniga tyngdvikten vid att den sökande verkar vara öppen för moderna och nya sätt att tänka kring undervisning. För det andra fokuserar sakkunniga på huruvida sökande visar förmåga till kritisk självreflektion. För det tredje utgår sakkunniga ifrån intyg och vitsord från kollegor och studenter som evidens för att sökanden är en uppskattad lärare.

Det är en stor skillnad i hur ofta pedagogiskt (91 %) och vetenskapligt sakkunniga (33 %) har bedömt kriterium 3. Detta kriterium är ett av de mest problematiska att bedöma för sakkunniga. Både pedagogiskt och vetenskapligt sakkunniga bygger huvudsakligen sin bedömning på sökandes pedagogiska egenreflektioner. Dessutom framkommer att pedagogiskt sakkunniga lägger större tyngdvikt vid reflektion och pedagogiskt tänkande än vetenskapligt sakkunniga.

KRITERIUM 4: FÖRMÅGA ATT AKTIVERA STUDENTERNA TILL EGET SJÄLVSTÄNDIGT LÄRANDE

Det framgår i utlåtandena att utgångspunkten för bedömningen av kriterium 4 ligger i den sökandes beskrivning av olika undervisningsformer, och hur sökanden har exemplifierat och resonerat kring studentaktivering i den pedagogiska egenreflektionen.

De pedagogiskt sakkunniga har fokuserat i olika utsträckning på kriteriet och behandlar det lite olika. Några fokuserar på förekomsten av beskrivningar och exempel på vad sökanden gör i sin undervisning, medan andra fokuserar på den pedagogiska egenreflektionen, det vill säga vad man säger att man skulle vilja göra eller önskar göra i framtida undervisning. För detta kriterium liksom för flera av de tidigare kriterierna påpekar en del sakkunniga att kriteriet är svårbedömt utifrån underlaget, då det saknas exempel.

Det finns en signifikant skillnad mellan om och i vilken omfattning pedagogiskt och vetenskapligt sakkunniga har behandlat kriteriet i sina bedömningar. Alla tio (100%) pedagogiskt sakkunniga har berört frågan om aktivering av studenternas lärande medan endast en (5%) av de vetenskapligt sakkunniga har gjort det. Det var inte möjligt att avgöra om det fanns någon kvalitativ skillnad i hur granskningsgrupperna tolkar kriteriet.

KRITERIUM 5: FÖRMÅGA TILL KOMMUNIKATION MED STUDENTERNA

Ett sätt att behandla kriterium 5 var att titta på exempel på direktkommunikation med studenter, något som bedömdes utifrån studentkommentarer på kursvärderingsresultat eller genom att fokusera på att bedöma sökandens beskrivningar av sin kommunikation och särskilt i relation till hur likabehandlingsperspektiv tas upp av sökanden:

Kommunikation med studenterna ses också som förmåga till populärvetenskaplig kommunikation där vetenskapliga texter begripliggörs för lekmän exempelvis genom lättillgängliga böcker.

Eftersom förmåga till kommunikation med studenterna inte framgår i den pedagogiska portföljen i ansökningshandlingarna har en av de sakkunniga istället tagit vetenskapliga arbeten som utgångspunkt vad gäller förmågan att kommunicera med studenterna och därmed kommenterat förmågan att skriva populärvetenskapligt. Svårigheterna att bedöma detta kriterium avspeglar sig i att det endast är en (5%) av de vetenskapligt sakkunniga som har bedömt kriteriet och 36 % av de pedagogiskt sakkunniga. Det var inte möjligt att avgöra om det fanns någon skillnad i hur granskningsgrupperna tolkar kriteriet.

KRITERIUM 6: FÖRMÅGA TILL HELHETSSYN OCH FÖRNYELSE

Detta kriterium tolkas av flera av de sakkunniga som att sökanden kan beskriva och exemplifiera pedagogiskt utvecklingsarbete, antingen på kursnivå, programnivå eller övergripande vid fakulteten.

En del av de vetenskapligt sakkunniga (42 %) och alla (100%) pedagogiskt sakkunniga nämner arbete med pedagogisk förnyelse eller utveckling i sina utlåtanden. I de bedömningar där pedagogiskt förnyelsearbete särskilt har kommenterats av vetenskapligt sakkunniga är detta föranlett av att sökanden själva har lyft att sådan verksamhet har bedrivits. Däremot framgår inte avsaknaden av sådant arbete där det inte har bedrivits. Att peka på avsaknad av underlag eller avsaknad av meriter är något som pedagogiskt sakkunniga gör i större grad än vetenskapligt sakkunniga. Detta utgör en tydlig skillnad mellan de två sakkunniggrupperna.

KRITERIUM 7: OMFATTNING AV LÄROMEDELSPRODUKTION

I fråga om läromedelsproduktion gör sakkunniga en skillnad mellan läromedel och annan vetenskaplig litteratur så att läromedel ska ha ett tydligt pedagogiskt syfte.

Bland de pedagogiska sakkunniga har fler fokuserat på läromedelsutveckling (100 %) än bland de vetenskapligt sakkunniga (38 %). Det finns dock ingen kvalitativ skillnad i hur man tolkar kriteriet.

KRITERIUM 8: DOKUMENTERADE INSATSER INOM TEORIUTVECKLING KRING DET EGNA ÄMNET RELEVANT ÄMNESDIDAKTIK

För detta kriterium är det förekomsten av resonemang med bas i högskolepedagogisk eller ämnesdidaktisk litteratur som kommenteras i sakkunnigutlåtandena.

De pedagogiskt sakkunniga (40%) lyfter återkommande både närvaron och avsaknaden av högskolepedagogisk förankring. I förekommande fall av ämnesdidaktisk teoriutveckling har detta även kommenterats av vetenskapligt sakkunniga (24 %). Kriteriet tolkas dock på likartat sätt mellan grupperna.

KRITERIUM 9: PLANERING, LEDNING, GENOMFÖRANDE OCH UTVÄRDERING AV UNDERVISNING SAMT HANDLEDNING OCH EXAMINATION

Detta kriterium är brett och omfattar flera olika delaspekter. Vad gäller planering och ledarskap finns många likheter med kriterium nummer 2, som handlar om kursansvar. Utvärdering av undervisning kommenteras av de flesta sakkunniga och visar att sakkunniga lägger vikt vid om sökanden har bilagt utvärderingsresultat eller ej. Det framgår att sökanden ibland skickat in hela kursutvärderingsdokument, inklusive kommentarer, men ibland enbart kommenterat sina kursvärderingar med en kommentar, vilket inte anses tillräckligt.

Vad gäller att fungera som examinator kommenteras detta separat av flera av de sakkunniga, liksom frågan om handledarskap som praktiskt taget alla kommenterar. 90% av de pedagogiskt sakkunniga och 52% av de vetenskapligt sakkunniga kommenterar kriteriet, men inga skillnader i tolkning tycks finnas mellan grupperna.

DISKUSSION

Ett grundläggande syfte med denna studie var att ta reda på om nyttjandet av särskilt utsedda pedagogiskt sakkunniga tillför kvaliteter som gör insatsen befogad för lärosätena, genom att undersöka skillnader i sakkunniggranskningar mellan pedagogiskt och vetenskapligt sakkunniga i en fallstudie. Resultatet visar på tydliga skillnader både i fråga om hur uppgiften att bedöma pedagogisk skicklighet hanteras, hur man ser på sin egen kompetens att göra detta, perspektiven på pedagogisk skicklighet och tillämpningen av de uppställda kriterierna.

I relation till den inledande bakgrunden om hur pedagogisk skicklighet uppfattas nationellt och internationellt framkommer flera kvalitativa skillnader mellan sakkunniggrupperna. De pedagogiskt sakkunniga lyfter i högre grad både avsaknad och närvaro av meriter, samtidigt som de resonerar kring hur uppfyllandet av kriterierna visas i materialet. Detta gör inte de vetenskapligt sakkunniga. Fördelen med att tydliggöra både vad som inte framkommer och vad som framkommer i meritportföljerna är att det kan bidra till att skapa meningsfullhet för de sökande, då det innebär en slags återkoppling att också få reda på områden där man kan utveckla sin portfölj (Tigelaar et al., 2005).

I de pedagogiskt sakkunnigas utlåtande ligger större tyngdvikt vid reflektion och pedagogiskt tänkande och den sökandes förankring i teori. Detta står i kontrast till det som identifierats som värdefullt i en nyligen genomförd studie av utlåtanden från vetenskapligt sakkunniga (Levander, 2017). Perspektivet som återfinns bland pedagogiskt sakkunniga speglar därmed synen att pedagogisk skicklighet utgörs av ett växelspel mellan det pedagogiska mötet, teoretisk förankring, reflektion och utveckling, något som har framhållits som centralt i litteraturen (Ryegård et al., 2010). Det framstår som att de pedagogiskt sakkunniga i högre grad än de vetenskapligt sakkunniga gjorde systematiska granskningar i relation till kriterierna. Tidigare studier av sakkunniggranskningar (Baume et al., 2004; Tigelaar et al., 2005) har visat att sakkunniga inte varit systematiska i sina bedömningar av pedagogisk skicklighet. Den systematik med vilken de pedagogiskt sakkunniga har tagit sig an granskningsuppgiften i relation till kriterierna utgör med andra ord ett viktigt bidrag, och kan utgöra en möjlighet att öka reliabiliteten i bedömningar av pedagogisk skicklighet. En orsak till det kan vara att de i högre grad har en gemensam förståelse för kriterierna och kännedom om den samsyn kring pedagogisk skicklighet som vuxit fram i Sverige.

Studien tydliggör två problem som är förknippade med att vetenskapligt sakkunniga gör bedömningar av pedagogisk skicklighet. Det ena problemet är att flera har erfarenhet av att ha träffat eller haft några av de sökande som kollegor. Detta kan naturligtvis ha bidragit till en bättre förståelse för själva undervisningskontexten, men det kan också anses vara mycket problematiskt för en rättvis bedömning. Om sakkunniga litar mer på sin egen erfarenhet av att t.ex. ha hört eller sett personen de ska bedöma undervisa än det underlag de har fått sig tilldelat, är det anmärkningsvärt att kommentarer som rör egna erfarenheter förekommer i bedömningarna. Detta problem hänger också ihop med det som inledningsvis togs upp som ett reliabilitetsproblem, där bedömningarna varierar med olika bedömare.

Det andra problemet är att flera vetenskapligt sakkunniga som en följd av sin vetenskapliga kompetens inte ansåg sig kompetenta att också bedöma den pedagogiska skickligheten. Detta ligger i linje med den forskning som visar att excellenta forskare inte per automatik också är excellenta lärare (Kreber, 2002) och är ett argument för att sakkunniggranskning av pedagogisk skicklighet, liksom undervisning, kräver särskild kompetens. Jag ser två vägar att nå sådan kompetens: antingen genom att anlita särskilt utsedda pedagogiskt sakkunniga som har sådan kompetens, eller genom att utbilda vetenskapligt sakkunniga att uppnå sådan kompetens. Dock visar analysen att det finns ytterligare problem som försvårar bedömningarna.

Aspekter som fokuserar på erfarenheter och vad man har gjort eller ’åstadkommit’, såsom kursansvar och undervisningsformer, framstår som någorlunda lätta att bedöma. Kriterium nummer 1, 2 och 6–9 är exempel på sådana aspekter. Däremot är kriterier som fokuserar hur man verkar som lärare, t.ex. engagemang (kriterium 3), om man aktiverar studenter till självständigt lärande (kriterium 4) och kommunikation med studenterna (kriterium 5), svårare att bedöma med endast lärarens pedagogiska egenreflektion som underlag. Då endast ett fåtal av de granskade meritportföljerna innehöll intyg från kollegor eller studenter är utmaningen för sakkunniga större i relation till sådana kriterier. Det framgår också att flera av kriterierna överlappade med varandra, och att sakkunniga har olika syn på vilken vikt som bör ges till olika aspekter av den pedagogiska skickligheten. Detta kan vara en konsekvens av alltför specifika kriterier (Elken & Wollscheid, 2016). Det sätt på vilket de sakkunniga hanterade detta problem var genom att tydliggöra sina utgångspunkter. En av de pedagogiskt sakkunniga ansåg t.ex. att arbete med utvecklingsprojekt och ett vetenskapligt förhållningssätt till den egna praktiken skulle ges högre vikt än pedagogiskt förhållningssätt och kursvärderingsresultat.

I bedömningarna framstår det som att både vetenskapligt och pedagogiskt sakkunniga bedömer mängden erfarenheter i fråga om vad man gjort som lärare. Bedömningar av hur och varför man gjort dessa erfarenheter, frågor som framhålls av Kreber (2015) som centrala för att synliggöra pedagogisk skicklighet, har i materialet dock huvudsakligen gjorts av pedagogiskt sakkunniga. Denna studie visar också att beskrivningar av tillvägagångssätt och förhållningssätt behöver vara så väl beskrivna att det är möjligt för sakkunniga att bedöma dess tillförlitlighet och kvalitet, något som ofta saknades i studiematerialet.