Att bedöma pedagogisk skicklighet – är det verkligen så svårt? – en studie av skillnader i bedömningar mellan vetenskapligt och pedagogiskt sakkunniga

Högre utbildning

Vol. 8 | Nr. 2 | | 5568

Att bedöma pedagogisk skicklighet – är det verkligen så svårt? – en studie av skillnader i bedömningar mellan vetenskapligt och pedagogiskt sakkunniga

Institutionen för pedagogik och didaktik, Stockholms universitet, och Institutionen för Lärande, informatik, management och etik, Karolinska Institutet

Pedagogisk skicklighet ska enligt högskoleförordningen ägnas lika stor omsorg som vetenskaplig skicklighet i anställningsförfaranden vid svenska högskolor och universitet. Vilka förutsättningar som finns att visa omsorg om pedagogisk skicklighet och ägna den uppmärksamhet ter sig dock tämligen olika vid lärosätena. I denna fallstudie undersöks skillnader i de sätt på vilket pedagogisk skicklighet kommer till uttryck i utlåtanden från särskilt tillsatta pedagogiskt sakkunniga och vetenskapligt sakkunniga i anställnings- och befordringsärenden vid en fakultet vid ett svenskt lärosäte. Studien visar på flera skillnader i utlåtandena där de pedagogiskt sakkunniga gör mer omfattande, mer kvalitativa och mer systematiska utlåtanden än de vetenskapligt sakkunniga redovisar. Dessutom diskuteras några återkommande utmaningar som formuleras i sakkunnigutlåtandena, och hur dessa utmaningar hanteras.

Nyckelord: pedagogisk skicklighet, sakkunniggranskning, bedömningskriterier, fallstudie, dokumentanalys

*Författarkontakt: klara.bolander.laksov@edu.su.se

Artiklar och reflektioner är kollegialt granskade. Övriga bidragstyper granskas av redaktionen. Se ISSN 2000-7558

©2018 Klara Bolander Laksov. This is an Open Access article distributed under the terms of the Creative Commons Attribution-NonCommercial 4.0 International License (), allowing third parties to share their work (copy, distribute, transmit) and to adapt it, under the condition that the authors are given credit, that the work is not used for commercial purposes, and that in the event of reuse or distribution, the terms of this license are made clear.

Citation: () «Att bedöma pedagogisk skicklighet – är det verkligen så svårt? – en studie av skillnader i bedömningar mellan vetenskapligt och pedagogiskt sakkunniga», Högre utbildning, 8(2), 5568.

INLEDNING

Pedagogisk skicklighet har ansetts vara en av flera viktiga kompetenser hos undervisande personal vid Sveriges lärosäten sedan slutet på 1800-talet (Rovio-Johansson & Tingbjörn, 2001). I Högskoleförordningen (SFS, 1993:100) infördes formuleringen att bedömning av pedagogisk skicklighet ska ägnas lika stor omsorg som bedömning av vetenskaplig skicklighet. I den översikt som Rovio-Johansson och Tingbjörn genomförde 2001 framkom dock att lite hade förändrats i anställningsförfaranden vid lärosätena sedan förordningens införande. Därefter har krav på högskolepedagogisk utbildning fått en alltmer framträdande plats inom ramen för uttalanden från flera av de organisationer som verkar på den utbildningspolitiska arenan, såsom Sveriges förenade studentkårer, Sveriges universitetslärarförbund, Sveriges universitets- och högskoleförbund samt Swednet, Swedish Educational Development Network. Användningen av pedagogiskt sakkunniga har också ökat från att det bara var Chalmers tekniska högskola som konsekvent använde sådana vid tjänstetillsättningar 2001, till en vidare spridning över landet. De används dock i första hand i samband med inplacering i de pedagogiska meriteringsmodeller som vid dags dato existerar vid merparten av de svenska lärosätena (Winka, 2017). Frågan är om och på vilket sätt användningen av pedagogiskt sakkunniga verkligen gör någon skillnad.

BAKGRUND

Forskning visar att studenter anpassar sina lärandestrategier till examinationskraven (Entwistle & Ramsden, 2015). På samma sätt anpassar sig akademiker till karriärstrukturen vid lärosätet (Bexley, James, & Arkoudis, 2011). Det kan därmed antas att de bedömningskriterier som sökanden uppfattar värderas högt vid tjänstetillsättningar och befordringar till docent eller professor, styr det sätt de dokumenterar sin skicklighet på. Om den pedagogiska skickligheten i huvudsak bedöms utifrån antalet undervisningstimmar kommer den sökande att fokusera på det i sin dokumentation. Läggs vikt däremot vid att driva pedagogiska utvecklingsprojekt, kommer den sökande att fokusera på detta. Sakkunniggranskares syn på pedagogisk skicklighet, eller vad som uppfattas av sökanden vara de sakkunnigas syn på pedagogisk skicklighet, spelar med andra ord stor roll för hur universitetslärare planerar sin tid och sitt engagemang.

Pedagogisk skicklighet finns inte definierat i högskoleförordningen, utan har överlåtits till universitet och högskolor att definiera. Det har inneburit att cirka hälften av universiteten och högskolorna i Sverige har tydliggjort sin egen definition (Ryegård, 2013), något som anses vara viktigt för transparensen och en viktig del i kvalitetsarbetet (Ryegård, Apelgren & Olsson, 2010). Om bedömningskriterier och synen på vad som utgör pedagogisk skicklighet är otydliga, outtalade eller ’dolda’ finns risk för att onödig osäkerhet och stress skapas hos lärare (Henderson, Turpen, Dancy & Chapman, 2014). Dessutom har studier visat att avsaknad av kriterier för bedömning av portföljer leder till lägre kvalitet på bedömningarna, då man oftast utgår ifrån sig själv snarare än en överenskommen syn på vad som ska eftersträvas (Van der Schaaf, Baartman & Prins, 2012).

Det övergripande syftet med denna fallstudie är att undersöka huruvida användningen av särskilt utsedda pedagogiskt sakkunniga tillför kvaliteter som gör insatsen befogad för lärosätena, för att på så sätt vägleda andra fakulteter som är intresserade av att använda pedagogiskt sakkunniga. För att bättre förstå hur kriterier för pedagogisk skicklighet tillämpas av pedagogiskt och vetenskapligt sakkunnig undersöker jag i studien följande specifika fråga:

  • Hur skiljer sig sakkunniggranskningar åt vad avser om de görs av vetenskapligt sakkunniga eller pedagogiskt sakkunniga?

NATIONELLA OCH INTERNATIONELLA TRENDER GÄLLANDE VAD PEDAGOGISK SKICKLIGHET ÄR

Hur den pedagogiska skickligheten ska bedömas har analyserats och diskuterats i ett flertal rapporter och publikationer. Lindberg (1988) analyserade sakkunnigutlåtanden vid tillsättning av professurer i pedagogik 1910–1975. Han drog slutsatsen att samma kvalitetskriterier som för vetenskaplig skicklighet kunde användas i bedömningen av pedagogisk skicklighet: bredd, djup, originalitet, kreativitet, metodskicklighet och mångsidighet.

På senare år har en samsyn kring betydelsen av pedagogisk skicklighet vuxit fram (Badersten, 2014). Denna samsyn utgår från den bredare definition på vetenskaplighet som Ernest Boyer förde fram redan 1990 i sin text Scholarship Reconsidered (Boyer, 1990). Samsynen poängterar att reflektion över den egna undervisningen och utvecklingen av densamma är avgörande för undervisningens utveckling. Man gör också åtskillnad mellan det snävare undervisningsskicklighet som åsyftar vad som sker i det didaktiska mötet mellan lärare och student, och pedagogisk skicklighet som avser de många och skiftande uppgifter som är involverade i att planera, genomföra, utvärdera och utveckla undervisningen, dels i kollegial samverkan och dels i relation till högskolepedagogisk litteratur (Ryegård, Apelgren & Olsson, 2010). Även pedagogiskt ledarskap, en kompetens som bland annat innefattar dimensioner som att föra in nya perspektiv, skapa nätverk och arbeta systematiskt mot en vision, har kommit att utgöra en viktig del av den pedagogiska skickligheten (Bolander Laksov & Tomson, 2016).

Trigwell & Shale (2004) lyfter fram en viktig aspekt som har fått starkt fotfäste i Sverige: att pedagogisk skicklighet innefattar i vilken grad man samarbetar, bygger vidare på och stödjer andra att utveckla sin pedagogiska verksamhet. Bland pedagogiska meriteringsmodeller i Sverige syns denna trend tydligt (Winka, 2017).

Förutom Trigwell & Shales arbete bör Krebers forskning (Kreber, 2002; 2005; 2015) om scholarship of teaching and learning nämnas, det som vi på svenska alltmer kommit att kalla akademiskt lärarskap. I Krebers arbete framträder en bild av pedagogisk skicklighet som inte bara visar på olika faser eller nivåer i lärares skicklighet. Dessutom lyfter hon i sin senare forskning (2015) fram en moralisk aspekt eller dygd, som hon anser vara förknippad med akademiskt lärarskap. Genom att ställa frågor om det värde som ett särskilt handlande i en specifik situation tillför studenternas lärande, fångar hon en aspekt av undervisningsskickligheten som går bortom en mer instrumentell effektivitetsprincip. Det är med andra ord centralt att som universitetslärare både kunna svara på frågor som rör hur och varför undervisningen bör ske på ett särskilt sätt, och att kunna göra prioriteringar i relation till vad som utgör meningsfulla handlingsalternativ för att nå ett specifikt mål.

Utifrån ovanstående forskningsöversikt framkommer en syn på pedagogisk skicklighet som inte bara fokuserar på bredd, djup, originalitet, kreativitet och metodvariation, som Lindberg framhöll. Dessutom framkommer att reflektion och utvecklingsarbete, pedagogiskt ledarskap och samarbete, liksom resonemang kring prioriteringar och utförande ingår i pedagogisk skicklighet.

NATIONELLA OCH INTERNATIONELLA TRENDER GÄLLANDE HUR PEDAGOGISK SKICKLIGHET SKA BEDÖMAS

En aspekt som lyfts i litteraturen är vikten av att de sökande, de akademiska lärarna, litar på att bedömningen av den pedagogiska skickligheten sker på ett säkert och bra sätt (Tigelaar, Dolmans, Wolfhagen & van der Vleuten, 2005). De som bedömer den pedagogiska skickligheten bör därför anses ha legitim kompetens att göra sådana bedömningar. Frågan om pedagogisk skicklighet bättre bedöms av ämnessakkunniga eller särskilt pedagogiskt sakkunniga har diskuterats i flera artiklar. Å ena sidan kan ämnesförtrogenhet anses ge en förståelse för de ämnesmässiga förutsättningarna för vad som är möjligt att genomföra pedagogiskt. Å andra sidan kan sådana förutsättningar vara lokalt förankrade på fakultets- eller universitetsnivå, vilket kan leda till ökad risk för jävsförhållanden (Ryegård, 2013; Ryegård et al., 2010). Särskilt pedagogiskt sakkunniga är personer som har särskild kunskap om pedagogiska processer i högre utbildning. Badersten (2014) anser att det bästa tillvägagångssättet bör vara att använda externa sakkunniga som har både högskolepedagogisk expertis och ämnesmässig expertis.

Ett problem som lyfts i litteraturen är att reliabiliteten i bedömningar av portföljer kan ifrågasättas eftersom varje portfölj består av en stor mängd exempel och kvalitativa beskrivningar från olika slags kontexter (Baume, Yorke & Coffey, 2004; Tigelaar et al., 2005). Detta gör att bedömare behöver tolka informationen och göra bedömningar där man inte alltid har tillräcklig förståelse för kontexten, vilket kan leda till att sakkunnigas bedömningar uppvisar stora skillnader. En lösning på problemet är att granskarna håller sig till gemensamma kriterier och utvecklar en gemensam förståelse för vad kriterierna innebär (Baume et al., 2004).

Ytterligare ett problematiskt område handlar om på vilket sätt det blir meningsfullt för de sökande att iordningsställa de pedagogiska meritportföljerna (Tigelaar et al., 2005). Ett sätt att hantera detta är att de utlåtanden som skrivs bör peka på utvecklingspotential så att både det som finns beskrivet och det som saknas i underlaget kommenteras.

Baserat på ovanstående resonemang bedöms pedagogisk skicklighet bäst när sökande har tillit till granskarnas kompetens att bedöma densamma, gärna med både ämnesförtrogenhet och högskolepedagogisk kompetens. Reliabiliteten i granskningarna är beroende av att det finns en gemensam förståelse för kriterierna bland granskarna, och att granskningarna bör peka på utvecklingspotentialen i meritportföljerna för att därmed bidra till att granskningen ska upplevas som meningsfull av de sökande.

DESIGN AV STUDIEN

Med utgångspunkt i forskningsfrågan ville jag genomföra en dokumentanalys. I likhet med andra kvalitativa metoder innebär det att jag har gjort en kvalitativ tolkning för att skapa mening och förståelse för det empiriska underlaget i relation till forskningsfrågan (Bowen, 2009). De dokument som omger bedömningar av pedagogisk skicklighet – ansökningshandlingar och sakkunnigutlåtanden – behandlas som ’sociala fakta’, som ”produceras, delas och används på socialt organiserade sätt” (Atkinson & Coffey, 1997, s. 47), där den analytiska processen involverar att urskilja, skapa mening och syntetisera från data, det som finns i dokumenten. Dokumentanalysen genererar på så sätt data – utdrag, citat eller hela passager, som organiseras i teman och kategorier genom innehållsanalys.

I enlighet med Cousin (2005) valde jag en instrumentell fallstudiedesign, vilket innebär att man undersöker ett fall som ett exempel på ett fenomen med syftet att bättre förstå de frågeställningar som omger fenomenet – i detta fall handlar frågan om skillnader i sakkunniggranskningar vid anställnings- och befordringsärenden. Eftersom det är viktigt vid instrumentella fallstudier att vara känslig för vilka lokala faktorer som spelar in i de slutsatser som dras strävade jag efter att ge en rik beskrivning av omständigheterna som omger anställnings- och befordringsärenden för den valda fallstudien.

Kontextbeskrivning

Juridiska fakulteten vid Stockholms universitet har tydliggjort nio kriterier för pedagogisk skicklighet (Tabell 1) i ett beslut från 2011 (Schelin, 2011). Dessa ligger delvis i linje med den syn på pedagogisk skicklighet som framkommer ovan. Dessutom tillämpas en modell med en pedagogiskt sakkunnig utöver de vetenskapligt sakkunniga vid varje anställningsärende. Dessa förhållanden möjliggör en fallstudie i en miljö där kriterier för pedagogisk skicklighet finns uttryckta, och har tillämpats av både pedagogiskt och vetenskapligt sakkunniga vid anställningsärenden sedan 2012.

Tabell 1: Kriterier för pedagogisk skicklighet vid Juridiska fakulteten, SU
  1. Graden av bredd, kvalitet och aktuella förkunskaper i ämnet
  2. Förmågan att strukturera och organisera ämnets kunskapsområde i kurser och i den egna undervisningen
  3. Förmåga att förmedla engagemang och intresse för ämnet
  4. Förmåga att aktivera studenterna till eget självständigt lärande
  5. Förmåga till kommunikation med studenterna
  6. Förmåga till helhetssyn och förnyelse
  7. Omfattning av läromedelsproduktion
  8. Dokumenterade insatser inom teoriutveckling kring för det egna ämnet relevant ämnesdidaktik
  9. Planering, ledning, genomförande och utvärdering av undervisning samt handledning och examination.

Lärarförslagsnämnden har till uppgift att bereda anställningar av adjunkter, lektorer och professorer och befordringsärenden till professor. Nämnden består av fyra ledamöter varav en ordförande och två studeranderepresentanter. Vid varje anställningsärende fastställer nämnden två vetenskapligt och en pedagogiskt sakkunnig, som får underlaget skickat till sig. De sakkunniga ska sedan inkomma med sina utlåtanden över de sökande vid ett fastställt datum, varpå lärarförslagsnämnden fattar sitt beslut.

Datainsamling

Alla sakkunniggranskningar i anställningsärenden som genomfördes under femårsperioden 2012–2016 vid Juridiska fakulteten vid Stockholms universitet samlades in. Underlaget för studien består av sammanlagt 31 sakkunniggranskningar som genomfördes under perioden. Dessa gäller tio anställningsärenden och inkluderar fem utlysta lektorat, en professur och fyra befordringsärenden till professor. Nedan ges en överblick över de rubriker som ska inkluderas i en pedagogisk meritportfölj vid Stockholms universitet.

Pedagogisk egenreflektion

Undervisningserfarenhet

Handledarerfarenhet

Högskolepedagogisk utbildning

Kursutveckling och utbildningsadministration

Pedagogiska arbeten och läromedel

Pedagogiska utmärkelser och priser

Övriga meriter

Med hänsyn till de sakkunnigas integritet har materialet avidentifierats så att namnen på sakkunniga eller sökande inte framgår i studien på annat sätt än vilken typ av sakkunnig det gäller.

Både vetenskapligt och pedagogiskt sakkunniga var externt sakkunniga (Ryegård, 2013; Winka, 2017), då de inte vid tillfället för sakkunniggranskningen arbetade vid Juridiska fakulteten. De vetenskapligt sakkunniga (VS) var, i alla fall utom ett, två utsedda per ärende, och var alla disputerade, oftast docenter eller professorer men även praktiserande jurister. De pedagogiskt sakkunniga (PS) var en per ansökan, och var i de flesta fall pedagogiska utvecklare med docent- eller professorsgrad inom högskolepedagogik. Två av de pedagogiskt sakkunniga hade granskat två var av ärendena som ingick i materialet och två av de pedagogiskt sakkunniga var tidigare professorer inom juridik, men med särskilt pedagogiskt intresse. De vetenskapligt sakkunniga var personer som utsetts i relation till ämnet tjänsten handlade om. För en översikt av sakkunniga, se Tabell 2.

Sakkunniggranskningarna analyserades i första steget med fokus på hur omfattande utlåtandena som fokuserar på pedagogisk skicklighet är och vilka perspektiv på pedagogisk skicklighet som framkommer i utlåtandena. Därefter genomfördes en manifest innehållsanalys (Graneheim & Lundman, 2004), där fokus ligger på hur de sakkunniga tillämpar kriterierna för pedagogisk skicklighet genom sina kommentarer av de pedagogiska portföljerna. För att undersöka skillnader i bedömningar av pedagogisk skicklighet mellan pedagogiskt och vetenskapligt sakkunniga togs kriterierna från Juridiska fakulteten som utgångspunkt och utlåtandena jämförs kriterium för kriterium. Detta innebär att jag upprepade gånger har läst varje sakkunnigutlåtande med fokus på ett kriterium i taget för att identifiera om och hur kriteriet har kommit till uttryck i utlåtandet.

Tabell 2: Översikt över materialet
Antal ansökningsärenden 10: 5 lektorat, 1 professur, 4 befordransärenden
Pedagogiskt sakkunniga (PS) 10 st, (1/ ärende), 8 pedagogiska utvecklare, 2 jurister med särskilt pedagogiskt intresse
Vetenskapligt sakkunniga (VS) 21 (2–3/ ärende), externa sakkunniga, ämneskompetens inom området för utlysningen

RESULTAT

Resultatet av analysen tydliggör flera skillnader mellan utlåtandena från vetenskapligt sakkunniga och pedagogiskt sakkunniga: skillnader i omfattning, i upplevd bedömningskompetens, i perspektiv på pedagogisk skicklighet och i tillämpning av kriterier. Nedan behandlas varje tema för sig.

Skillnader i omfattning

Analysen visar en stor skillnad i omfattning vad gäller utlåtanden om den pedagogiska skickligheten mellan grupperna. Detta kan tyckas naturligt då de pedagogiskt sakkunniga hade som uppgift att enbart skriva sina utlåtanden om den pedagogiska skickligheten medan de vetenskapligt sakkunniga fokuserar på både den vetenskapliga och den pedagogiska skickligheten. Skillnader i omfattning inom gruppen av pedagogiskt sakkunniga är inte så stor, men mellan utlåtandena i gruppen vetenskapligt sakkunniga finns stora skillnader. Tre av dem kommenterar inte den pedagogiska skickligheten alls medan flera ägnade en till två stycken, cirka 5–10 meningar, åt att kommentera den pedagogiska skickligheten. Några i VS-gruppen hade gjort mer omfattande bedömningar om drygt en A4-sida medan pedagogiskt sakkunniga hade skrivit utlåtanden med en omfattning av 2–3 sidor per sökande.

Tre av de vetenskapligt sakkunniga poängterade uttryckligen att de var tillsatta på grund av sina vetenskapliga och inte sina pedagogiska meriter:

Jag vill dock betona uppfattningen att en sakkunnig som tillsatts på grund av sin ämneskännedom inte nödvändigtvis har bättre förmåga att bedöma pedagogisk skicklighet än vad exempelvis ledamöterna i en lärarförslagsnämnd kan antas besitta. (VS1)

Det förekom också ett utlåtande där den sakkunniga helt utgick ifrån sin egen personliga erfarenhet av de sökande i sitt utlåtande. Den pedagogiskt sakkunniga som bedömt samma ansökningar gjorde istället en genomgripande analys av de sökande i relation till de nio kriterierna. Det framkommer med andra ord en stor skillnad i omfattningen av utlåtandena, men också en skillnad i hur vetenskapligt och pedagogiskt sakkunniga upplever sin kompetens att bedöma den pedagogiska skickligheten, där vetenskapligt sakkunniga i flera fall ifrågasätter sin kompetens att uttala sig om pedagogisk skicklighet.

Skillnader i perspektiv på pedagogisk skicklighet

I utlåtandena framkommer olika perspektiv på vad pedagogisk skicklighet är. Hos några av de vetenskapligt sakkunniga läggs tyngdvikten uteslutande på omfattning av undervisning, främst i antal timmar som man undervisat:

Det råder således ingen tvekan om att sökanden har en mycket omfattande pedagogisk erfarenhet. Av det anförda drar jag slutsatsen att XX rimligen måste besitta den pedagogiska skicklighet som bör krävas av en professor. (VS1)

Ett mer ovanligt exempel utgörs av en sakkunnig som inte kommenterar den pedagogiska skicklighetens olika dimensioner i sitt utlåtande. Istället säger sig denne ha gjort en bedömning baserad på egen erfarenhet som inkluderar den pedagogiska skickligheten vid sin rangordning av de sökande. Detta är anmärkningsvärt med tanke på att sökanden därmed hade olika förutsättningar.

It is difficult to propose any specific ranking, as I did not have the opportunity for all of them to observe their teaching or consider course material elaborated by them etc. However, from own experience I am aware that both S1* and S2 are very qualified and highly motivated teachers; the same is true for S3. From the past I also remember that S4 was a very popular teacher when she was lecturing at the University of Stockholm. (VS 3) (*S1, S2, S3 etc. står för Sökande 1, 2 och 3)

Här framkommer en tolkning av pedagogisk skicklighet där fokus ligger på den popularitet eller den motivation som läraren visar genom underlaget. Det finns också sakkunniga som ansåg det möjligt att ta del av pedagogisk skicklighet genom att ta del av kursmaterial.

En av de pedagogiskt sakkunniga framhöll ett perspektiv på pedagogisk skicklighet som fokuserar på förmågan att koppla samman det man tänker om lärande med hur man faktiskt undervisar, en slags integration av teori och praktik i läraruppgiften:

XX har relativt omfattande undervisningserfarenhet men i reflektionen över de egna undervisningsinsatserna förblir kopplingen mellan pedagogisk grundsyn, implementerandet av pedagogiska moment i undervisningen och deras utfall i form av studenternas lärande, relativt otydlig. (PS10)

Ett liknande resonemang förs av en annan pedagogiskt sakkunnig kring pedagogisk skicklighet som ser olika aspekter av pedagogisk skicklighet i en hierarki.

Det finns ett antal aspekter på pedagogisk skicklighet som kan komma till uttryck i en ansökan av det här slaget. Grovt sett kan man dela in evidensen i olika huvudkategorier, med mer avancerade uttryck för pedagogisk skicklighet i fallande ordning:

a) Pedagogiskt förhållningssätt och lärandeklimat

b) Yttre evidens, som kvalitativa vitsord och kursvärderingsresultat

c) Beskrivningar av gjorda överväganden i samband med egen undervisning och utvärdering därav

d) Beskrivningar av gjorda överväganden i samband med mer övergripande utvecklingsprojekt

e) Ett vetenskapligt förhållningssätt till den egna praktiken, inklusive deltagande i ämnesdidaktisk och högskolepedagogisk kunskapsutveckling

(PS9)

Förutom de tidigare perspektiven på pedagogisk skicklighet, omfattning, popularitet och integration av teori – praktik fokuserar den sakkunniga här på pedagogiskt förhållningssätt genom att efterfråga både yttre evidens, skrivna av andra än den sökande, och evidens på att den sökande har gjort överväganden på olika nivåer i samband med undervisning och utveckling. Slutligen framkommer perspektivet att ett vetenskapligt förhållningssätt till den egna undervisningen är ett mer avancerat perspektiv på pedagogisk skicklighet.

Skillnader i tillämpning av kriterier

De nio kriterier som fastställts av juridiska fakulteten togs som utgångspunkt för en analys av sakkunnigutlåtandenas innehåll (Tabell 3).

Tabell 3: Översikt över hur skillnaderna i uppfattning av kriterier tog sig uttryck i utlåtandena samt i hur hög grad de kommenterades av de två granskningsgrupperna
Image

KRITERIUM 1: BREDD, KVALITET OCH AKTUELLA FÖRKUNSKAPER I ÄMNET

Ett flertal av de sakkunniga har i början av sina utlåtanden tydliggjort sin tolkning av uppdraget samt på vilka grunder de har gjort sin bedömning. Detta första kriterium tolkas i allmänhet som omfattning av pedagogisk erfarenhet. Flera bedömare kommenterar antalet timmar sökanden har undervisat. Omfattning beskrivs på flera olika sätt i utlåtandena. Kommentarerna om kriteriet sträcker sig från korta konstateranden, som ”X har visat sig ha en omfattande pedagogisk erfarenhet” (VS 9), till längre resonemang där hänvisning görs till att undervisningen skett på olika utbildningsnivåer (grund-, avancerad, doktorandnivå) och med en metod-bredd där sökanden visar att de har erfarenhet av olika undervisningsformer som t.ex. case-metod, problembaserat lärande eller rättegångsspel.

Bredd och kvalitet tolkas i vissa fall som bredd i fråga om ämnesbredd, dvs. att man undervisat inom flera olika områden inom ämnet. Återkommande är också att sakkunniga uppmärksammar om den sökande har undervisat i andra sammanhang än universitetsutbildningar, såsom inom fortbildning för t.ex. domare och advokater.

Trots att vetenskapligt sakkunniga i lägre grad (79 %) än de pedagogiskt sakkunniga (100 %) artikulerar hur man har tolkat de olika kriterierna kommenteras ändå kriteriet mer eller mindre utvecklat. Inga kvalitativa skillnader i tolkningarna fanns i utlåtandena mellan de båda sakkunniggrupperna.

KRITERIUM 2: FÖRMÅGAN ATT STRUKTURERA OCH ORGANISERA ÄMNETS KUNSKAPSOMRÅDE I KURSER OCH I DEN EGNA UNDERVISNINGEN

Detta kriterium kommenteras av alla pedagogiskt sakkunniga (100 %) och av flertalet vetenskapligt sakkunniga (58 %). Det framgår att de sakkunniga lägger stor vikt vid erfarenheter av kursansvar, något som i vissa fall också länkas samman med att vara examinator, att kunna samarbeta med kollegor och kriteriet att planera, leda och utvärdera kursverksamhet. I ett fall gjordes en rankning i relation till hur stor kursansvarserfarenhet sökande hade. Några kvalitativa skillnader i hur kriteriet tolkats av pedagogiskt respektive vetenskapligt sakkunniga kunde inte identifieras för kriterium 2.

KRITERIUM 3: FÖRMÅGA ATT FÖRMEDLA ENGAGEMANG OCH INTRESSE FÖR ÄMNET

Bedömningen av förmåga att förmedla engagemang och intresse för ämnet fokuserar på olika faktorer. För det första lägger sakkunniga tyngdvikten vid att den sökande verkar vara öppen för moderna och nya sätt att tänka kring undervisning. För det andra fokuserar sakkunniga på huruvida sökande visar förmåga till kritisk självreflektion. För det tredje utgår sakkunniga ifrån intyg och vitsord från kollegor och studenter som evidens för att sökanden är en uppskattad lärare.

Det är en stor skillnad i hur ofta pedagogiskt (91 %) och vetenskapligt sakkunniga (33 %) har bedömt kriterium 3. Detta kriterium är ett av de mest problematiska att bedöma för sakkunniga. Både pedagogiskt och vetenskapligt sakkunniga bygger huvudsakligen sin bedömning på sökandes pedagogiska egenreflektioner. Dessutom framkommer att pedagogiskt sakkunniga lägger större tyngdvikt vid reflektion och pedagogiskt tänkande än vetenskapligt sakkunniga.

KRITERIUM 4: FÖRMÅGA ATT AKTIVERA STUDENTERNA TILL EGET SJÄLVSTÄNDIGT LÄRANDE

Det framgår i utlåtandena att utgångspunkten för bedömningen av kriterium 4 ligger i den sökandes beskrivning av olika undervisningsformer, och hur sökanden har exemplifierat och resonerat kring studentaktivering i den pedagogiska egenreflektionen.

De pedagogiskt sakkunniga har fokuserat i olika utsträckning på kriteriet och behandlar det lite olika. Några fokuserar på förekomsten av beskrivningar och exempel på vad sökanden gör i sin undervisning, medan andra fokuserar på den pedagogiska egenreflektionen, det vill säga vad man säger att man skulle vilja göra eller önskar göra i framtida undervisning. För detta kriterium liksom för flera av de tidigare kriterierna påpekar en del sakkunniga att kriteriet är svårbedömt utifrån underlaget, då det saknas exempel.

Det finns en signifikant skillnad mellan om och i vilken omfattning pedagogiskt och vetenskapligt sakkunniga har behandlat kriteriet i sina bedömningar. Alla tio (100%) pedagogiskt sakkunniga har berört frågan om aktivering av studenternas lärande medan endast en (5%) av de vetenskapligt sakkunniga har gjort det. Det var inte möjligt att avgöra om det fanns någon kvalitativ skillnad i hur granskningsgrupperna tolkar kriteriet.

KRITERIUM 5: FÖRMÅGA TILL KOMMUNIKATION MED STUDENTERNA

Ett sätt att behandla kriterium 5 var att titta på exempel på direktkommunikation med studenter, något som bedömdes utifrån studentkommentarer på kursvärderingsresultat eller genom att fokusera på att bedöma sökandens beskrivningar av sin kommunikation och särskilt i relation till hur likabehandlingsperspektiv tas upp av sökanden:

Kommunikation med studenterna ses också som förmåga till populärvetenskaplig kommunikation där vetenskapliga texter begripliggörs för lekmän exempelvis genom lättillgängliga böcker.

Eftersom förmåga till kommunikation med studenterna inte framgår i den pedagogiska portföljen i ansökningshandlingarna har en av de sakkunniga istället tagit vetenskapliga arbeten som utgångspunkt vad gäller förmågan att kommunicera med studenterna och därmed kommenterat förmågan att skriva populärvetenskapligt. Svårigheterna att bedöma detta kriterium avspeglar sig i att det endast är en (5%) av de vetenskapligt sakkunniga som har bedömt kriteriet och 36 % av de pedagogiskt sakkunniga. Det var inte möjligt att avgöra om det fanns någon skillnad i hur granskningsgrupperna tolkar kriteriet.

KRITERIUM 6: FÖRMÅGA TILL HELHETSSYN OCH FÖRNYELSE

Detta kriterium tolkas av flera av de sakkunniga som att sökanden kan beskriva och exemplifiera pedagogiskt utvecklingsarbete, antingen på kursnivå, programnivå eller övergripande vid fakulteten.

En del av de vetenskapligt sakkunniga (42 %) och alla (100%) pedagogiskt sakkunniga nämner arbete med pedagogisk förnyelse eller utveckling i sina utlåtanden. I de bedömningar där pedagogiskt förnyelsearbete särskilt har kommenterats av vetenskapligt sakkunniga är detta föranlett av att sökanden själva har lyft att sådan verksamhet har bedrivits. Däremot framgår inte avsaknaden av sådant arbete där det inte har bedrivits. Att peka på avsaknad av underlag eller avsaknad av meriter är något som pedagogiskt sakkunniga gör i större grad än vetenskapligt sakkunniga. Detta utgör en tydlig skillnad mellan de två sakkunniggrupperna.

KRITERIUM 7: OMFATTNING AV LÄROMEDELSPRODUKTION

I fråga om läromedelsproduktion gör sakkunniga en skillnad mellan läromedel och annan vetenskaplig litteratur så att läromedel ska ha ett tydligt pedagogiskt syfte.

Bland de pedagogiska sakkunniga har fler fokuserat på läromedelsutveckling (100 %) än bland de vetenskapligt sakkunniga (38 %). Det finns dock ingen kvalitativ skillnad i hur man tolkar kriteriet.

KRITERIUM 8: DOKUMENTERADE INSATSER INOM TEORIUTVECKLING KRING DET EGNA ÄMNET RELEVANT ÄMNESDIDAKTIK

För detta kriterium är det förekomsten av resonemang med bas i högskolepedagogisk eller ämnesdidaktisk litteratur som kommenteras i sakkunnigutlåtandena.

De pedagogiskt sakkunniga (40%) lyfter återkommande både närvaron och avsaknaden av högskolepedagogisk förankring. I förekommande fall av ämnesdidaktisk teoriutveckling har detta även kommenterats av vetenskapligt sakkunniga (24 %). Kriteriet tolkas dock på likartat sätt mellan grupperna.

KRITERIUM 9: PLANERING, LEDNING, GENOMFÖRANDE OCH UTVÄRDERING AV UNDERVISNING SAMT HANDLEDNING OCH EXAMINATION

Detta kriterium är brett och omfattar flera olika delaspekter. Vad gäller planering och ledarskap finns många likheter med kriterium nummer 2, som handlar om kursansvar. Utvärdering av undervisning kommenteras av de flesta sakkunniga och visar att sakkunniga lägger vikt vid om sökanden har bilagt utvärderingsresultat eller ej. Det framgår att sökanden ibland skickat in hela kursutvärderingsdokument, inklusive kommentarer, men ibland enbart kommenterat sina kursvärderingar med en kommentar, vilket inte anses tillräckligt.

Vad gäller att fungera som examinator kommenteras detta separat av flera av de sakkunniga, liksom frågan om handledarskap som praktiskt taget alla kommenterar. 90% av de pedagogiskt sakkunniga och 52% av de vetenskapligt sakkunniga kommenterar kriteriet, men inga skillnader i tolkning tycks finnas mellan grupperna.

DISKUSSION

Ett grundläggande syfte med denna studie var att ta reda på om nyttjandet av särskilt utsedda pedagogiskt sakkunniga tillför kvaliteter som gör insatsen befogad för lärosätena, genom att undersöka skillnader i sakkunniggranskningar mellan pedagogiskt och vetenskapligt sakkunniga i en fallstudie. Resultatet visar på tydliga skillnader både i fråga om hur uppgiften att bedöma pedagogisk skicklighet hanteras, hur man ser på sin egen kompetens att göra detta, perspektiven på pedagogisk skicklighet och tillämpningen av de uppställda kriterierna.

I relation till den inledande bakgrunden om hur pedagogisk skicklighet uppfattas nationellt och internationellt framkommer flera kvalitativa skillnader mellan sakkunniggrupperna. De pedagogiskt sakkunniga lyfter i högre grad både avsaknad och närvaro av meriter, samtidigt som de resonerar kring hur uppfyllandet av kriterierna visas i materialet. Detta gör inte de vetenskapligt sakkunniga. Fördelen med att tydliggöra både vad som inte framkommer och vad som framkommer i meritportföljerna är att det kan bidra till att skapa meningsfullhet för de sökande, då det innebär en slags återkoppling att också få reda på områden där man kan utveckla sin portfölj (Tigelaar et al., 2005).

I de pedagogiskt sakkunnigas utlåtande ligger större tyngdvikt vid reflektion och pedagogiskt tänkande och den sökandes förankring i teori. Detta står i kontrast till det som identifierats som värdefullt i en nyligen genomförd studie av utlåtanden från vetenskapligt sakkunniga (Levander, 2017). Perspektivet som återfinns bland pedagogiskt sakkunniga speglar därmed synen att pedagogisk skicklighet utgörs av ett växelspel mellan det pedagogiska mötet, teoretisk förankring, reflektion och utveckling, något som har framhållits som centralt i litteraturen (Ryegård et al., 2010). Det framstår som att de pedagogiskt sakkunniga i högre grad än de vetenskapligt sakkunniga gjorde systematiska granskningar i relation till kriterierna. Tidigare studier av sakkunniggranskningar (Baume et al., 2004; Tigelaar et al., 2005) har visat att sakkunniga inte varit systematiska i sina bedömningar av pedagogisk skicklighet. Den systematik med vilken de pedagogiskt sakkunniga har tagit sig an granskningsuppgiften i relation till kriterierna utgör med andra ord ett viktigt bidrag, och kan utgöra en möjlighet att öka reliabiliteten i bedömningar av pedagogisk skicklighet. En orsak till det kan vara att de i högre grad har en gemensam förståelse för kriterierna och kännedom om den samsyn kring pedagogisk skicklighet som vuxit fram i Sverige.

Studien tydliggör två problem som är förknippade med att vetenskapligt sakkunniga gör bedömningar av pedagogisk skicklighet. Det ena problemet är att flera har erfarenhet av att ha träffat eller haft några av de sökande som kollegor. Detta kan naturligtvis ha bidragit till en bättre förståelse för själva undervisningskontexten, men det kan också anses vara mycket problematiskt för en rättvis bedömning. Om sakkunniga litar mer på sin egen erfarenhet av att t.ex. ha hört eller sett personen de ska bedöma undervisa än det underlag de har fått sig tilldelat, är det anmärkningsvärt att kommentarer som rör egna erfarenheter förekommer i bedömningarna. Detta problem hänger också ihop med det som inledningsvis togs upp som ett reliabilitetsproblem, där bedömningarna varierar med olika bedömare.

Det andra problemet är att flera vetenskapligt sakkunniga som en följd av sin vetenskapliga kompetens inte ansåg sig kompetenta att också bedöma den pedagogiska skickligheten. Detta ligger i linje med den forskning som visar att excellenta forskare inte per automatik också är excellenta lärare (Kreber, 2002) och är ett argument för att sakkunniggranskning av pedagogisk skicklighet, liksom undervisning, kräver särskild kompetens. Jag ser två vägar att nå sådan kompetens: antingen genom att anlita särskilt utsedda pedagogiskt sakkunniga som har sådan kompetens, eller genom att utbilda vetenskapligt sakkunniga att uppnå sådan kompetens. Dock visar analysen att det finns ytterligare problem som försvårar bedömningarna.

Aspekter som fokuserar på erfarenheter och vad man har gjort eller ’åstadkommit’, såsom kursansvar och undervisningsformer, framstår som någorlunda lätta att bedöma. Kriterium nummer 1, 2 och 6–9 är exempel på sådana aspekter. Däremot är kriterier som fokuserar hur man verkar som lärare, t.ex. engagemang (kriterium 3), om man aktiverar studenter till självständigt lärande (kriterium 4) och kommunikation med studenterna (kriterium 5), svårare att bedöma med endast lärarens pedagogiska egenreflektion som underlag. Då endast ett fåtal av de granskade meritportföljerna innehöll intyg från kollegor eller studenter är utmaningen för sakkunniga större i relation till sådana kriterier. Det framgår också att flera av kriterierna överlappade med varandra, och att sakkunniga har olika syn på vilken vikt som bör ges till olika aspekter av den pedagogiska skickligheten. Detta kan vara en konsekvens av alltför specifika kriterier (Elken & Wollscheid, 2016). Det sätt på vilket de sakkunniga hanterade detta problem var genom att tydliggöra sina utgångspunkter. En av de pedagogiskt sakkunniga ansåg t.ex. att arbete med utvecklingsprojekt och ett vetenskapligt förhållningssätt till den egna praktiken skulle ges högre vikt än pedagogiskt förhållningssätt och kursvärderingsresultat.

I bedömningarna framstår det som att både vetenskapligt och pedagogiskt sakkunniga bedömer mängden erfarenheter i fråga om vad man gjort som lärare. Bedömningar av hur och varför man gjort dessa erfarenheter, frågor som framhålls av Kreber (2015) som centrala för att synliggöra pedagogisk skicklighet, har i materialet dock huvudsakligen gjorts av pedagogiskt sakkunniga. Denna studie visar också att beskrivningar av tillvägagångssätt och förhållningssätt behöver vara så väl beskrivna att det är möjligt för sakkunniga att bedöma dess tillförlitlighet och kvalitet, något som ofta saknades i studiematerialet.

Begränsningar

Genomgången av sakkunnigutlåtanden inom ramen för denna fallstudie har begränsningar. Antalet sakkunnigutlåtanden var begränsat. Det underlag jag tagit del av är i hög grad beroende av de instruktioner som fanns tillgängliga vid införandet av Juridicums kriterier för pedagogisk skicklighet. Man kan därmed ifrågasätta om problemen som framkommer bara är lokala. Eftersom vetenskapligt sakkunniga uteslutande var från andra lärosäten än Stockholms universitet är det dock troligt att liknande resultat hade framkommit vid en studie som även inkluderade andra lärosäten. I framtida forskning skulle det vara av stort värde att jämföra sakkunniggranskningar mellan flera olika universitet och flera ämnen.

Slutsats

Denna studie visar på flera tydliga skillnader i de bedömningar som vetenskapligt och pedagogiskt sakkunniga gör, samt vad de lyfter fram i sina utlåtanden. Resultaten visar att det är stora skillnader mellan grupperna i omfattning på sakkunnigutlåtandena kring pedagogisk skicklighet. Det framkommer också skillnader i perspektiv på pedagogisk skicklighet där vetenskapligt sakkunniga i högre grad fokuserar på omfattning och erfarenheter, medan pedagogiskt sakkunniga dessutom fokuserar på ett vetenskapligt förhållningssätt grundat i pedagogisk forskning och resonemang kring hur egna undervisningspraktiken genomförs. Problem kring upplevd kompetens bland vetenskapligt sakkunniga framkommer också. I genomgången av hur de två sakkunniggrupperna har tillämpat juridiska fakultetens kriterier för pedagogisk skicklighet framkommer slutligen skillnader både gällande vilka kriterier som faktiskt bedöms av sakkunniga och kvalitativa skillnader i hur kriterierna behandlas.

Studien visar att det finns flera risker med att enbart förlita sig på vetenskapligt sakkunniga i bedömningar av pedagogisk skicklighet vid tjänstetillsättningar. De främsta orsakerna till detta rör den systematik och kompetens kring pedagogiska frågor med vilken de pedagogiskt sakkunniga i föreliggande studie tog sig an bedömningarna i relation till kriterierna. Samtidigt framkommer att ett flertal kriterier är svårbedömda, går in i varandra och att samsyn saknas kring hur de ska tolkas. Utbildning i sakkunniggranskning skulle kunna vara en väg framåt för att hantera dessa problem. Frågan om användningen av särskilt utsedda pedagogiskt sakkunniga tillför kvaliteter som gör insatsen befogad för lärosätena kvarstår som relativt tydligt besvarad: Ja, det är svårt att bedöma pedagogisk skicklighet och det behövs därför särskild kompetens att göra bedömningar av pedagogisk skicklighet.

FÖRFATTARPRESENTATION

Klara Bolander Laksov

är docent i medicinsk pedagogik och lektor i högskolepedagogik. Hon är sedan 2014 föreståndare för Centrum för universitetslärarutbildning vid Stockholms universitet. Hennes forskningsintresse inom högskolepedagogik fokuserar på integration av teori och praktik, ledarskap, organisation och förändringsarbete inom högre utbildning.

REFERENSER

  • Atkinson, P., & Coffey, A. (1997). Analysing Documentary Realities’ in D. Silverman (ed.) Qualitative Research. Theory, Method. Practice. London: Sage.
  • Badersten, B. (2014). Att bedöma och belöna pedagogisk skicklighet – erfarenheter från Samhällsvetenskapliga fakulteten vid Lunds universitet. Högre utbildning, 4(2), 147–160.
  • Baume, D., Yorke, M., & Coffey, M. (2004). What is happening when we assess, and how can we use our understanding of this to improve assessment? Assessment & Evaluation in Higher Education, 29(4), 451–477.
  • Bexley, E., James, R., & Arkoudis, S. (2011). The Australian Academic Profession in Transition: Addressing the Challenge of Reconceptualising Academic Work and Regenerating the Academic Workforce. Centre for the Study of Higher Education.
  • Bolander Laksov, K., & Tomson, T. (2016). Becoming an educational leader – exploring leadership in medical education. International Journal of Leadership in Education, 1–11.
  • Bowen, G. A. (2009). Document analysis as a qualitative research method. Qualitative research journal, 9(2), 27–40.
  • Boyer, E. L. (1990). Scholarship reconsidered: Priorities of the professoriate: ERIC.
  • Cousin, G. (2005). Case study research. Journal of Geography in Higher Education, 29(3), 421–427.
  • Elken, M., & Wollscheid, S. (2016) The relationship between research and education: typologies and indicators. A literature review. Oslo: NIFU
  • Entwistle, N., & Ramsden, P. (2015). Understanding Student Learning (Routledge Revivals). Abingdon and New York: Routledge.
  • Graneheim, U. H., & Lundman, B. (2004). Qualitative content analysis in nursing research: concepts, procedures and measures to achieve trustworthiness. Nurse Education Today, 24(2), 105–112.
  • Henderson, C., Turpen, C., Dancy, M., & Chapman, T. (2014). Assessment of teaching effectiveness: Lack of alignment between instructors, institutions, and research recommendations. Physical Review Special Topics-Physics Education Research, 10(1), 010106.
  • Kreber, C. (2002). Teaching excellence, teaching expertise, and the scholarship of teaching. Innovative Higher Education, 27(1), 5–23.
  • Kreber, C. (2005). Reviving the ancient virtues in the scholarship of teaching, with a slight critical twist. Higher Education Research & Development, 34(3), 568–580.
  • Kreber, C. (2005). Charting a critical course on the scholarship of university teaching movement. Studies in Higher Education, 30(4), 389–405.
  • Levander, S. (2017). Den pedagogiska skickligheten och akademins väktare – Kollegial bedömning vid rekrytering av universitetslärare. (Avhandling, Uppsala universitet, Sverige.)
  • Lindberg, L. (1988). Sakkunnigutlåtanden vid tillsättning av professurer i pedagogik 1910–1982. Umeå universitet: Pedagogiska institutionen.
  • Rovio-Johansson, A., & Tingbjörn, G. (2001). Pedagogisk skicklighet och pedagogiska meriter-historik & praktik. rapport nr.: Högskoleverkets rapportserie 2001: 18 R.
  • Ryegård, Å. (2013). Inventering av pedagogiska karriärvägar på Sveriges högskolor och universitet. Göteborgs universitet: PIL-enheten.
  • Ryegård, Å., Apelgren, K., & Olsson, T. (2010). Att belägga, bedöma och belöna pedagogisk skicklighet. Myndigheten för nätverk och samarbete inom högre utbildning.
  • Schelin, J. (2011) Bedömningskriterier vid anställning och befordran, (2018-04-05).
  • SFS (1993:100). Högskoleförordningen, kapitel 4 .
  • Tigelaar, D. E., Dolmans, D. H., Wolfhagen, I. H., & van der Vleuten, C. P. (2005). Quality issues in judging portfolios: Implications for organizing teaching portfolio assessment procedures. Studies in Higher Education, 30(5), 595–610.
  • Trigwell, K., & Shale, S. (2004). Student learning and the scholarship of university teaching. Studies in Higher Education, 29(4), 523–536.
  • Van der Schaaf, M., Baartman, L., & Prins, F. (2012). Exploring the role of assessment criteria during teachers’ collaborative judgement processes of students’ portfolios. Assessment & Evaluation in Higher Education, 37(7), 847–860.
  • Winka, K. (2017). Kartläggning av pedagogiska meriteringsmodeller vid Sveriges högskolor och universitet. Göteborgs universitet: PIL-enheten.
Publicerad
2018-09-24
How to Cite
BOLANDER LAKSOV, Klara. Att bedöma pedagogisk skicklighet – är det verkligen så svårt? – en studie av skillnader i bedömningar mellan vetenskapligt och pedagogiskt sakkunniga. Högre utbildning, [S.l.], v. 8, n. 2, p. 55-68, sep. 2018. ISSN 2000-7558. Tillgänglig på: <https://hogreutbildning.se/index.php/hu/article/view/996>. Senaste access: 21 oct. 2018 doi: https://doi.org/10.23865/hu.v8.996.