Din karakter ER afhængig af, hvem der bedømmer

Skrevet af Jannick Friis ChristensenMia Mathilde Hansen - Foto: Illustration Jørn Albertus - 14. februar 2014 - 14:109 kommentarer
Enten var de CM IB-studerende, der er født først på måneden, fagligt dygtigere end dem, der er født sidst på måneden, eller også var der en niveauforskel i bedømmelserne - og det må der ikke være.

Godt 150 studerende på Cand.merc. i International Business blev i december delt tilfældigt op mellem to bedømmere efter en skriftlig stedprøve. Konsekvensen blev en markant forskel i karakterniveau. Nu skal alle opgavebesvarelserne ombedømmes.

Eksamensopgaver tilfældigt opdelt på bedømmere
I eksamensperioder går snakken blandt studerende ofte på, om karakteren kunne se anderledes ud, hvis bedømmeren havde været en anden.

Det fik de studerende på cand.merc. i International Business (IBS), der netop har afsluttet den skriftlige stedprøve i faget International Financial Markets, syn for sagn om. Det viste sig, at det gør det – forskel, altså.

Grundet problemer med implementeringen af STADS var studieadministrationen ved denne eksamen nødt til at sende en fælles karakterudskrift ud til samtlige eksaminander. Af denne fremgik det klart, at holdet havde været delt tilfældigt op på to interne bedømmere.

Ved første øjekast så den ene ud til at have været mere rundhåndet med karakterne end den anden. Det gjorde det også ved andet og tredje – og igen da man begyndte at regne gennemsnittene for karaktergivningen ud.

Markant forskel i karaktergennemsnit
Nogle af de studerende bed mærke i den markante forskel i karaktergivningen de to bedømmere imellem. Det fik stud.merc. IBS Kasper Sonne Nørbygaard til at udarbejde et Excel-ark for at afprøve sin mistanke.

Excel-arket talte sit eget tydelige sprog: de studerende, der var født i den første halvdel af måneden, havde et karaktersnit, der næsten var 2,31 karakterpoint højere, end dem, der havde fødselsdag efter den 16. i måneden.

Sandsynligheden for, at faglig dygtighed rent faktisk fordeler sig sådan, er mindre end meget lav. Den store difference fik da også de studerende til at reagere, og en mailstorm ramte hurtigt både linjesekretariatet og den fagansvarlige kursuskoordinator.

Underviser: karakterne kunne også være for høje
Ole Risager, som er kursuskoordinator og selv underviser i faget, havde i år valgt at videregive ansvaret for at rette eksamensopgaverne ud fra sin rettevejledning.

- Så viser det sig jo, at der er en markant forskel i karaktererne. Men sandheden er jo, at ingen ved, hvorfor der er den forskel. Vi kan ikke med sikkerhed vide, hvor årsagen ligger, for der kan være mange, forklarede Ole Risager, som beklagede situationen.

- Jeg har fået mange mails fra studerende, og den gennemgående tone går på, at der er givet for lave karakterer. Men det kunne jo lige så vel være, at der er givet for høje, påpegede Ole Risager.

De studerende kunne bare klage over eksamen
Selv om man i linjesekretariatet havde modtaget en lind strøm af klager fra studerende, som følte sig alt andet end retfærdigt behandlet, valgte kursuskoordinatoren ikke at tage hånd om situationen på overordnet niveau.

Holdningen fra den fagansvarlige var, at de studerende var blevet bedømt efter bogen og på lige fod, og at det derfor skulle være op til den enkelte utilfredse studerende at prøve lykken ved at klage officielt gennem Legal, hvis de mente noget andet.

Det står nemlig bedømmerne frit for uafhængigt af hinanden at lægge et niveau og tolke ud fra den vejledende besvarelse. Dette havde de to bedømmere så gjort, og de har hver især bedømt alle de studerende ens ud fra deres respektive niveau.

Men… holdt man deres bedømmelser op imod hinanden, var der en tydelig forskel i karakterniveauet.

Ekspert: karakterer IKKE person-uafhængige
CBS OBSERVER blev blandet ind i sagen medio januar og fik i forbindelse med researchen CBS’ evaluering og akkrediteringsafdeling til at udfærdige en uafhængig analyse af karaktererne.

Af analysen fremgår det tydeligt, at det var med rette, de studerende havde mistanke om, at karaktererne ikke var uafhængige af, hvem der havde bedømt besvarelserne.

Karaktergennemsnittet for bedømmer 1 er 6,74, mens det for bedømmer 2 er 4,43, når der ses bort fra de blanke karakterer (altså -3).

Evalueringskonsulent Michael Møller Nielsen, der foretog en statistisk test på karaktersættet, forklarer:

- Kun cirka halvdelen af den faktisk observerede karakterforskel mellem de 2 bedømmere kan med rimelig sandsynlighed forklares ved, at den ene bedømmer, bedømmer 2, tilfældigvis har fået ’udtrukket’ dårligere opgavebesvarelser end bedømmer 1.

Michael Møller Nielsen konkluderer derfor, at bedømmelserne med over 99,9 procent sandsynlighed IKKE er uafhængige af, hvem der har bedømt opgaverne – hvilket underbygger de studerendes påstand.

Forargede studerende sammenlignede karakterer
Kursuskoordinatorens håndtering af sagen forargede en stor del af de studerende på cand.merc. IBS-uddannelsen. De påpegede, at problemet var, at de to bedømmere tydeligt og ud fra karaktererne dokumenterbart havde lagt forskellige niveauer.

Da en anonym kilde, hvis identitet er kendt af redaktionen, henvendte sig til OBSERVER med sagen, var det udelukkende for at fremhæve princippet om, at der ikke bør være mulighed for at forskelsbehandle studerende i en eksamenssituation.

- Jeg synes, at sagen i høj grad handler om det princip, at ens karakterer jo skal være repræsentative for det, man kan. Alle, der ikke er tilfredse, burde derfor have mulighed for ombedømmelse, mente kilden.

Han havde selv fået karakteren 7 og mente ikke, at en genbedømmelse vil rykke det helt vilde ved det. Dog overvejede han af principielle årsager at klage, efter at underviseren under massivt pres fra de studerende offentliggjorde sin rettevejledning.

Practice as usual – de studerende må gå til Legal
Studerende Jan Vibe Gregersen, som er en af tre studenterrepræsentanter i cand.merc. IBS-linjens Quality Board, agerede talerør til den fagansvarlige gennem sagsforløbet.

Han forsøgte sit bedste for at finde en fornuftig løsning, som begge parter kunne være tjent med, men var ikke tilfreds med det resultat, Ole Risager besluttede sig for. Den lagde efter hans mening løsningen af problemet helt over på de studerendes individuelle skuldre.

Ole Risager havde valgt – i et erklæret håb om at kunne lukke sagen med ”den mest venlige løsning for de studerende” – at de utilfredse studerende skulle gå den officielle vej og klage via Legal – altså ’practice as usual’.

Den løsning var efter Ole Risagers opfattelse den mest studentervenlige. Han mente, at alternativerne – enten en ombedømmelse af samtlige besvarelser eller en decideret omprøve – begge indebar risici for, at studerende kunne ende med dårligere karakterer, end de fik ved den ordinære eksamen.

Ville have studienævnet ind i sagen
- Jeg kunne godt have tænkt mig, at det principielle i sagen blev taget op i studienævnet, hvilket vi også efterlyste. De to bedømmere burde jo have været enige om, hvordan standarden på besvarelserne skulle være, fortæller Jan Vibe Gregersen og understreger:

- Det handler ikke så meget om, at den ene bedømmer er strengere end den anden, men snarere om den tydelige forskel i karaktergivningen.

Imidlertid er en sag som denne ikke studienævnets bord – bortset fra at kunne forholde sig til det principielle i sagen, og hvordan man undgår en lignende situation fremover. Henrik Sornn-Friese kunne på eget initiativ nok være gået ind i sagen under forløbet, men det i hans rolle som cand.merc. studieleder, ikke formand for cand.merc. studienævnet.

Uddannelsesdekanatet og Legal skar igennem
Som sagen stod indtil torsdag den 13. februar, kunne de berørte studerende hverken gøre fra eller til. Reeksamen fandt sted fredag den 7. februar, og 14-dages fristen for den normale klageprocedure gennem Legal var for længst overskredet.

Imidlertid tog uddannelsesdekanatet og Legal affære. Dels var der krusninger fra CBS OBSERVER’s research, og dels var der indløbet 35 eksamensklager til Legal, hvor essensen var, at der ikke havde været tale om ensartede bedømmelser.

Legal tager nemlig affære på overordnet niveau, når der kommer uforholdsmæssigt mange klager over en enkelt eksamen. Uddannelsesdekanatet fik gentaget den statistiske analyse hos CBS’ evaluering og akkrediteringsafdeling og kom til samme resultat:

Der var ingen fejl eller mangler ved selve eksamenen, hvorfor der ikke skulle være tale om at annullere den eller tilbyde ekstraordinær omprøve, men bedømmelsen de to grupper imellem havde været uens – for uens.

Eksamenen ombedømmes nu med ekstern censur
Uddannelsesdekanatet konstaterer, at: ”den foretagne bedømmelse ikke lever op til bekendgørelsens (Eksamensbekendgørelsens § 60 stk. 1, nr. 3) krav om ensartet behandling og pålidelig bedømmelse”.

Som konsekvens beslutter uddannelsesdekanatet, ”at de allerede foretagne bedømmelser tilbagekaldes, og at der iværksættes en ny bedømmelse af samtlige afleverede besvarelser” – ”så hurtigt som det overhovedet er muligt”..

De studerende risikerer derved at få ikke bare højere, men også lavere karakterer end ved den oprindelige prøve.

Selv om den oprindelige eksamen ikke var med ekstern censur, så bliver ombedømmelsen det – dels for at sikre størst mulig robusthed, og dels på grund af risikoen for at få sat karakterer ned.

Dertil kommer en række særlige forhold for de studerende, der i mellemtiden enten allerede har været oppe til reeksamen eller får en dumpekarakter ved ombedømmelsen.

Det interne notat kan læses i sin fulde ordlyd her.

CBS-fejl skal ikke tørres af på studerende
CBS Students formand Charlotte Gjedde tager det som en grundlæggende ret, at man som studerende på et studie skal have karakterer, der er fuldt sammenlignelige med karaktererne hos ens medstuderende – som man jo skal konkurrere med på arbejdsmarkedet efter endt studium.

Hun er forarget over underviserens håndtering af den pågældende sag, men glæder sig over, at der nu er kommet en holdbar løsning.

- Jeg synes, det er godt, at CBS nu tager ansvar, når det er hos CBS, fejlen ligger, siger Charlotte Gjedde.

Hun finder løsningen om at sende samtlige eksamensopgaver til ombedømmelse mere retfærdig i forhold til at lade den enkelte studerende gå den slagne vej til Legal.

- Jeg kan sagtens se, at løsningen umiddelbart er træls for de studerende, som egentlig er tilfredse med deres karakter. Det ændrer bare ikke ved, at kollektiv ombedømmelse i den givne situation er mere fair end individuelle eksamensklager, anerkender Students-formanden.

BilagStørrelse
PDF icon Uddannelsesdekanatets afgørelse154,02 KB

Kommentarer

Ekstrem stærk artikel der virkelig belyser nogle af de problematikker man sidder med som studerende. En klar mulig nominering til Cavling Prisen.

Hvad synes du?

Jeg kan på ingen måde se hvordan dette kan være fair.
Hvorfor skal majoriteten lide for minoriteten?

Jeg anerkender at der er et kæmpe problem på cbs. Det burde aldrig være muligt for to bedømmere at kunne give så forskellige karakterer. Men det er helt sikkert heller ikke et isoleret problem, det er med stensikkerhed noget som sker på alle cbs uddannelser (noget som jeg selv har egen erfaring med er sket). Den eneste forskel er bare at på CM IBS der blev karakterende udgivet så man rent faktisk kunne lave en statistisk analyse på det.

Men det ændrer ikke sagen af kernen, at alle eksamnerne skal ombedømmes. Af artiklen fremstår det at "kun" 35 elever rent faktisk har klaget. Ergo 35 elever synes at de er blevet uretfærdigt behandlet. Resten, altså omkring 150 studerende synes jo åbenbart at den karakter de har fået er fair. Så jeg kan på ingen måde forstå at Charlotte Gjedde mener at dette er det mest fair at gøre. Som CBS Students formand burde hun kæmpe for hvad der er i bedste interesse for hvad majoriteten ønsker og ikke hvad et lille mindretal føler. I stedet burde holdningen være at de studerende som føler sig forfordelt skal klage igennem legal. Og så i fremtiden bør cbs sørge for at eksamenbedømmere på forhånd aftaler én standard inden de sætter sig ned og bedømmer.

Hvad synes du?

Jeg tror helt generelt ikke du kan tage antallet af klager til Legal Service som værende repræsentativt for antallet af utilfredse studerende. Det er fx ikke altid jeg har "orket" at skrive en klage, da den skal være "velargumenteret", og et eventuelt tilbud om re-eksamen er altså ikke altid interessant da det betyder, at man på et andet tidspunkt skal læse op til eksamen.
I det konkrete tilfælde formoder jeg der er en del internationale studerende, som sandsynligvis kun har været tilknyttet CBS i få måneder. Her kan man forestille sig at regler og retningslinier for at klage ikke er noget man har et indgående kendskab til og bliver dermed ikke gjort inden 14-dages deadline. Ydereligere kan en forlængelse af studiet indebære flere komplikationer for udenlandske studerende i forhold til danske studerende.

Hvad synes du?

Er det her virkelig en overraskelse for nogen?

Hvad synes du?

Sagen for IB'erne er en rigtig ærgelig situation, uden tvivl, men en ting jeg ofte har undret mig over er, hvorfor der på CBS tæt på aldrig bliver givet feedback på skriftlige eksaminer?
I mange tilfælde kan studerende lære af den begrundelse der ligger tilkende for karaktergivningen, plus det faktum, at eksaminator eller censor også kan lave fejl. Er det proceduren at man skal klage til Legal Services for at få en begrundelse/feedback?

Hvad synes du?

Enhver der har fungeret som eksaminator og censor, ved at det er tæt ved umuligt at få et ensartet niveau på tværs af forskellige bedømmere. Det er bare et vilkår som studerende at det er et lotteri hvem der bedømmer ens eksaminer. Men set over en hel uddannelse udligner det sig jo nok.

Hvad synes du?

Uddrag fra afgørelse:
"Selvom den nye karakterskala bl.a. i kraft af den kobling til læringsmål giver grundlag for en rimelig sikker og ensartet bedømmelse, vil der uundgåeligt altid indgå et subjektivt element i en bedømmelse. Og to bedømmere kan godt have visse udsving i bedømmelsen af samme opgaver. Men når der er tale om så markante udsving, som det er tilfældet i den aktuelle sag, er der tydeligvis mere end det acceptable ’slør i måleinstrumentet’."
Jeg forstår det som, at man erkender forskelle i bedømmelser forekommer, men at der må være grænser for det tolerable. Der er altså ikke tale om kritik af forskelle generelt, men derimod graden af dem.

Hvad synes du?

Man kan altså ikke - og har i øvrigt aldrig kunnet - levere 100% millimeterretfærdig objektiv karaktergivning, hverken på CBS eller på nogen som helst anden uddannelsesinstitution.

I hvert fald ikke med mindre man tyr til 100% multiple choice eksaminer.

Forventer man andet og mere end, at CBS eller andre uddannelsesinstitutioner gør deres absolut bedste for at minimere udsvingene, har jeg personligt kun ét at sige:

Get real!

Bjørn Hyldkrog
ansvarshavende redaktør

Hvad synes du?

Ikke så markant forskel, Bjørn. Du forsvarer noget, som ikke kan forsvares.

Hvad synes du?