Når skal vi slutte med tidssløsingen?

For noen år siden fikk jeg et spørreskjema fra et flyselskap. Jeg ble bedt om å evaluere det som etter min mening var en helt vanlig flytur jeg hadde hatt mellom Oslo og Trondheim. Et av spørsmålene jeg fikk, gikk ut på å beskrive luftkvaliteten på flyturen på en skala fra 1-10, der 1 var dårligst og 10 var best. Ettersom jeg opplevede luftkvaliteten på flyturen som helt ordinær, ble jeg i tvil om hva jeg skulle krysse. Hva slags verdi har vanlig luftkvalitet?

Jeg husker faktisk ikke hva jeg krysset av for, men samme kvelden var jeg i et selskap. Der spurte jeg en gruppe av de andre gjestene hva de ville ha krysset av på. Det dannet seg snart flere grupperinger. Noen hevdet hardnakket at vanlig luftkvalitet var gjennomsnittlig og derfor skulle ha en 5-er. Andre mente derimot at lufta er perfekt om man ikke legger merke til den, og at jeg derfor burde ha krysset 10. Andre igjen syntes alminnelig luftkvalitet hørtes ut til å berettige ca 7-8 på skalaen. Det vil si ganske bra, men ikke perfekt. Det perfekte ville man merket på noe vis. Denne historien viser at nøyaktig den samme opplevelsen av luftkvalitet, det vil si at man ikke legger merke til den, altså kan resultere i svært ulik avkrysning fra ulike individer.

Tolker det som en fasit

Historien illustrerer et poeng med spørreundersøkelser som er overførbart til spørreundersøkelser i forbindelse med mer komplekse forhold. Dette gjelder for eksempel evaluering av undervisning i Studiebarometeret. Hvis man ser for seg to studenter på samme studieprogram som har akkurat samme oppfatning av undervisningen, så kan de i teorien krysse svært ulikt. Undervisning er i tillegg ganske komplekst, og vanskelig å bedømme. Det jeg her illustrerer, er ikke ukjent i forbindelse med tolkning av spørreundersøkelser. Alle seriøse forskere kjenner disse problemene. Det som er slående med den typen evalueringer som Studiebarometeret, er at de som tolker resultatene ikke tar denne kunnskapen inn over seg. Politikere, journalister, byråkrater og ikke minst universitetsledere ser ut til å tro at Studiebarometeret gir en slags fasit på studiekvalitet. Da er det grunn til å minne om at det er en rekke problemer med studiebarometeret, i tillegg til uklarhet rundt hva de som krysser av mener med tallene sine.

Det ene problemet har med antallet informanter fra hvert studiested å gjøre. År etter år registrerer man for eksempel at store studiesteder ofte får en middels evaluering av en utdanning, mens små studiesteder kan gjøre det både veldig bra og veldig dårlig. Det er ikke vanskelig å forstå. Jo flere studenter som svarer, jo mer sannsynlig er det at deres meninger sprer seg over et vidt spektrum. For å ta eksempelet med luftkvalitet, så vil man på et sted med mange respondenter trolig ha ganske jevnt med de som krysser 5, 8 og 10 når de synes luftkvaliteten er vanlig. På et lite studiested vil variasjoner i tolkning av spørsmålene kunne gi både veldig bra og veldig dårlige resultater. Ofte får man, etter offentliggjøring av Studiebarometeret, intervjuer med triumferende representanter for et lite studiested der man har gjort det bra, der temaet er at det er så fint å studere på et lite studiested. Samtidig er det ofte små studiesteder som er blant de som gjør det dårligst også, nettopp på grunn av de ovennevnte variasjonene i svar. Merk at faktisk kvalitet har lite med en slik spredning å gjøre.

Fanger ikke opp studiekvalitet

Det er forøvrig slik i Studiebarometeret at alle studiesteder blir målt slik at man sammenligner et fag på institusjonen med landsgjennomsnittet innen faget. For noen typer utdanninger, som for eksempel flere av sivilingeniørutdanningene ved NTNU, så går faktisk det store flertallet av studentene som tar denne typen utdanning på NTNU, det er kun få studenter som tar denne utdanningen ellers i landet. Når det så er slik at studentenes gjennomsnittskåre på landsbasis angir et snitt som institusjonene måles mot, burde det ikke komme som noe sjokk at utdanningen ved NTNU ble nettopp gjennomsnittlig bedømt. Dette gjelder også for eksempel veterinærstudier og andre studier som mest finnes på ett studiested.

Når samme oppfatningen av en verdi kan resultere i kryss fra 5 til 10 langs samme skala, sier det seg selv at Studiebarometeret ikke kan fange opp studiekvalitet. De tallene som kommer, er heller ikke hjelpsomme for institusjonene. For hvordan skal man tolke at man fikk en skåre som var litt lavere enn landsgjennomsnittet på en av de mange skalaene man blir bedømt langs? Særlig når man året før fikk avvik langs en annen skala. Likevel blir de ulike enhetene hvert år bedt om komme med en liste med tiltak basert på Studiebarometeret. Det oppleves som en utrolig meningsløs øvelse.

Kvalitativ tilnærming er bedre

Jeg tror alle er enige om at man ønsker å vite hva studentene mener om en utdanning, og at man gjerne skulle ha sammenlignet ulike studiesteder som har samme utdanning. Dessverre er det ikke alt som er ønskverdig som er gjennomførbart. Selv om det er mange studenter som svarer på Studiebarometeret, er de ikke mange som svarer per studieprogram. Husk på at NTNU for eksempel har over 500 studieprogram. Dessuten er studier svært ulike, for eksempel med og uten praksis, og det å bruke de samme spørsmålene for alle studieprogram er heller ingen gode idé. Det å sammenligne studiekvalitet på ulike studier med ulike behov, ved ulike studiesteder, med det lave antallet respondenter per studieprogram og med det uklare tallmaterialet man kan få, tilfører dermed ikke særlig mye kunnskap. Det bør derfor ikke brukes som utgangspunkt for endring av studieprogram. Dersom man genuint ønsker å sette i gang tiltak som studentene har utbytte av, må man snakke med enkeltstudenter om opplevelsene deres. Da trenger man en kvalitativ tilnærming. Det er derfor man i dag allerede har ulike former for referansegruppe på ulike studier. Det at man ønsker å sammenligne institusjonene, er forståelig, men et slikt ønske gjør dessverre ikke evalueringer som Studiebarometeret mer informativt. La oss snart slutte med denne tidssløsingen!