Slik måles universitetene:

- Rangeringene er ikke veldig informative

En salig blanding av undervisning, forskning, siteringer, internasjonalisering og inntekter fra industrien vurderes når Times Higher Education skal rangere utdanningsinstitusjoner. Sentralt står en spørreundersøkelse som sendes ut til erfarne vitenskapsfolk.

Henrik Karlstrøm er bibliometriker og ekspert på rangeringer ved NTNU Universitetsbiblioteket.
Publisert Sist oppdatert

Nok en høst, nok en runde med rektorer som skryter av, forsvarer, forklarer eller forsøker å bortforklare mer eller mindre gode resultater på Time Higher Education sin verdensomspennende ranking av universiteter.

Siden 2004 har nettstedet rangert verdens universiteter, og omtaler selv undersøkelsen som en balansert og grundig undersøkelse utarbeidet over mer enn et tiår i samarbeid med verdens ledende universiteter. Resultatet skal, ifølge dem selv, være en rangering basert på en forståelse for hva som virkelig gjør et universitet til «world class».

De fem hovedkategoriene universitetene måles på er undervisning, forskning, siteringer, internasjonalisering og inntekter fra industrien.

Følg UA på Facebook, Twitter og Instagram.

LES OGSÅ: Tre av fem norske universiteter faller på internasjonal rangering

Her kan du lese ytringen «Rangeringen av NTNU: Fra fusjon til fritt fall».

- Lite informativ rangering

- Jeg synes ikke disse rangeringene er veldig informative. Når en ser på hvor mye tid som går med på å sende inn tall, får vi veldig lite igjen. Det er informasjon som ikke kan brukes til noe, og jeg synes det er mye støy rundt rangeringene uten at de tilfører forskningen noe som helst, sier Henrik Karlstrøm, bibliometriker og rangeringsekspert ved NTNU Universitetsbiblioteket og legger til:

- Norske institusjoner er i utkanten av Europa, og det er snakk om breddeuniversiteter som ikke spesialiserer seg og som har veldig mange studenter sammenlignet med andre. Da er det vanskelig å se for seg at de skal kunne oppnå noen superplassering uansett.

Karlstrøm forteller at rankingene ikke spiller inn på verken søkertall eller tilstrømmingen av forskere til universitetet, og at det heller ikke er et egnet verktøy for strategisk styring.

Lite skal til for å falle langt

Et av problemene mener han er at det er alt for lite som skal til før en institusjon faller mange plasser.

- Om du ser på rankingen vil de fleste si seg enig i de 20 til 30 første plassene, og stopper du en tilfeldig forsker på gaten og spør om en topp-ti liste vil det nok stemme overens med rankingen. Men fra plass nummer 30 og utover er det utrolig tett, og det er da du kan se at enkelte spretter hundre plasser opp eller ned uten at det egentlig har skjedd stort med kvaliteten ved universitetet. Det er jo snakk om trege institusjoner hvor det tar lang tid før slike endringer blir merkbare.

Karlstrøm mener det ville vært mer formålstjenelig om det hadde vært en grovere inndeling av institusjonene. Times Higher Education plasserer allerede i dag institusjoner i større grupperinger på 50 til 100 plasser etter et visst punkt, og denne grovsorteringen ville Karlstrøm startet tidligere med om man hadde laget en slik rangering.

- Slik den presenteres blir den veldig sensitiv for små endringer. Hadde jeg laget en slik ranking, ville jeg tenkt over om det egentlig gjenspeiler en endring i kvalitet, eller om det er et resultat av undersøkelsens utforming. Der ligger det en klar svakhet, sier han.

- Rangeringen har en liten gruppe svært gode institusjoner med mye ressurser og prestisje som er på topp. Etter dem kommer det en stor gruppe med gode institusjoner, etterfulgt av en mindre gruppe som ikke er veldig gode, sier bibliometrikeren.

Han mener skinnet til en viss grad bedrar når man leser metodekapittelet til undersøkelsen.

- Når en ser på metodebiten virker det jo veldig grundig, men samtidig står det ingen steder hvordan man faktisk beregner tallene. De har for eksempel introdusert en slags nasjonal faktor, uten å si noe om hva den egentlig består i. Derfor er det vanskelig å si om det slår rett eller galt ut.

Undervisning

Undervisning vektes med 30 prosent i undersøkelsen, og er med det en av de tre største kategoriene. For å komme frem til hvilke universiteter som gjør det best på undervisning, tar undersøkelsen for seg håndfaste tall som hvor mange studenter det er per ansatt, hvor mange stipendiater det er per bachelorstudent, andel ansatte med doktorgrad og institusjonens inntekter per ansatt justert for kjøpekraft.

I tillegg gjennomføres det en spørreundersøkelse knyttet til hvor godt omdømme eller rykte institusjonen har når det gjelder undervisning. Denne undersøkelsen vektes med 50 prosent når en ser på hvordan undervisningen rangeres og 15 prosent i den totale rangeringen.

Spørreundersøkelsen som går under navnet «Academic Reputation Survey» sendes ifølge Times Higher Education ut til et utvalg erfarne vitenskapelig ansatte med publiseringspoeng i banken. Disse får anledning til si sin mening om kvaliteten på forskning og undervisning innen deres disipliner ved de institusjonene de kjenner til.

Undersøkelsen sendes ut til akademikere fra alle verdensdeler og fagfelt og resultatet vektes for et mest mulig korrekt resultat.

- For universiteter som de norske handler dette i stor grad om hvorvidt de som svarer vet noe om institusjonene. Alle blir bedt om å nominere 25 institusjoner, og disse rangeres av nettstedet basert på alle tilbakemeldingene. Da handler det veldig mye mer om hvordan en oppfattes, og det er jo noe som vil gagne de større og mer kjente institusjonene, særlig de med lang historie. Ofte vil også hovedstadsuniversitetene være de folk vet mest om, sier Karlstrøm.

Han legger til at vårt eget hovedstadsuniversitet, Universitetet i Oslo, topper alle rangeringer, og at det derfor ikke er tvil om at de er best. Men han tror de nok likevel tjener litt ekstra på å ha tilhold i hovedstaden.

Forskning

Også forskning vektes med 30 prosent i den endelige rangeringen, og også her står resultatene fra «Academic Reputation Survey» sentralt når poeng skal fordeles. Undersøkelsens forskningsbit utgjør i overkant av halvparten av vurderingen av forskningskvalitet, og 18 prosent av den endelige rangeringen.

De to siste punktene er inntekt til forskning og produktivitet, og disse vektes med seks prosent i den totale rangeringen. Førstnevnte vurderes per ansatt og justeres for kjøpekraft. Times Higher Education skriver selv at inntekter her er en kontroversiell faktor ettersom det i stor grad påvirkes av politikk og økonomiske forhold i de aktuelle landene. De begrunner bruken av indikatoren med at finansieringen er essensiell for utviklingen av forskning i verdensklasse og fordi den ofte er konkurranseutsatt. Inntektsfaktoren tar også høyde for forskjellene i størrelsen på tildelinger mellom forskjellige fagfelt.

Målingen av produktivitet er noe mer rett frem. Den teller antallet publikasjoner i de vitenskapelige tidsskriftene som indekseres av Elseviers database Scopus, deler det på antallet vitenskapelig ansatte, justerer det etter institusjonenes størrelse og normaliserer det utfra hva som er vanlig for de forskjellige fagfeltene.

LES OGSÅ: Når målet blir å klatre
LES OGSÅ: - En form for skjønnhetskonkurranse

Siteringer

Påvirkningskraften til forskningen som gjennomføres vektes også med 30 prosent i det totale bildet, og måles etter gjennomsnittlig antall ganger vitenskapelige publikasjoner siteres av andre vitenskapsfolk globalt i løpet av en periode på fem år.

Times Higher Education skriver at de ved å måle siteringene kan se hvor mye de enkelte universitetene bidrar til den totale mengden kunnskap i verden. Også her justeres og normaliseres tallene ut ifra hva det er som er normen innen en disiplin. Dette for å unngå at institusjoner som driver med mye forskning innen felt hvor det tradisjonelt siteres mye, får en urettferdig fordel.

- Det som er interessant her er at Universitetet i Bergen har gjort det veldig bra i år basert på denne indikatoren. Det kunne vært interessant å se hvordan de har kommet fram til dette siteringsmålet, ettersom andre rankinger som kun tar for seg siteringer plasserer Universitetet i Bergen mye nærmere andre norske institusjoner enn hva Times Higher Education gjør, sier Karlstrøm.

Internasjonalisering

7,5 prosent av den totale rangeringen til Times Higher Education baserer seg på hvor internasjonale institusjonene er i sitt arbeid, og dette fordeler seg igjen likt på tre punkter - andelen internasjonale studenter, andelen internasjonale ansatte og mengden samarbeid på tvers av landegrenser.

I sin forklaring skriver nettstedet at evnen til å tiltrekke seg vitenskapelig ansatte og studenter fra hele planeten, er en nøkkel til suksess «on the world stage». Når det gjelder internasjonalt samarbeid måles institusjonene på andelen av vitenskapelige publikasjoner som har minst en internasjonal medforfatter. Også denne faktoren justeres for hvilke fag det forskes i ved institusjonen og bruker det samme femårsperspektivet som brukes når de måler siteringer.

Inntekter fra industrien

De som er raske i hoderegning vil nå se at det mangler 2,5 prosent for å få regnestykket til å gå opp, og de siste prosentene av rangeringen baserer seg på inntekter fra industrien.

Ifølge Times Higher Education har instiusjonenes evner til å hjelpe industrien med innovasjon, oppfinnelser og konsultasjon blitt en av kjerneoppdragene til det moderne akademia, noe denne kategorien er ment å måle. Og som alltid når nettstedet snakker om penger justeres også disse beløpene mot antall vitenskapelig ansatte og kjøpekraft.

Kategorien er ment å skulle vise betalingsvilligheten i næringslivet for vitenskapen som produseres, og også institusjonenes evne til å hente finansiering fra den kommersielle sfære.