Bare halvparten av NTNU-emnene ble fulgt opp etter egne krav
Jonas Gaudernack, som har ansvar for NTNUs internrevisjon, sier han hadde ventet at evalueringssystemet for utdanningene fungerte bedre ved universitetet.
Jonas Gaudernack, partner i PWC presenterer jevnlig revisjonsarbeid for NTNUs styre. Denne gang fikk evaluering av utdanningskvalitet stor plass.Foto: Benedikt Erikstad Javorovic
Da NTNU-styret mandag behandlet internrevisjonens årsrapport, var det særlig ett funn som skilte seg ut: NTNU følger ikke alltid sitt eget system for å sikre kvalitet i utdanningene.
- Stor variasjon i kvalitet på rapportene
Internrevisjonen peker på flere mangler. Noen emner og studieprogram mangler evalueringer, altså vurderinger av hvordan undervisningen fungerer. I andre tilfeller tar evalueringene ikke opp alle punktene som systemet krever.
Dette gjelder både enkelte emner og hele studieprogram.
Fakta
Dette er NTNUs kvalitetssystem
Kvalitetssystemet er NTNUs eget opplegg for å sjekke og forbedre kvaliteten i utdanningene.
Det betyr blant annet at:
Hvert emne skal evalueres hver gang det gjennomføres.
Hvert studieprogram skal evalueres hvert år.
Studieprogram også skal ha en større, periodisk evaluering minst hvert femte år.
Evalueringene skal munne ut i oppfølgingsplaner og forbedringstiltak..
Systemet skal ikke bare kontrollere om undervisningen fungerer, men også gi grunnlag for å utvikle studieprogram, prioritere ressurser og vurdere om tilbud bør endres eller legges ned.
Kvalitetsarbeidet skal bygge på innspill fra studenter, fagmiljøer og arbeidsliv, og resultatene skal brukes helt opp til styrets behandling av NTNUs årlige kvalitetsmelding.
Internrevisor Jonas Gaudernack hadde undersøkt et utvalg emner og studieprogram fra alle fakultetene for å se om de var evaluert slik systemet krever. I møtet oppsummerte han funnene slik:
- Kort fortalt finner vi at dette er gjort omtrent halvparten av gangene det skulle vært gjort. Det er også stor variasjon i om rapportene som er levert, inneholder det de skal. Her hadde vi forventet at det sto noe bedre til, sa han.
Internrevisjon er NTNUs uavhengige kontrollfunksjon. Den skal undersøke om styring, rutiner og kontroll av egne systemer fungerer som de skal, peke på risiko og svakheter og foreslå forbedringer.
Gaudernack fra revisorselskapet PWC gjennomfører revisjonen på oppdrag fra styret.
Ett emne ble aldri evaluert
Kvalitetssystemet er NTNUs eget system for å følge opp om utdanningene holder god kvalitet.
Det betyr blant annet at emner og studieprogram skal vurderes jevnlig, at det skal sees på hva som fungerer og hva som ikke fungerer, og at det skal foreslås hvordan undervisningen kan bli bedre.
Mange studenter kjenner dette arbeidet gjennom for eksempel referansegrupperapporter, et system flere ansatte har stilt spørsmål ved.
Av 37 emner som ble undersøkt, var 20 evaluert etter hver gang de ble gjennomført i perioden. Ett emne manglet evaluering i alle de fire studieårene som ble undersøkt. Samlet var 54 prosent av emnene evaluert etter alle gjennomføringer.
Av 16 studieprogram som ble undersøkt, var ni evaluert i alle studieår. To studieprogram hadde ingen registrerte evalueringer i noen av de fem studieårene som ble undersøkt. Samlet var 56 prosent av studieprogrammene evaluert hvert år i perioden.
Overrasket over hvor få som har planer for forbedring
Ifølge revisjonsrapporten var det også få emner som hadde tilpasset seg nye utviklinger, som kunstig intelligens.
- Undervisning handler om å fornye seg og prøve ut nye ting. Det gjelder nå mer enn noen gang, både etter pandemien, med økt digitalisering og med mer bruk av generativ kunstig intelligens. At så få av kursene har planer for forbedring knyttet til dette, overrasket meg litt, sa Gaudernack.
- Mye som ikke fanges opp i systemene
Prorektor for utdanning, Geir Øien, anerkjente at internrapporten ikke viser positive funn. Samtidig argumenterte han for at rapporten trolig ikke fanger opp alt som faktisk skjer ute i fagmiljøene.
- Det foregår veldig mye godt kvalitetsarbeid som aldri blir rapportert inn i dette systemet. Arbeidet som faktisk gjøres, er mer omfattende og mer framoverrettet enn det som kommer fram her, sa han.
Han viste til at dette også er en del av grunnen til at NTNU nå endrer kvalitetssystemet.
Prorektor for utdanning, Geir Øien, sier det gjøres mye arbeid med kvalitetssikring av emner som ikke fanges opp gjennom offisielle kanaler.Foto: Tore Oksholen
Legger om til et enklere evalueringssystem
Det reviderte systemet, KS 2.0, ble vedtatt av styret i desember. Målet er å gjøre arbeidet enklere, gi ledelsen bedre informasjon og la studieprogrammene få en større rolle i kvalitetsarbeidet.
Fra 2026 innføres også en ny måte å evaluere emner og studieprogram på. Samtidig skal utdanningsdata bygges inn i verktøy som Kasper, slik at ledere og fagmiljø får et bedre grunnlag for å følge opp kvaliteten.
- En av grunnene til at vi legger om til det nye systemet, er å prøve å lage et kvalitetssystem som i større grad får det formelle systemet til å stemme med arbeidet som faktisk gjøres, sier Øien.
Dette er også i tråd med internrevisjonens vurdering. Revisjonsrapporten peker på at det oppdaterte kvalitetssystemet, med færre evalueringer og enklere rapportering, ser ut til å være en fornuftig endring for å løse problemer med at systemet ikke alltid blir fulgt.
Viser hva som blir viktig i nytt system
Internrevisjonen gir derfor ingen nye konkrete anbefalinger kun på grunnlag av denne gjennomgangen.
Samtidig understreket internrevisor at funnene fortsatt er viktige, selv om et nytt system er på vei inn.
- Denne gjennomgangen er ikke utdatert selv om man nå bytter system. Den viser heller hva man bør legge vekt på i det nye systemet. Trolig trengs det også tettere oppfølging for å sikre at systemet blir fulgt enn det man har hatt tidligere, sa Gaudernack.
Internrevisjonen undersøkte kvalitetssystemet med utgangspunkt i evalueringsrapporter som var registrert i Kasper. Gjennomgangen omfattet emner fra vårsemesteret 2021 til høstsemesteret 2024, og studieprogram fra studieåret 2020/2021 til 2024/2025.
