Tok det for gitt at studentene deltar

NTNU var et av flere norske læresteder som deltok på mulighetsstudien i mars i fjor. Forskerne uttalte da til UA at de hadde store forventninger til undersøkelsen. For første gang skulle en internasjonal studie avklare om det er mulig å måle læringsutbytte på tvers av institusjoner og land. Men på grunn av den lave svarprosenten, kan de nå i liten grad dra nytte av dataene fra undersøkelsen.

Vet lite om læringsutbytte

Til tross for at stadig flere tar høyere utdanning, veit vi i dag lite om studentenes læringsutbytte. OEDC tok derfor initiativ til studien, for å se om det overhodet finnes holdbare vitenskapelige metoder for å sammenlikne læringsutbytte over landegrensene.

Ikke minst var det interessant å finne ut om det er mulig å utforme nøytrale tester, slik at de ikke favoriserer studenter fra bestemte institusjoner og land.

På nøytral grunn

Dette er lettere sagt enn gjort. Går det an å skrelle vekk studentenes forkunnskaper, ballast og kulturforskjeller, slik at vi i framtida kan teste læringsutbyttet til for eksempel norske Ola og egyptiske Nawal? Eller i større skala: Hvordan kan vi på nøytral grunn sammenlikne læringsutbyttet til NTNU-studentene med læringsutbyttet til for eksempel studentene ved TU Delft i Nederland?

- Siden svarprosenten ble på under ti prosent, er det begrenset hva vi kan bruke dataene til, sier forsker Elisabeth Hovdhaugen ved Nordisk Institutt for studier av innovasjon, forskning og utdanning (NIFU).

Hovdhaugen var nasjonal prosjektleder for studien, som NIFU hadde ansvaret for å gjennomføre i Norge.

Ikke forbauset

- Selvsagt er vi skuffet over at så få studenter deltok, men vi er ikke forbauset. Det er ofte slik med internasjonale prosjekter. Man utarbeider manualer og holder seg til disse, selv om det blir påpekt at opplegget ikke vil fungere, konstaterer hun.

Og forklarer:

- Når OECD utformet mulighetsstudien, tok de det for gitt at studentene deltar. Derfor har de ikke hatt en strategi for å sikre at svarprosenten blir høy.

NIFU-forskeren forklarer denne holdningen med at OECD vanligvis har erfaringer med å måle elever. Til tross for at disse undersøkelsene som regel er frivillige, sitter elevene i klasserommene og får fravær hvis de ikke møter opp. Dermed blir svarprosenten høy, for eksempel for PISA-undersøkelsen.

Rasjonelle studenter

Også land som Finland, Nederland og USA hadde en lav svarprosent. Dette må OECD trekke lærdommer av, mener Elisabeth Hovdhaugen.

- Studentene er rasjonelle og vurderer om innsatsen de bruker er verdt pengene. Én vei å gå er å gjøre studien i seg selv attraktiv. Studentene som deltar kan få individuell tilbakemelding på hvordan de besvarte undersøkelsen og hva det kan være nyttig for dem å jobbe videre med, foreslår hun.

Som blodgivere

Ved NTNU ble 300 studenter trukket ut til å delta på studien. Også her var oppmøtet på om lag ti prosent. Studentene måtte møte opp i et bestemt lokale og svarte på de digitale testene, som tok ca. 2,5 timer. Deltakerne ble honorert med et gavekort på 250 kroner.

- Studentene i undersøkelsen blir som blodgiverne. De veit ikke hvem som får blodet, men de gjør det av godhet, sier Ole Kristen Solbjørg.

Rådgiveren i prorektors stab hadde ansvaret for å gjennomføre testen ved NTNU, men henger ikke med hodet på grunn av den lave svarprosenten. Bare det at alle greide å gjennomføre en slik undersøkelse på tvers av OECD-området er stort, og gjorde det verdt å delta, synes han.

Attraktiv gruppe

- Studentene er attraktive målgrupper for alle dem som har lyst til å måle. De blir lokket med at de kan vinne nettbrett og gavekort hvis de deltar. Dette var en mulighetsstudie. Den vil ikke bli brukt eksternt og de vet ikke helt hva den blir brukt til, oppgir Solbjørg som en forklaring på hvorfor bare ti prosent tok seg bryet med å delta.

Han skryter av de NTNU-studentene som møtte opp. De brukte god tid, tok deltakelsen på alvor og svarte samvittighetsfullt. Mange var litt nervøse og håpet de gjorde det bra på besvarelsene.

- Vi lærer underveis. Når vi deltar, er vi samtidig med på å gjøre undersøkelsene mest mulig relevante. Dette med læringsutbytte kommer mer og mer. Men siden deltakerne denne gangen var så få, må vi være edruelige. Vi kan ikke overforbruke dataene fra undersøkelsen. Vanligvis offentliggjør vi resultatene etterpå, slik at deltakerne får se hva de var med på. Det er et fint prinsipp.

Bli mer relevante

- Bør studentene bli bedre betalt for å bruke tida si på slike undersøkelser?

- Nei, det kan fort bli veldig dyrt. Da må vi heller argumentere for at disse undersøkelsene høyner nivået på studiene, sier noe om hvor dyktige vi er og at dette er ditt bidrag for å gjøre NTNU bedre. Da setter vi undersøkelsene i en større sammenheng og de virker mer relevante for deltakerne, sier Ole Kristen Solbjørg.

Lærte mye - likevel

Til tross for at dataene fra undersøkelsen i liten grad kan brukes, mener NIFU-forsker Elisabeth Hovdhaugen at Norge har lært mye av å delta.

Én konklusjon hun trekker, er at case-oppgavene fungerte dårligere enn flervalgsoppgavene.

I case-oppgavene får studentene et tenkt scenario og skal skrive et essay basert på informasjon fra ulike elektroniske dokumenter. Formålet er å få målt skriveferdigheter, i tillegg til kritisk tenkning og problemløsning.

Flervalgsoppgavene går ut på å sortere argumenter ut fra en tekst, bruke formler eller tolke diagram. Også her må studentene analysere og bruke problemløsningsferdigheter. Måle er å teste disse ferdighetene samt kritisk tenkning.

Det tok lang tid å besvare case-oppgavene. De tok 90 minutter, mens flervalgsoppgavene bare tok en halvtime. Det var også mer omfattende å rette case-oppgavene, og det var nødvendig å ansette folk med kompetanse innen denne formen for retting. Flervalgsoppgavene kan derimot rettes automatisk av en datamaskin.

Språk- og fagforskjeller

Ifølge Hovdhaugen er også oversettelsesarbeidet krevende, blant annet fordi det finnes flere språklige nyanser i ord på engelsk enn på norsk. Når man oversetter et ord, kan det påvirke vanskelighetsgraden.

- Et videreutviklingsarbeid er nødvendig. Ta for eksempel et begrep som kritisk tenkning: Hva mener jeg når jeg bruker det? Dette kan være forskjellig på tvers av land og kulturer. Dette må også avklares: Hva vil vi komme fram til? Dessuten må man kontrollere for fagforskjeller. Vi blir opplært ulikt avhengig av hvilken type utdanning vi tar. Ulik metodikk påvirker hvordan vi angriper et problem, sier hun.