Brukerne er viktigst ved valg av LMS

Jeg vet ikke om NTNU er best tjent med Fronter eller It's learning, for jeg kjenner dem ikke like godt. Men med utgangspunkt i å ha lest evalueringen (det som er offentliggjort), stiller jeg meg kritisk til metoden som er brukt. Det er to aspekter jeg tenker på: manglende vekting av brukerprespektivet og kvantitativ sammenligning av svært ulike egenskaper.

LES OGSÅ: NTNU velger Fronter

Systemeierne og brukerne sidestilles

Evalueringsmetoden vurderer produktene etter en rekke kriterier innen noen hovedkategorier. Hvert kriterium har en viktighet (vekt) og rangeres med et tall, kriteriene i en kategori summeres og veies slik at en får en totalsum. Med vektingene kan en angi viktigheten av et kriterium eller kategori, men det en ikke får frem er hvor mange interessenter (stakeholders) som synes et kriterium er viktig. En funksjon som er viktig for alle studenter og ansatte, dvs. mange tusen brukere, får omtrent samme vekt som en funksjon som er viktig for de som skal eie systemet. Jeg tror NTNU er bedre tjent med at tusener av sluttbrukere er fornøyd, enn at drifterne er det (dersom de må settes opp mot hverandre). Men når det i hovedsak er systemeierne som evaluerer, så ender en opp med en mer "balansert" vurdering: Én brukerkategori er like viktig som en annen, uavhengig av størrelse.

Meningsløs totalsum

Det andre problemet er en rendyrket kvantitativ tilnærmingen, som 1) ikke tar høyde for at det er mye usikkerhet forbundet med å tallfeste kvalitet og 2) at tallene en får ikke nødvendigvis blir sammenlignbare når kriteriene er av svært forskjellig art. Dersom en tar hensyn til 1) og opererer med usikkerhet så kan en konkludere med at Fronter og It's learning er helt like, og at en derfor kan ta en mer helhetling beslutningen hvor f.eks. kostnaden ved å skifte system tas i betraktning. Dersom en tar hensyn til 2) blir en kanskje nødt til å gi opp å lage en (meningsløs) totalsum og tenke kvalitativt, helhetlig, strategisk osv.

Færre vil bruke LMS

Det aller viktigste for NTNU er at vi endrer opp med et LMS som brukes og som kan (videre)utvikles i takt med at vi selv utvikler vår IKT-støttede pedagogikk. Ved å ikke legge mer vekt sluttbrukerkrav og heller ikke ta det negative ved å bytte til et system med i betraktning, tror jeg man ender opp med at færre faglærere bruker LMS'et og at det dermed ikke blir et aktivum i bruk av IKT i utdanningen.

Ubesvarte spørsmål

Innkjøp, iverksettelse og bruk av av IKT er vanskelig og for å bedre forstå og kanskje bidra i NTNU sine prosesser sendte jeg et brev til innkjøpsavdelingen for å høre litt mer om hvordan dette ble gjennomført i tilfellet med LMS'et. Etter å ha bedt om, fått tilsendt og lest de offentlig dokumentene, satt jeg igjen med noen spørsmål, som jeg stilte i en ny ny e-post (cc'et til Knut Veium og Berit Kjeldstad). Siden saken da ble lagt lokk på pga. rettsaken er de ennå ubesvart. Jeg gjentar spørsmålene nedenfor, i håp om at de kan bidra til en debatt og kanskje får et svar med tid og stunder.

Fra første e-post:

"Først vil jeg poengtere at jeg primært er interessert i dette fra et IT-faglig ståsted, knyttet til IT som praktisk verktøy for gjennomføring av strategiske prosesser. Jeg er interessert i både brukersiden (brukskvalitet) og forvaltningssiden (IT-arkitektur, integrasjon, drift). Jeg sitter dessuten i styringsgruppa for Basis IT (har permisjon frem til sommeren grunnet forskningstermin) og tenkte at innsikt i prosessen kan være nyttig der. I den grad jeg deltar i debatten, vil det være for å reflektere over disse tingene."

Fra andre e-post, etter å fått og lest kravdokumentet:

Tusen takk for dokumentene, begge var interessant lesning. I kravdokumentet refereres det til flere vedlegg som bl.a. beskriver prossser og roller. Er det mulig å få tilgang til disse?

- Finnes det noen dokumentasjon av hvordan kravene ble utformet, f.eks. hvordan arbeidet ble organisert, hvem som deltok, forankring i rektoratet, representasjon av ulike ansattkategorier, medvirkning fra fagforeninger, hvordan evaluering av dagens LMS påvirket kravene? Har du evt. anledning til å si noe om det?

- Ut fra det du skriver, er evalueringsmatrisene konfidensielle, hvem er det i så fall som har tilgang til disse?

- I konkurransegrunnlaget og kravene står det litt om vekting av kriterier (H, M og L) og det nevnes at det gis poeng 0-10 for grad av oppnåelse av krav, hvor bl.a. grad av "brukervennlighet" er relevant.

Hvordan ble disse poengene satt? Var de basert på det leverandøren skrev i sitt svar/tilbud eller basert på gjennomførte tester med representative brukere.

- LMS'et vil ha mange kategorier brukere, både ut fra hvilke funksjoner de skal bruke (faglærere, studenter, ledelse, drift og forvaltning, administrasjon), antall og forventet bruksintensitet (studentene er i flertall, faglærere bruker det mest, osv) og (erfarings)grunnlag for bruk. På hva slags måte har dette påvirket evalueringen, f.eks. verdisetting av oppnåelse av krav, vekting osv.

- Det står at prosessen fremover vil ha fire faser hvor første er "proof of concept", hvor en såvidt jeg forstår, får prøve ut systemet, men uten integrasjon. I hvilken grad vil en bruke denne fasen til vurdering av valgt system opp mot dagens, f.eks. av brukskvalitet, slik at en får nyansert evalueringsmatrisen og grad av oppnåelse av krav, hvor brukskvalitet er viktig.