- Tech-gigantene oppfører seg som mafiaorganisasjoner

- Facebook og Google bruker mer på utvikling av kunstig intelligens enn mange nasjoner. USA og Kina slåss om global kontroll. Vi snakker om 2-3 hyperrike unge menn som til sammen har en global makt man ikke har sett tidligere, sier filmskaperen Tonje Hessen Schei.

- Med denne filmen ønsker jeg å vekke folk, og minne dem om at vi blir brukt og manipulert, og at vi kan gjøre noe med det, sier filmskaper Tonje Hessen Schei, her i samtale med Astrid Undheim som leder for Analytics og AI i Telenor. Undheim mener det fins gode eksempler på vilje til åpenhet i bransjen.
Publisert Sist oppdatert
Techno- sosiolog Zeynep Tufekci er ekspert på samspill mellom teknologi og sosial og politisk dynamikk. Hun snakker i iHUMAN om hvordan tekno-gigantene påvirker menneskers valg Tufekci gjestet vitenskapsfestivalen Big Challenge i vår.

Schei sto bak dokumentarfilmen «Drone» fra 2014. De siste fem årene har hun jobbet med en film som tar for seg utviklingen av kunstig intelligens. «iHUMAN» viser hvordan noen få aktører styrer en global utvikling som får grunnleggende betydning for demokrati og samfunnsutvikling.

Samtidig jobbes det intensivt med å utvikle kunstig intelligens til neste stadium. Om, og når, man måtte få til det, strides forskerne om. Men man enes om at den konsentrasjonen av makt på globalt plan som skjer nå, er sterkt urovekkende.

- Med datakonsentrasjon kommer maktkonsentrasjon, sier leder for NTNU Digital, Torbjørn Svendsen.

Dagens Manhattanprosjekt

Schei presenterte sin siste film under Årets NxtMedia-konferansen, som ble arrangert i Trondheim i forrige uke Årets konferanse handlet i første rekke om kunstig intelligens og hva den betyr for det moderne samfunn.

De fremste forskerne innen «Artificial Intelligence» AI, eller Kunstig intelligens (KI) på norsk, har kommet i en posisjon som best kan sammenliknes med den Albert Einstein, Edvard Teller og Niels Bohr og andre av verdens fremste forskere var i da de i årene 1942-46 deltok i det såkalte Manhattanprosjektet, som kulminerte i detoneringen av den første atombomben.

Manhattanprosjektet har sin arvtaker i dag. Googles DeepMind og Elon Musks Open AI har som mål å utvikle en form for AI som kommer opp på nivå med menneskelig intelligens i løpet av de kommende fem årene: «Artificial General Intelligence,» AGI.

LES OGSÅ: Kan algoritmer være onde?

LES OGSÅ: Forskning på algoritmer avslører fake news

AGI innen 2025. Er det mulig? Er det godt eller dårlig nytt for oss mennesker?

2-3 hyperrike menn

- Det som har overrasket meg mest er den totale makta de har, Google og Facebook, den arrogante måten de behandler media på og den totale informasjonskontrollen de har over hva vi får vite om hva de driver med når det gjelder utvikling av KI. Vi snakker om 2-3 hyperrike unge menn som til sammen har en global makt man ikke har sett tidligere.

Den som sier dette er filmskaperen Tonje Hessen Schei. I 2014 skapte hun furore med dokumentarfilmen «Drone», som blant annet dannet grunnlaget for sesongåpningen av Homeland, om tok for seg CIAs bruk av droner i jakten på terrorister i Pakistan.

Universitetsavisa intervjuet Schei i forbindelse med NxtMedia-konferansen i Trondheim. Her fikk publikum en lukket visning av dokumentarfilmen «iHUMAN» som hun startet arbeidet med etter Drone.

I filmen har Schei intervjuet mange sentrale forskere innen forskningen på KI. Flere av dem hun har fått i tale er varslere - «whistleblowers» som hoppet av forskerkarrierene i Google fordi de fikk samvittighetskvaler i forhold til hva de holdt på med.

- De oppfører seg som mafiaorganisasjoner

Schei fikk ideen til «iHuman» i 2014, og har jobbet med denne filmen de siste fem årene. Hun karakteriserer miljøene hvor KI forskes på og utvikles i som ekstremt lukkede.

- Disse globale tech-gigantene oppfører seg som rene mafiaorganisasjoner. De bruker mer penger på utvikling av KI enn mange nasjoner, og vi står ovenfor ett kappløp mellom supermakter som USA og Kina om global kontroll. Dette er aktører praktiserer null åpenhet, reguleringer er fullstendig fraværende. Politikere og lovmakere ligger langt etter.

Dette er også noe som forbløffet Schei, hvor utrolig fort utviklingen skje.

- Jeg tror få er klar over med hvilken fart dette feltet utvikler seg, sier hun.

Det sentralt stikkord i dag er ansiktsgjenkjenning, som blant annet er tatt i omfattende bruk i Kina overalt i byblidet, fra å bli brukt som betalingsmiddel til å ta folk som krysser gaten på rødt. Dette systemet er koplet mot et «social credit system», hvor borgere belønnes eller straffes ut fra sin oppførsel i det sosiale rom.

Enn så lenge snakker vi her om det man kaller «narrow AI» - systemer av algoritmer som utfører lynraske og svært omfattende beregninger basert på stordata. Det neste trinnet, AGI, vil nærme seg status som «sentient being», få utviklet en form for bevissthet, og få en kognitiv evne som er på linje med, eller bedre, enn mennesker.

Skremselspropaganda?

Astrid Undheim leder avdeling for Analytics og AI i Telenor. Hun deltok i en paneldebatt i forbindelse med presentasjonen av «iHUMAN.»

Undheim ga uttrykk for bekymring for at debatten omkring kunstig intelligens blir for unyansert og for preget av hva hun kalte «skremselspropaganda.»

På spørsmål om hva Undheim legger i begrepet skremselspropaganda svarer hun slik:

- Dette handler om å bruke begreper omkring KI som er egnet til å skremme oss. Det er ikke slik at dagens kunstige intelligens er i nærheten av menneskelig intelligens. Det er begrepsbruk og formuleringer i dette som er mer egnet til å skremme folk opp enn å opplyse dem, mener hun.

- Verken skremselspropaganda eller hyping

Tonje Hessen Schei ønsker å vise med filmen sin hvordan det kan gå dersom disse teknogigantene får ture fram uhindret.

- Vi ser allerede i dag at denne teknologien forsterker økonomiske og politiske ulikheter. Det er også farlig for demokratiet. Google samarbeider med Pentagon, og er tungt inne i Kina, sier hun.

- Hvem bør vi frykte mest – Google eller det kinesiske regimet?

- Det er et godt spørsmål. Teknologigigantene er farlige fordi de er uten politisk kontroll og eies og ledes av et par superrike unge menn. Kina er farlig fordi man har som uttalt mål å anvende AI til å komme i en global lederposisjon.

- Under debatten her i dag ble det antydet at du bedriver skremselspropaganda?

- Det er en hårfin balansegang mellom å drive med skremselspropaganda og å hype opp teknologien. Vi gjør ingen av delene. «iHUMAN» er basert på omfattende research i Kina, Europa og i USA. Med denne filmen ønsker jeg å vekke folk, og minne dem om at vi blir brukt og manipulert, og at vi kan gjøre noe med det.

- Hvordan da?

- Først og fremst ved å være langt mer bevisste omkring Hvordan denne teknologien blir utviklet og brukt i livene våre. Dernest ved å presse politikere til å komme på offensiven. Teknogigantene må bringes under kontroll.

- NTNU må kurse i cyber-etikk

Også forskerne i feltet har et selvstendig moralsk og etisk ansvar, poengterer filmskaperen.

- Jeg mener kursing i etiske utfordringer må inn som en obligatorisk del av undervisningen i maskinlæring og i KI-feltet generelt. Det er problematisk at det ikke er tegnet opp noen rød strek, som skiller mellom hva KI kan brukes til og hva den bør brukes til. Her spiller forskerne en nøkkelrolle.

Det er også grunn for NTNU som institusjon å ha disse utfordringene i mente når man utvikler forskningsamarbeid med Kina, sier Schei.

- Jeg er ikke mot samarbeid, og kineserne er helt i front i feltet. Om man kan få dem med på internasjonalt samarbeid og regulering, er det bra. Men man bør ikke bidra til at de får forbedret systemene for overvåkning og kontroll. Der gjør de den beste jobben selv. Vi bør kreve innsyn i hvordan samarbeidene våre bidrar til og stille etiske krav til samarbeidspartnerne våre, sier Tonje Hessen Schei.

Åpne algoritmer og black boxes

Astrid Undheim mener det fins gode eksempler på vilje til åpenhet i bransjen.

- Et forhold som uroer mange er det som sammenfattes i begrepet «black boxes.» Ordet indikerer at måten en kunstig intelligens kommer fram til sin beslutning i prinsippet ikke lar seg forstå. Men under debatten sa du at algoritmer i prinsippet er åpne. Hvordan skal dette forstås?

- Dette er komplekst. Du har det nevrale nettverket som består av mange ulike parametere. Så anvender man en algoritme for å finne verdien på de parameterne basert på de dataene man har. Det er slik KI fungerer. Alternativene du har er hvordan nettverket er designet. Et slikt nevralt nettverk er satt sammen av en rekke matematiske funksjoner. Etter at nettverket er satt sammen bruker du dataene til å lære det opp, forklarer Undheim.

Da Stockfish satte Deep Blue sjakk matt

Et eksempel er å lære en slik KI – nevralt nettverk – til å spille sjakk: Nettverket mates med reglene, og lærer seg selv å spille. Det var en slik KI som slo Deep Blue, supercomputeren som var konstruert på tradisjonelt vis for å spille sjakk så godt at regjerende verdensmester Garry Kasparov måtte gi tapt i 1997. I 2016 ble en kraftig forbedret versjon av Deep Blue, kalt Stockfish, selv slått av KI-en AlphaZero, som også spilte Go, og året før hadde slått regjerende verdensmester i dette spillet.

Undheim framhever at det i mange tilfeller er gjort offentlig hvordan de nevrale nettverkene – KI-ene – er satt opp. Både Google og andre er noen ganger åpne på dette, framholder hun.

- Når det gjelder såkalte black boxes så handler det om at man har svært mange matematiske funksjoner i KI-en og det er kombinasjonene av disse parameterne og verdiene som fører til at den når fram til én bestemt konklusjon, sier hun.

Også for de som har laget en slik KI, er den en black box. Man har satt sammen modellen og matet den med data, men det lar seg ikke gjøre å forstå fullt ut hvordan den når sine beslutninger. Her pågår det mye forskningsarbeid for å bli bedre i stand til å forstå hvordan nevrale nettverk tar avgjørelser.

- Om slike nettverk tas i bruk på ulike samfunnsområder: I hvilken grad blir det et demokratisk problem, når vi ikke forstår hvordan de når sine beslutninger?

- Det viktige da er hva de anvendes til. Det er bruksområdet, ikke modellen i seg selv som utgjør svaret på spørsmålet ditt, sier Undheim.

- Når det gjelder mulige bruksområder for KI: Hva gjør deg bekymret?

- Maktforhold er viktig. De store teknoselskapene har svært mye makt på grunn av at de har veldig mye data. Et annet element er militærbruk. Et tredje er bruk av KI for overvåkning. Et fjerde er hele personvernproblematikken, hvordan man, som Facebook og Google bruker persondata til å lage en forretningsmodell. Det er våre persondata som genererer profitt, som for eksempel personrettet annonsering.

LES OGSÅ: Slik ser ekspertene for seg den digitale fremtiden

- Langt igjen til AGI

Torbjørn Svendsen er leder for NTNU Digital. Tanken på at AGI – artificial general intelligence – skulle utgjøre noen reell trussel for mennesker, er ikke noe han mister nattesøvnen over, i det minste ikke i overskuelig framtid.

- Per i dag er denne teknologien lite farlig, sier Svendsen.

Årsaken til det er at en KIs kompetanse er lite overførbar til andre felt.

- De kan foreta avansert læring på avgrensede områder, men hva de kan er i liten grad overførbart. Da må de starte fra begynnelsen igjen, og lære seg opp på nytt, sier Svendsen.

Han anslår en fullbefaren AGI til å ligge minst et par tiår fram i tid, og understreker at det er høyst usikkert om det i det hele tatt er mulig å utvikle AGI. Men det betyr ikke at KI er ufarlig.

- Det er andre ting her vi heller bør diskutere. Som at KI faktisk byr på endel storartede muligheter, for eksempel innen medisinsk teknologi, hvor de kan hjelpe i å oppdage sykdommer og i å gi råd og innspill under inngrep – og innen biltrafikk og transport, hvor selvkjørende farkoster er like rundt hjørnet. Her er utfordringene mer av juridisk art enn teknologisk. I et videre perspektiv byr KI på beslutningsstøtte som vil kunne være svært verdifull.

Social Credit System

Et forhold som, om ikke tar fra digitalsjefen nattesøvnen så i det inngir en viss bekymring, er potensialet KI gir for overvåkning. Et viktig stikkord er Kinas Social Credit System.

- Det er klart at bruken av ansiktsgjenkjenning som særlig er tatt i bruk i Kina, er dypt foruroligende. Den viktige problemstillingen må være hva aktører – også statlige som de store nasjonene her, USA og Kina – bør få lov til å gjøre. Her må den enkelte forsker forutsettes å ha et moralsk kompass installert.

- Schei mener universitetene må sørge for kurs i etikk for alle som utdanner seg innen maskinlæring og kunstig intelligens?

- Slikt er viktig, men det gjelder all høyere utdanning.

Konsentrasjon av data - og av makt

Den enorme konsentrasjonen av data som teknogigantene står for, er derimot noe som også bekymrer Svendsen en hel del. For med datakonsentrasjon kommer maktkonsentrasjon.

- Igjen: Dette er noe som gjelder USA og Kina i like stor grad som for Google med flere.

- NTNU har omfattende forskningssamarbeid med kinesiske partnere, og det øker i omfang. Risikerer man ikke da at norske toppforskere bidrar til å gjøre Kina bedre å utvikle og anvende overvåkingsteknologi?

- Slik jeg oppfatter det, dreier forskningssamarbeidet seg i første rekke om generisk forskning – grunnforskning med mer. Man bør så klart være på vakt når man er på den mest anvendte siden.

Generelt er den mest offensive måten å møte disse utfordringene på, å øke samarbeidet mot europeiske partnere, mener Svendsen. Det gjelder i første rekke EU og Horisont Europa.

- Det er en uttalt ambisjon fra EUs side å sette mennesket, personvernet, i sentrum. Slik sett kan dette bli et konkurransefortrinn i den globale konkurransen i utviklingen av kunstig intelligens, sier Torbjørn Svendsen.

LES OGSÅ: KI kan bygge, og true, demokratiet

Hva putter Musk i teslaene?

Under debatten hvor Schei og Undheim deltok ble det vist til Elon Musks kraftige advarsler mot farene som AGI utgjør for menneskeheten, og kommentert at Musk kanskje vil avlede oppmerksomheten som gjelder hvilken monitoreringsteknologi han putter i Teslas biler. Svendsen kommenterer dette slik:

- Enhver Tesla-eier som ikke skrur av den automatiske oppdateringen av bilens programvare, bør være klar over at man med det hjelper Tesla med å bli bedre å bygge komplette modeller over alle bileiernes kjøremønster.

Svendsen har selv ikke Tesla.

- Men om jeg hadde ville jeg nok satt meg grundig inn i hva jeg er med på gjennom disse oppdateringene. Man kommer langt gjennom å tenke mer selv, sier Torbjørn Svendsen.

Det pågår for øyeblikket mellom 40 og 50 forskningsprosjekter som forsøker å utvikle en AGI - kunstig, almenn intelligens. Får de det til, er maskinen på høyde med mennesket når det gjelder kognitiv evne. Bør det bekymre oss, spør iHUMAN.
Fakta

Kunstig intelligens – begerepene:

Artificial Narrow Intelligence (ANI) er skreddersydd for å løse én spesifikk oppgave. All kunstig intelligens er, foreløpig, på dette nivået. ANI omfatter alt fra bilde- og talegjenkjenning til selvkjørende biler og robotstøvsugere. Mange systemer er dog basert på en sammensetning av flere ANI med forskjellige evner, såkalt hybrid-AI.

Artificial General Intelligence (AGI) har intelligens på nivå med et menneske. Dette er en maskin som kan utføre alle intellektuelle oppgaver som kan utføres av et menneske. Ingen har, i skrivende stund, lyktes med å demonstrere kunstig intelligens på dette nivået. I 2017 fantes det 45 aktive forskningsprosjekter som adresserer AGI.

Artificial Super Intelligence (ASI) er et nivå som langt overgår de skarpeste og flinkeste menneskene verden har sett. Det har åpenbart et stort potensial, men det har også mange etiske problemstillinger knyttet til seg.

Fakta

Nxt Media

  • NxtMedia er en næringsklynge for teknologi-basert medieinnovasjon
  • Selskapet er organisert som en forening for partnere og medlemmer, stiftet i 2012. Rolf Dyrnes Svendsen er
  • NxtMedia vil "stimulere til økt innovasjon i mediebransjen gjennom arrangementer og initiativ for prosjektutvikling".
  • Hovedpartnere er Adresseavisen, NTNU, Mediebedriftenes Landsforening (MBL), Trønder-Avisa, NRK og Jysk Fynske Medier (DK).
  • Hovedbasen ligger i Trondheim, men selskapet har utbredt samarbeid både nasjonalt og internasjonalt.
  • Hovedaktiviteten er NxtMediaConference. Årets konferanse hadde tittelen «Trust as a currency» og tok for seg kunstig intelligens, fake news og datasikkerhet.
Det pågår for øyeblikket mellom 40 og 50 forskningsprosjekter som forsøker å utvikle en AGI - kunstig, almenn intelligens. Får de det til, er maskinen på høyde med mennesket når det gjelder kognitiv evne. Bør det bekymre oss, spør iHUMAN.
Fakta

Kunstig intelligens – begerepene:

Artificial Narrow Intelligence (ANI) er skreddersydd for å løse én spesifikk oppgave. All kunstig intelligens er, foreløpig, på dette nivået. ANI omfatter alt fra bilde- og talegjenkjenning til selvkjørende biler og robotstøvsugere. Mange systemer er dog basert på en sammensetning av flere ANI med forskjellige evner, såkalt hybrid-AI.

Artificial General Intelligence (AGI) har intelligens på nivå med et menneske. Dette er en maskin som kan utføre alle intellektuelle oppgaver som kan utføres av et menneske. Ingen har, i skrivende stund, lyktes med å demonstrere kunstig intelligens på dette nivået. I 2017 fantes det 45 aktive forskningsprosjekter som adresserer AGI.

Artificial Super Intelligence (ASI) er et nivå som langt overgår de skarpeste og flinkeste menneskene verden har sett. Det har åpenbart et stort potensial, men det har også mange etiske problemstillinger knyttet til seg.

Fakta

Nxt Media

  • NxtMedia er en næringsklynge for teknologi-basert medieinnovasjon
  • Selskapet er organisert som en forening for partnere og medlemmer, stiftet i 2012. Rolf Dyrnes Svendsen er
  • NxtMedia vil "stimulere til økt innovasjon i mediebransjen gjennom arrangementer og initiativ for prosjektutvikling".
  • Hovedpartnere er Adresseavisen, NTNU, Mediebedriftenes Landsforening (MBL), Trønder-Avisa, NRK og Jysk Fynske Medier (DK).
  • Hovedbasen ligger i Trondheim, men selskapet har utbredt samarbeid både nasjonalt og internasjonalt.
  • Hovedaktiviteten er NxtMediaConference. Årets konferanse hadde tittelen «Trust as a currency» og tok for seg kunstig intelligens, fake news og datasikkerhet.
Fakta

Kunstig intelligens – begerepene:

Artificial Narrow Intelligence (ANI) er skreddersydd for å løse én spesifikk oppgave. All kunstig intelligens er, foreløpig, på dette nivået. ANI omfatter alt fra bilde- og talegjenkjenning til selvkjørende biler og robotstøvsugere. Mange systemer er dog basert på en sammensetning av flere ANI med forskjellige evner, såkalt hybrid-AI.

Artificial General Intelligence (AGI) har intelligens på nivå med et menneske. Dette er en maskin som kan utføre alle intellektuelle oppgaver som kan utføres av et menneske. Ingen har, i skrivende stund, lyktes med å demonstrere kunstig intelligens på dette nivået. I 2017 fantes det 45 aktive forskningsprosjekter som adresserer AGI.

Artificial Super Intelligence (ASI) er et nivå som langt overgår de skarpeste og flinkeste menneskene verden har sett. Det har åpenbart et stort potensial, men det har også mange etiske problemstillinger knyttet til seg.

Fakta

Nxt Media

  • NxtMedia er en næringsklynge for teknologi-basert medieinnovasjon
  • Selskapet er organisert som en forening for partnere og medlemmer, stiftet i 2012. Rolf Dyrnes Svendsen er
  • NxtMedia vil "stimulere til økt innovasjon i mediebransjen gjennom arrangementer og initiativ for prosjektutvikling".
  • Hovedpartnere er Adresseavisen, NTNU, Mediebedriftenes Landsforening (MBL), Trønder-Avisa, NRK og Jysk Fynske Medier (DK).
  • Hovedbasen ligger i Trondheim, men selskapet har utbredt samarbeid både nasjonalt og internasjonalt.
  • Hovedaktiviteten er NxtMediaConference. Årets konferanse hadde tittelen «Trust as a currency» og tok for seg kunstig intelligens, fake news og datasikkerhet.
Jack Poulson var seniorforsker i Googles avdeling for forskning på maskinlæring, men sluttet i protest mot Googles plamner om å utvikle en sensurert versjon av sin søkemotor til bruk i Kina. Bildet er fra filmen iHUMAN, hvor han redegjør for hva han opplever som selskapets brudd med sitt motto Don't be Evil. Google har siden lagt bort slagordet.