Hva får et KI-program til å behandle kjønn ulikt?

Det er ingen tvil om at kunstig intelligens (KI) fortsetter å vise stort potensial til å støtte oss på ulike områder, for eksempel med å gi raskere medisinsk behandling eller å effektivisere tidkrevende oppgaver på arbeidsplassen.

For at KI-teknologi skal være til hjelp for samfunnet er det derimot viktig at den fungerer godt for alle, uavhengig av kjønn, etnisitet eller seksuell legning. Dessverre er dette et aspekt hvor teknologien til tider henger etter.

– Historisk sett har slike modeller ofte fungert dårligere på kvinner, sier doktorgradskandidat Suaiba Salahuddin.

Sammen med doktorgradskandidat Srishti Gautam og førsteamanuensis Elisabeth Wetzer er Salahuddin en del av Forskningsgruppen for maskinlæring ved UiT og senteret for forskningsdrevet innovasjon Visual Intelligence.

Tre kvinner står ved siden av hverandre. — Fra venstre: Doktorgradskandidat Suaiba Salahuddin, doktorgradskandidat Srishti Gautam, og førsteamanuensis Elisabeth Wetzer fra Forskningsgruppen for maskinlæring ved UiT. Foto: Petter Bjørklund/UiT

Forskerne bruker det KI-baserte ansettelsesverktøyet til Amazon som eksempel. Verktøyet som skulle effektivisere ansettelser i firmaet viste seg raskt å favorisere søknader skrevet av menn fremfor kvinner.

Store forskningsprosjekt som «Gender Shades» har også funnet at ansiktsgjenkjenningsverktøy fra tek-giganter som Microsoft, IBM og Face++ kjenner igjen færre kvinnelige ansikt sammenlignet med menn.

Utfordringene som dette byr på kan svekke folks tillit til teknologien.

– Det kan også hindre at ulike former for KI-system tas i bruk, forteller Gautam.

Så hva gjør at én KI kan velge å behandle kjønn ulikt?

Skjevheter i data

Hvordan én KI velger å oppføre seg avhenger av de store mengdene data, som kan være i form av bilder, video eller tekst, man trener den med. Datasettet, som KI-en bruker til å finne sammenhenger og mønstre i, er festet i hjernebarken til enhver tid når den skal utføre en gitt oppgave.

Slike «stordata» kan representere forskjellige enkeltgrupper, eksempelvis personer av ulikt kjønn eller hudfarge. Hvilke grupper som er representerte i treningsdataene, samt i hvilken grad, har mye å si for hvem KI-en fungerer bedre eller dårligere på, forteller forskerne.

– Valg av treningsdata og hvordan disse ble samlet inn kan føre til at enkelte grupper blir over- eller underrepresenterte. Dersom dataene kun inkluderer personer av ett kjønn vil ikke modellen fungere like godt på et annet kjønn, forteller Salahuddin.

Illustrasjon av to hender, den ene mekanisk. — Hvordan et KI-system velger å oppføre seg avhenger av de store mengdene data, som kan være i form av bilder, video eller tekst, man trener den med. Hvilke grupper som er representerte i treningsdataene, samt i hvilken grad, har mye å si for hvem KI-en fungerer bedre eller dårligere på. Foto: MostPhotos

Data er også «historiske», som betyr at de gjenspeiler virkeligheten fra tiden de kommer fra. De kan gjerne være flere tiår gamle, og med det gjenspeile kjønnsmessige «skjevheter» gjennom tidene.

Historiske data som lønnsstatistikk kan eksempelvis vise at kvinner har i snitt lavere inntekt sammenlignet med menn. Trenes en KI-modell med dette kan den fort tro at hva man tjener henger sammen med hvilket kjønn man har, og bruke denne skjevheten til å avgjøre hvem som skal få innvilget søknad om lån eller ikke.

– Med slike data vil programmet sannsynligvis avslå flere søknader fra kvinner enn menn, sier Wetzer.

Derfor er det en viktig regel at KI utvikles slik at de ikke legger vekt på trekk som kjønn. Likevel er programmene flinke på å fange opp kjønnsmessige faktorer som én utvikler kanskje ikke ante fantes i dataene.

– KI-verktøyet til Amazon lærte seg blant annet å filtrere vekk søknader som nevnte universiteter som ofte er forbundet med kvinner, forteller Salahuddin.

Stum «sort boks»

En annen utfordring med KI er at slike program ofte ikke forklarer hvorfor de tar den avgjørelsen de gjør, og kan dermed fremstå som uforklarlige «sorte bokser».

Siden KI-data er store, komplekse, og kan inneholde skjevheter man kanskje ikke har tenkt over, kan denne «uforklarbarheten» gjøre det utfordrende for utviklere å forstå hvorfor et KI-program velger å behandle kjønn ulikt, samt gjøre nødvendige korrigeringer på programvaren.

Så hva kan gjøres for å motvirke at én KI bruker mulige skjevheter i dataene når den utfører oppgaven sin?

Et viktig mål innen feltet er å utvikle KI-modeller som nettopp kan grunngi valgene sine, noe som forskere ved UiT aktivt driver med for å kunne bekjempe skjevhetsproblemet innen feltet.

Dette har Gautam undersøkt i sin doktorgradsavhandling «Towards Interpretable, Trustworthy and Reliable AI», som hun leverte i desember i fjor. Som tittelen hinter til har hun utviklet nye former for KI-metodikk som kan bidra til å gjøre teknologien mindre utsatt for å tilegne seg og bruke mulige skjevheter.

Blant disse er den såkalte «KMEx-metoden»: en metode som kan få de ofte stumme «sort boksene» til å «forklare» hva de har lagt vekt på når de utfører oppgaven sin - uten å trene opp programmet på nytt.

Fordelene med såkalte «selvforklarende» modeller er store. Forklarer KI-programmet avgjørelsene sine, for eksempel hvorfor den gir ulike resultater for kvinner og menn, blir det lettere for utviklere å forstå hva KI-en fokuserer på i dataene.

Portrett av kvinne — Doktorgradskandidat Srishti Gautam har utviklet nye KI-metoder som kan bidra til å gjøre KI-teknologi mindre utsatt for å tilegne seg og bruke mulige skjevheter. Foto: Petter Bjørklund/UiT

– Selvforklarende modeller kan bidra til å styrke sikkerheten når viktige og kritiske beslutninger skal tas. Dersom en KI-modell eksempelvis kan forklare hvorfor den avslo en jobbsøknad, blir det lettere å avdekke, håndtere og rette opp i mulige skjevheter, nevner Gautam.

Resultat fra avhandlingen, der «KMEx» ble testet på sju ulike sett med bildedata, viser at metoden kan være et lovende verktøy for å få «sort boks»-modellene til å forklare avgjørelsene sine.

– Marginaliserte og underrepresenterte grupper vil kunne dra nytte av slike initativ som kan bidra til å redusere skjevheter i KI, forteller hun videre.

Manglende mangfold innen feltet

Men skjevhetsproblemet omfatter også mer enn bare data, nevner forskerne. 70 prosent av de som jobber med utvikling av KI globalt er menn, noe som betyr at KI-baserte løsninger ofte designes og utvikles av denne enkeltgruppa.

KI-program som utvikles av en spesifikk gruppe risikerer ofte å glemme å ta andre gruppers, eksempelvis minoriteters, syn på og erfaringer med teknologien i betraktning. Slike KI-løsninger vil da være basert på hvordan enkeltgruppa forstår, opplever og fortolker verden.

– Modeller som utvikles av en homogen gruppe er da mer utsatt for å arve og forsterke eksisterende skjevheter, nevner Gautam.

– Hvis man ikke inkluderer mangfoldige perspektiv og synspunkt i prosessen er det lite sannsynlig at man vil oppnå KI-system uten skjevheter, legger Salahuddin til.

Med andre ord er det viktig at forskningsfeltet gjenspeiler mangfoldet i befolkningen. Økt fokus på mangfold og inkludering av KI-forskere av ulikt kjønn, etnisitet og seksuell legning er dermed sentralt for å skape rettferdige og inkluderende KI-løsninger.

– Feltet trenger så mange perspektiv som mulig slik at alle stemmer blir hørt, sier Wetzer.

Det krever derimot en rekke tiltak for å sikre en mer inklusiv agenda innen feltet.

– Vi trenger rollemodeller. Få mangfoldige rollemodeller innen feltet bidrar til lite mangfold blant studenter, forskere og fagfolk. Vi må kaste lys på ledende figurer med ulik bakgrunn som unge kan identifisere seg med og la seg inspireres og motiveres av, sier Wetzer.

– Andre tiltak kan være å etablere utdanningsprogram som oppmuntrer til mangfold innen feltet fra tidlig alder, aktiv rekruttering av folk med ulik bakgrunn, samt fremme et inkluderende arbeidsmiljø hvor alle ansatte kan blomstre, nevner Salahuddin.

Regulering er nødvendig

KI-teknologi utvikler seg også svært raskt, noe som har bidratt til mye snakk om hvordan utvikling av teknologien skal og bør reguleres. For tiden fins det ikke en egen norsk KI-lov.

Heldigvis arbeider EU-landene på spreng med å utarbeide et slikt lovverk, som vil ha stor betydning for hvordan regulering av KI i Norge vil bli. Hvilke retningslinjer som innføres vil være et viktig ledd for å motvirke at framtidige KI-løsninger velger å behandle kjønn ulikt, noe som forskerne tar imot med åpne armer.

– Det er nødvendig å innføre reguleringer som sikrer at KI-teknologi utvikles i samsvar med etiske og inkluderende retningslinjer, avslutter Gautam.

Visual Intelligens

Visual Intelligence er et senter for forskningsdrevet innovasjon (SFI) som ledes av Forskningsgruppen for maskinlæring ved UiT. Senteret består av et konsortium av store aktører som brukerpartnere fra både privat og offentlig sektor, deriblant Universitetssykehuset Nord Norge, Kreftregisteret, Helse Nord IKT, KSAT, og Norsk Regnesentral.

Bjørklund, Petter petter.bjorklund@uit.no Kommunikasjonsrådgiver / Maskinlæring

Publisert: 07.03.24 12:12 Oppdatert: 07.03.24 12:58

Samfunn og demokrati Teknologi