Måler krefter med Googles motor

Flommen av informasjon som ligger på internett er enorm. For å finne fram er vi fullstendig avhengige av gode søkemotorer. Hele tiden jobbes det med å forbedre dem. Foto: Colourbox.com

Saken er hentet fra Labyrint nr. 2 2012

Et sekund går så fort at man kan mene at søket strengt tatt ikke trenger å gå raskere.

Men søkene kan ofte være av det avanserte slaget, eller man vil gjerne forsikre seg om at søket viser de siste og mest relevante treffene. Her kan for eksempel et potensial til forbedring ligge.

Å forbedre søkefunksjonen på internett er noe det jobbes med kontinuerlig over hele verden. Også forskere ved Universitetet i Tromsø jobber med det.

Forhåndsberegner søkeresultater

Hvorfor går det så fort å søke etter ord som “sjokoladekake” eller “solkrem”? Svaret er at alle mulige søkeresultater er forhåndsberegnet. Hvert minutt blir det lastet opp enorme mengder informasjon på internett. Og hvert eneste minutt jobber hundretusenvis av datamaskiner samtidig for å laste ned det nye innholdet.

Denne flommen av info blir deretter indeksert. Søkeresultater for alle mulig tenkelige og utenkelige kombinasjoner med ord blir da forhåndsberegnet, slik at du skal få et raskt svar når du søker etter noe.

– Så selv om du søker etter kombinasjonen “juice” og “bil” så skal du ikke oppleve noen forsinkelse, forteller Steffen Viken Valvåg. Han disputerte tidligere i år innen informatikk.

– Et annet forbedringspotensial er å få søkemotorene til å gjøre samme arbeid som i dag, bare ved å benytte færre datamaskiner. Dette sparer både penger, energi og dermed også miljøet, legger han til.

Utviklet eget system

Steffen Viken Valvåg har designet et eget program for å forbedre søkeresultater på store datasett. Foto: privat

Ingen vet nøyaktig hvor mange datamaskiner Google benytter for å laste ned og indeksere nytt innhold fra internett, bortsett fra at det må være veldig mange.

I 2004 introduserte Google en programmeringsmodell kalt MapReduce, og det gjorde det enda lettere å bearbeide dataene som ble lastet ned. MapReduce går i korthet ut på å få mange datamaskiner til å samarbeide for enkelt å kunne gjøre beregninger på enorme datasett.

I tillegg til Google bruker mange andre store aktører som Amazon, Facebook og Twitter, samme underliggende modell.

– MapReduce ble en kjempehit da den ble introdusert, og er fremdeles den ledende programmeringsmodellen i markedet. Men den har noen begrensninger, og vi på universitetet tenkte at dette kunne vi lære noe av, sier Valvåg.

Han designet selv et eget program, kalt Cogset, for å se om hans program kunne yte enda bedre enn MapReduce.

– Mitt system er kompatibelt med MapReduce, men har en litt mer utradisjonell arkitektur under panseret. Og jeg fikk gode resultater på en del områder, med opptil 100 prosent bedre ytelse, forteller Valvåg.

Utviklinga går fort

Han tror likevel ikke at Cogset kan ta over for MapReduce.

– Cogset er ikke et “modent” nok system ennå. I mindre skala vil det trolig fungere veldig bra, men jeg mistenker at det ikke vil fungere like godt i stor skala.

Steffen Viken Valvåg har vært interessert i datamaskiner siden han var liten, og programmerte for første gang da han var 11 år. Noe som betyr at han har fulgt med på utviklinga veldig lenge.

– Man må like å lære nye ting, for utviklinga går fort og man vil jo gjerne henge med. I denne jobben kan man ikke hvile på laurbærene, nei, smiler Valvåg.

– Hvordan ser framtida ut?

– Det er vanskelig å se langt inn i framtida, men tilgjengelighet blir bare stadig viktigere. Dessuten vil vi både produsere og få tilgang til stadig mer data, og det er jo hvordan vi kan håndtere og nyttiggjøre oss disse dataene som blant annet jeg jobber med, avslutter Valvåg.