Teater slik du aldri har sett det før
I en korridor på Realfagsbygget ved UiT står dørene på gløtt inn til forskere som sitter fordypet over dataskjermene sine å programmerer og skriver nye koder, et par studenter sitter i sofaen ute i fellesarealene og prater, lyden av kritt som hamrer på en tavle høres fra et grupperom.
Like ved, bak lukkede dører med gardinene dratt omhyggelig foran vinduet, hopper og fekter to menn, dog med varierende grad av koordinasjon og ynde. Innsatsen er det ingenting å si på, de vifter med armer og snurrer rundt, mens det hele tas opp av et kamera.
Virkelige og digitale aktører på samme scene
Om det var Giacomo Tartaris naturlige spenst og grasiøse bevegelser som ledet han inn i dette forskningsprosjektet vites ikke, men som én av to stipendiater ble han i 2010 ansatt på et prosjekt initiert av Institutt for informatikk, UiT og World Opera i Tromsø.
– Vi har jobbet med verktøy for å kunne sette opp en computer-basert forestilling, som et teater eller en opera, forklarer Tartari, og det gjorde vi best bak lukkede dører, ler han.
– Med det nye verktøyet vil vi kunne lage sceneshow der fremføringer fra mange scener kan slås sammen til en enhetlig opplevelse. Skuespillere som er fysisk lokalisert i forskjellige byer kan stå på samme virtuelle scene og opptre foran publikum som får se en komplett forestilling, men der bare noen av aktørene er fysisk tilstede.
Tredimensjonal sky
Programmet som er utviklet, MultiStage, detekterer skuespillerens bevegelser på scenen, alle fakter og trinn, og viser skuespillerens opptreden i nåtid på en scene et helt annet sted. Det nye programmet baserer seg på Kinect, et sensorsystem som fanger opp bevegelser. Kinect brukes i videospill, blant annet Microsoft sin Xbox 360. Tartari forteller at teknikken har gått ut på å filme en person for så å lage en tredimensjonal sky av piksler, som kan projiseres på hvilken som helst bakgrunn. Sammen med sine kollegaer har Tartari tilbragt noen timer foran kamera der han har jobbet med å fange bevegelsene og gjengi dem i nåtid et annet sted med mest mulig flyt og presisjon.
Tartari utdyper hvordan dette i prinsippet kan foregå; På en scene i Berlin står skuespillet «Rome og Juliet» på programmet, ulykkelige Romeo opptrer foran publikum og uttrykker sin kjærlighet til vakre Juliet. Juliet vises på en skjerm i bakgrunnen av scenen, men hun befinner seg i virkeligheten på en balkong på en scene i London, der hennes opptreden filmes og vises i nåtid i Berlin.
Digital påkledning
Siden en forstilling foregår live foran et publikum må overføringen være rask slik at skuespillerens bevegelser ikke kommer på etterskudd i forhold til resten av settet, i tillegg må overføringen personen ha naturlig flyt. Fremføringen må være av en slik kvalitet at det ikke blir hakking og forsinkelser.
– Alt dette må tas hensyn til i det programmet vi har jobbet med, i tillegg komme oppsett av en bakgrunn som skal være troverdig og ikke minst mulighet for å bestemme hvilke kostymer den virtuelle personen skal ha på seg.
– Det har vært utfordrende å sy sammen et sett med verktøy som skal kunne fungere sammen på tvers av eksisterende arkitektur. Underveis har vi også funnet morsomme muligheter som vi ville teste ut, så det har vært utfordrende å fokusere på oppgaven, smiler Tartari.
Så langt har dette bare vært prøvd i liten skala under Tromsø-forestillingen «la Serva Padrona» i 2012. Showet ble fremført i to ulike saler, et todelt show der halvparten av scenen hadde levende aktører mens en gigantisk skjerm utgjorde den andre halvparten av scenen. I pausen byttet publikum sal slik at de kunne se «live» den andre halvparten av showet.
Tartari forsvarte sin doktorgradsutdenning 27. september 2016, tittel på oppgaven var: “A distributed remote presence system for latency critical human-to-human and human-to-computer interaction”. Han ble veiledet av Otto Anshus og John Markus Bjørndalen ved Institutt for informatikk, UiT og Daniel Stødle, Norut.
Prosjektet ble støttet av Forskningsrådet og Tromsø Forskningsstiftelse.
