Utvikler kunstig intelligens som komponerer jazzmusikk / The Artificial Intelligence jazz composer

Han har utviklet kunstig intelligens som komponerer jazzmusikk. Nå er målet for UiT-student Shayan Dadman å la dataprogrammet delta i en live jam session med jazzmusikere.

Eidum, Espen Viklem
Publisert: 06.08.20 11:00 Oppdatert: 30.09.20 10:09

(Scroll down for English version)

Jazzmusikere
Kunstig intelligens inntar jazzmusikken. Nå er målet for UiT-student Shayan Dadman at dataprogrammet han har utviklet skal delta i en live jam session med jazzmusikere. (Foto: Social Butterfly, Pixabay)
Shayan Dadman
Sivilingeniør Shayan Dadman

– Jeg er en musikkelsker og lytter til et bredt spekter av musikk. At jeg valgte jazz skyldes blant annet et ønske om å jobbe med det komplekse og uforutsigbare i sjangerens musikalske struktur, sier Dadman om dataprogrammet som er utviklet i forbindelse med hans masteroppgave ved Institutt for datateknologi og beregningsorienterte ingeniørfag ved sivilingeniørutdanningen, UiT i Narvik.

«Dyp læring»

Dataprogrammet er basert på det som gjerne omtales som «dyp læring». Dadman har forbehandlet musikk fra kjente jazzmusikere som Duke Ellington og John Coltrane. Resultatet er så matet inn i et egenutviklet program som deretter lærer seg å generere musikk i samme sjanger. Det hele ender opp i et originalt musikkstykke produsert i form av et noteark eller en midifil. Graden av originalitet kan økes eller reduseres ved å justere ulike parametere i programmet. Det ferdige musikkstykket kan mates direkte inn i for eksempel en synthesizer og dermed spilles av på forskjellige måter.

Her får du et lite og foreløpig eksempel på et musikkstykke komponert av Dadmans dataprogram:

Unikt på mange vis

– Arbeidet til Shayan er unikt på mange vis og viser at en datamaskin kan læres opp til å utføre kreative oppgaver også innenfor musikk, sier professor Bernt A. Bremdal, som har vært Dadmans hovedveileder under arbeidet med masteroppgaven.

Bernt A. Bremdal
Professor Bernt Arild Bremdal 

Ved UiTs fakultet for ingeniørvitenskap og teknologi (IVT-fakultetet) pågår det en satsing på kreativ kunstig intelligens. Tidligere har studenter utviklet programmer som lærer seg å designe nye ting og forutsi designtrender ved å analysere tilbakemeldinger fra mennesker som enten liker eller ikke liker det programmet produserer.

– I all beskjedenhet tror vi at vi er ganske flinke på disse tingene. Og det er klart at vi ønsker å tiltrekke oss flere flinke studenter til et område som vil prege hverdagen vår i stadig sterkere grad, sier Bremdal.

Jam session

Når det gjelder Dadmans arbeid, ønsker instituttet å bygge videre på det som til nå er gjort.

– Først og fremst ønsker vi å beholde Shayan som gjerne vil inn på et doktorgradsprogram. Vårt mål kommende år er å realisere en videreutvikling av hans hovedoppgave, der programmet i sanntid kan delta i en jam session med musikere. På den måten får vi vist at kunstig intelligens kan være med å improvisere musikalske tema som fanges opp i sanntid, sier professor Bernt A. Bremdal.

For å komme dit, må dataprogrammet rett og slett trene.

I en jam session vil programmet improvisere basert på hva det har lært i treningsfasen. Trening på større datasett gjør at programmet dermed vil tilegne seg stadig mer dyptgående kunnskap om – i dette tilfellet – den formen for jazzmusikk det er tilført.

– Innenfor gitte forutsetninger er det fullt mulig å utføre en live jam session med et system basert på kunstig intelligens, fastslår Dadman selv.

Flere muligheter enn grenser

– Er det noen grenser for kreativiteten til kunstig intelligens slik du ser det?

– Jeg tror det finnes flere muligheter enn grenser. I dag pågår det mye forskning for å forbedre den kreative ytelsen på området. Så skal vi også huske at kunstig intelligens allerede blir brukt på flere kunstrelaterte felt, påpeker Dadman.

Et eksempel er Neural Style Transfer (NST), som – enkelt forklart – kan bruke for eksempel et Picasso-maleri som stilreferanse og transformere et gitt fotografi til en lignende stil. Metoden kan brukes til å utvikle nye verk basert på allerede eksisterende stilarter.

I det musikkrelaterte arbeidet med oppgaven ble Shayan Dadman veiledet av professor Børre Bang og førsteamanuensis Rune Dalmo ved IVT-fakultetet. I tillegg til å ha en solid ingeniørfaglig bakgrunn er de begge meget habile musikere.

--------------------------------------------------------------------

He has developed artificial intelligence capable of composing jazz music. Now UiT-student Shayan Dadman intends to let his computer software participate in a live jam session with real jazz musicians.

– I am a music lover, and I listen to a broad array of music. I chose jazz because I wanted to work with the complexity and unpredictable musical structure of the genre, Dadman says about the computer software that has been developed as part of his thesis at the Department of Computer Science and Computational Engineering at UiT in Narvik

«Deep learning»

The software is based on what is often referred to as “deep learning”. Dadman has pre-treated music from famous jazz musicians such as Duke Ellington and John Coltrane. The result is then fed into a self-developed program that learns to generate music within the same genre. It all ends up as an original piece of music produced in the form of a music sheet or a MIDI-file. The degree of originality can be increased or decreased by adjusting different parameters in the program. The finished piece can then be fed directly into a synthesizer and thus played in numerous ways.

In many ways unique

– The work Shayan has completed is in many ways unique and shows that a computer can also be trained to execute creative tasks within music, says professor Bernt. A Bremdal., He has been Dadmans main supervisor while working on the thesis.

At UiTs Faculty of Engineering, Science, and Technology (IVT-Faculty), energy and time are currently invested in creative artificial intelligence. Previously, students have developed software that can  design new things and predict design trends by analysing feedback from humans that either liked or disliked what the software produced.

– In all modesty, I think we have become quite skilled. And we of course want to attract more talented students into a field that will have a stronger influence on our lives in the future, Bremdal says.

Jam session

The department wants to build on Dadman’s work.

– First and foremost, we want to keep Dadman, who wants to continue into a a doctoral program. In the coming year, we aim to realize the further development of his thesis, where the program can participate in a jam session with musicians in real-time. In that way, we can show that artificial intelligence can help improvise musical themes that are registered in real-time, says professor Bernt A. Bremdal.

To get to that point, the software needs to practice.

In a jam session, the software will improvise based on what it has learned in the training phase. Training on larger data sets will result in the program gaining continuouslydeeper knowledge about the kind of jazz it has been fed.

– With some preconditions, it is possible to perform a live jam session with a system based on artificial intelligence, Dadman claims.

Possibilities, not limitations

– In your view, are there any limits to the creativity of artificial intelligence?

– I think there are more possibilities than there are limitations. A lot of research is being done today to improve creative performance in the field. We also need to keep in mind that artificial intelligence is already being used in several fields of art, Dadman points out.

One example is Neural Style Transfer (NST), which – in simple terms – can use a painting by Picasso as a point of reference and transform a given photograph to a similar style. The method can be used to develop new works based on already existing art styles.

In the music-related work with the thesis, Sayan Dadman was guided by professor Børre Bang and associate professor Rune Dalmo at IVT-faculty. Apart from having solid backgrounds as engineers, they are quite skilled musicians.

Eidum, Espen Viklem
Publisert: 06.08.20 11:00 Oppdatert: 30.09.20 10:09
Vi anbefaler