Första AI-genererade musikvideon på svenskt bolag

(Skärmdump från videon The Game Nobody Wins med Killing Kind.)

– Jag ville testa hur man skulle kunna använda maskininlärning och diffusionsmodeller som genererar stillbilder i låg upplösning till att generera animerad video i 4k, säger Andrea Nordwall. Andrea är lärare på Digital bildproduktion och har gjort den första första AI-genererade musikvideon som släppts av ett svenskt skivbolag. Bandet heter Killing Kind och låten The Game Nobody Wins.

AI sparar tid och manuellt arbete

Andrea Nordwall, universitetsadjunkt på institutionen för teknik och estetik och lärare på Digital bildproduktion.

Andrea skapade animation från stillbilder genom att använda rörelsedata från filmat material, eller använda föregående bild som ingång till att generera nästa bildruta. Sedan sattes materialet samman med traditionella animationsmetoder. Fördelen med att använda AI-teknik i animation är enligt Andrea att man automatisera vissa uppgifter som annars är väldigt tidsödande och generera bilder efter behov.

Arbetet med videon började i december, vid sidan av heltidsarbetet som lärare på Digital Bildproduktion, och videon släpptes i slutet på februari. Något motsvarande hade varit svårt att genomföra på den tiden utan de här metoderna.

Rusande utveckling inom bild

Sedan videon släpptes har flera metoder Andrea saknade under produktionen tagits fram, till exempel ControlNet eller Gen-1 – och mer kommer.
– Inom medietekniken kommer AI-modeller ha oerhörd betydelse. De kommer på synliga och osynliga sätt omforma både arbetsprocesser och yrkesroller i digital bildproduktion och det är med den utvecklingen i åtanke som vi har haft kurser i Generativ bild sedan fyra år tillbaka inom medieteknik, säger Andrea

Se videon på YouTube