Artificiell intelligens går till Hollywood (och infiltrerar filmindustrin)

I tidigare inlägg har vi undersökt hur artificiell intelligens/maskininlärning tillämpas i allt större utsträckning inom vetenskapen samt i olika (andra) kreativa verksamheter (del 1, del 2).

Låt oss nu bege oss in i det land där stora budgetar och kreativitet möts: Hollywood, Tinseltown, det magiska filmlandet.

Där följs de ökande budgetarna tätt av en ökad användning av mer och mer raffinerad CGI. Besluten om filmproduktion beror inte bara på budgeten utan också på den förväntade vinsten. Dessa prognoser baseras på uppgifter om tittarna. Budgetfördelning? Uppgifter. CGI? Data.

Jag kan redan höra AI gnugga sina virtuella händer.

Blockbusterbudgetar

A-listfilmproduktion är ingen billig investering. Moderna blockbusterfilmer överstiger regelbundet 200 miljoner dollar. Om du är någon från ett produktionsbolag som står i begrepp att göra (en del av) en sådan investering vill du vara så säker som möjligt på att filmen kommer att bli en succé. Ingen investerar utan att förvänta sig vinst.

Hur bedömer du en films vinstpotential? Titta på det förflutna. Vilka (typ av) filmer gick bra? Finns det egenskaper som blockbusters delar? Vad letar tittarna efter och vad är de villiga att spendera pengar på?

Rädslan för att förlora pengar och avvika från kända framgångsformler har lett till den nuvarande ”uppföljarnas tidsålder”.

Men, som vi alla vet, är det ingen garanti för framgång. Vissa uppföljare är fantastiska, andra inte så mycket.

Hur vore det om vi hade ett system som inkluderade så många relevanta parametrar som möjligt i bedömningen av ”blockbusterpotentialen”, och som inte – eller åtminstone i mindre utsträckning – hämmades av mänsklig riskaversion?

Gissa vad? De stora produktionsbolagen gör redan det. 20th Century Fox använder ett system som heter Merlin (som förutspådde framgången med Logan), Warner Bros. inledde nyligen ett samarbete med Cinelytic, ett företag som använder sig av maskininlärning för att förutspå filmframgångar. Det Belgien-baserade företaget ScriptBook kan förutsäga en films biljettintäkter med 86 procents framgång (och har eventuellt redan varit med och skrivit manus till filmer – vi vet inte vilka på grund av sekretessavtal…).

Ingen investerar utan att förvänta sig vinst.

Låt oss bara hoppas att den ökande användningen av dessa AI/maskininlärningssystem också leder till att man stöttar dolda pärlor som man annars skulle ha ignorerat. Om studiorna tillhandahåller mer data än bara tidigare framgångar, kan dessa system förutse biobesökarnas trötthet på uppföljare?

CGI, odödlighet och djupa förfalskningar

Vi har alla hört talas om den gröna skärmens magi. Skådespelare och skådespelerskor gör sin grej framför en green screen, VXF-artister sprider på lite CGI-magi et voilà, våra hjältar och skurkar slåss med laserpistoler på toppen av ett rymdskepp. (Bonusfakta: Skärmen är grön eftersom den ursprungligen användes av vädertjänstemän, som förr i tiden hade blå kostymer. Vilken färg ger en bra kontrast till detta? Just det, ljusgrönt.)

Men att separera de riktiga skådespelarna från den virtuella bakgrunden är inte alltid en lätt uppgift.

För att uppnå de bästa och smidigaste resultaten krävs faktiskt en nästan pixelvis tilldelning av pixlar till skådespelare/skådespelerska, förgrundsobjekt eller bakgrund. (Och det finns till och med irriterande pixlar som består av lite av allt.)

Enter AI.

MIT-forskare presenterade nyligen ett system som kallas semantisk mjuk segmentering som:

…analyserar originalbildens textur och färg och kombinerar den med information som hämtas av ett neuralt nätverk om vad objekten i bilden faktiskt är.

Lång historia kort sagt, systemet påskyndar processen avsevärt och även om det för närvarande arbetar med statiska bilder råder det knappast någon tvekan om att filmindustrin följer dess utveckling noga.

Hur är det med skådespelarna/skådespelerskorna själva?

En sak som AI/maskininlärning redan kan göra är att ”finjustera” skådespelarna/skådespelerskorna. Ett välkänt exempel nyligen är The Irishmen, filmen där Robert De Niro, Joe Pesci och Al Pacino ”avåldrades” med hjälp av en kombination av maskininlärning och innovativa tekniker för rörelsefångst. Inga långa timmar i sminkrummet krävs.

Ett annat exempel är Thanos i Avengers: Endgame. Ett nytt system för maskininlärning med det passande namnet Masquerade målade Josh Brolins uttryck på en högupplöst rendering av Thanos ansikte, vilket besparade VFX-artisterna många timmars mödosamt arbete.

Det handlar inte om artificiell intelligens, det handlar om hur vi utvecklar och använder den.

Dessa är dock riktiga skådespelare. Vad sägs om verkliga AI-skådespelarsystem?

Nja, vi är inte där ännu. Men med tanke på de nuvarande skrämmande bra deepfakes och den växande förmågan hos system för maskininlärning att göra vad som nästan verkar vara kreativa språng får plötsligt en verklig S1m0ne att se mindre osannolik ut.

Kommer detta att sätta skådespelare/skådespelerskor i konkurs? Jag hoppas – och tror – inte det. Precis som med andra konstnärliga AI-aktiviteter kan framtiden vara hybrid. Halvoberoende AI-skådespelare skulle kunna ge mänskliga skådespelare/skådespelerskor en ”partner” att agera med framför en grön duk, eller kanske till och med att improvisera med.

Ett möjligt problem är att de uppgifter som används för att utveckla Hollywoods AI kan återspegla eller till och med förstärka befintliga fördomar. Å andra sidan kan en noggrann och omdömesgill användning av maskininlärning hjälpa till att identifiera dessa fördomar. Det handlar inte om AI, utan om hur vi utvecklar och använder den. Användningen av AI i Hollywood bör åtföljas av en mångfaldig och inkluderande rollbesättning.

Och… klipp.