Artificiële intelligentie gaat naar Hollywood (en infiltreert in de filmindustrie)

In eerdere berichten hebben we onderzocht hoe kunstmatige intelligentie/machine-leren steeds vaker wordt toegepast in de wetenschap en in diverse (andere) creatieve ondernemingen (deel 1, deel 2).

Laten we ons nu wagen in het land waar grote budgetten en creativiteit elkaar ontmoeten: Hollywood, Tinseltown, het magische filmland.

Daar worden de stijgende budgetten op de voet gevolgd door het toenemend gebruik van steeds verfijnder CGI. Besluiten over filmproducties hangen niet alleen af van het budget, maar ook van de winstverwachting. Die prognoses zijn gebaseerd op gegevens van kijkers. Begrotingstoewijzing? Gegevens. CGI? Data.

Ik hoor AI al in zijn virtuele handen wrijven.

Blockbuster budgetten

A-list filmproductie is geen goedkope investering. Moderne blockbusterfilms kosten regelmatig meer dan 200 miljoen dollar. Als je iemand bent van een productiemaatschappij die op het punt staat (een deel van) zo’n investering te doen, wil je er zo zeker mogelijk van zijn dat de film een hit wordt. Niemand investeert zonder de verwachting van winst.

Hoe beoordeel je de winstpotentie van een film? Kijk naar het verleden. Welke (type) films deden het goed? Zijn er kenmerken die kaskrakers delen? Waar zijn kijkers naar op zoek, en waar zijn ze bereid geld aan uit te geven?

De angst om geld te verliezen en af te wijken van bekende succesformules heeft geleid tot het huidige ’tijdperk van de sequel’.

Maar, zoals we allemaal weten, is dat geen garantie voor succes. Sommige sequels zijn geweldig, andere niet zo.

Wat als we een systeem hadden dat zoveel mogelijk relevante parameters opneemt in de beoordeling van het ‘blockbusterpotentieel’, niet – of in ieder geval minder – gehinderd door menselijke risicoaversie?

Guess what? Grote productiemaatschappijen doen dat al. 20th Century Fox gebruikt een systeem genaamd Merlin (dat het succes van Logan voorspelde), Warner Bros. begon onlangs samen te werken met Cinelytic, een bedrijf dat machine learning gebruikt voor het voorspellen van filmsucces. Het in België gevestigde bedrijf ScriptBook kan de boxoffice-opbrengst van een film voorspellen met een succespercentage van 86% (en heeft mogelijk al meegeschreven aan scripts voor films – we weten niet welke vanwege geheimhoudingsovereenkomsten…).

Niemand investeert zonder de verwachting van winst.

Laten we alleen hopen dat het toenemende gebruik van deze AI/machine-leersystemen ook zal leiden tot het ondersteunen van verborgen juweeltjes die anders genegeerd zouden zijn. Als de studio’s meer gegevens verstrekken dan alleen successen uit het verleden, kunnen deze systemen dan anticiperen op de sequel-moeheid van filmbezoekers?

CGI, onsterfelijkheid en diepe vervalsingen

We hebben allemaal gehoord over de magie van het groene scherm. Acteurs en actrices doen hun ding voor een groen scherm, VXF-kunstenaars strooien er wat CGI-magie overheen en voilà, onze helden en schurken vechten met laserpistolen bovenop een ruimteschip. (Bonusfeitje: het scherm is groen omdat het oorspronkelijk gebruikt werd door weermannen, die – in die tijd – meestal blauwe pakken droegen. Welke kleur contrasteert daar geweldig mee? Juist, felgroen.)

Maar de echte acteurs/actrices van de virtuele achtergrond scheiden is niet altijd een gemakkelijke taak.

In feite is voor de beste, meest vloeiende resultaten een bijna pixel voor pixel toewijzing van pixels aan acteur/actrice, voorgronditem of achtergrond nodig. (En er zijn zelfs vervelende pixels die een beetje van alles omvatten.)

Enter AI.

MIT-onderzoekers presenteerden onlangs een systeem genaamd semantische zachte segmentatie dat:

…de textuur en kleur van het oorspronkelijke beeld analyseert en combineert met informatie die door een neuraal netwerk wordt verzameld over wat de objecten in het beeld eigenlijk zijn.

Lang verhaal kort, het systeem versnelt het proces aanzienlijk en ook al werkt het momenteel met statische beelden, het lijdt weinig twijfel dat de filmindustrie de ontwikkeling ervan op de voet volgt.

Hoe zit het met de acteurs/actrices zelf?

Eén ding dat AI/machine-leren al kan doen, is de acteurs/actrices ’tweaken’. Een bekend recent voorbeeld is The Irishmen, de film waarin Robert De Niro, Joe Pesci en Al Pacino werden ‘ont-aged’ met een combinatie van machine learning en innovatieve motion-capture technieken. Geen lange uren in de make-up kamer nodig.

Een ander voorbeeld is Thanos in Avengers: Endgame. Een nieuw machine learning-systeem met de toepasselijke naam Masquerade schilderde de uitdrukking van Josh Brolin op een hoge-resolutie rendering van Thanos’ gezicht, wat VFX-artiesten vele uren werk bespaarde.

Het gaat niet om de AI, het gaat erom hoe we die ontwikkelen en gebruiken.

Dit zijn echte acteurs, hoor. Hoe zit het met echte AI acteersystemen?

Nou, zover zijn we nog niet. Maar gezien de schandalig goede deepfakes van dit moment en het groeiende vermogen van machine learning-systemen om bijna creatieve sprongen te maken, lijkt een levensechte S1m0ne ineens minder ongeloofwaardig.

Wordt het werk van acteurs/actrices hierdoor onmogelijk gemaakt? Ik hoop – en denk – van niet. Zoals met andere AI artistieke inspanningen, zou de toekomst hybride kunnen zijn. Semi-onafhankelijke AI-acteurs zouden menselijke acteurs/actrices een ‘partner’ kunnen geven om mee te acteren voor een groen scherm, of misschien zelfs om mee te improviseren.

Een mogelijk probleem is dat de gegevens die worden gebruikt om Hollywood AI te ontwikkelen, bestaande vooroordelen zouden kunnen weerspiegelen of zelfs versterken. Aan de andere kant zou een zorgvuldig en oordeelkundig gebruik van machinaal leren kunnen helpen die vooroordelen te identificeren. Het gaat niet om de AI, het gaat erom hoe we die ontwikkelen en gebruiken. Het gebruik van AI in Hollywood moet gepaard gaan met een diverse en inclusieve cast van personages.

En… cut.