De huidige staat van generatieve AI in video voelt vaak als een ‘one-shot’ goocheltruc. Een gebruiker voert een tekstprompt in, er wordt een video geproduceerd en als het resultaat gebrekkig is, zoals vervormde ledematen of onnatuurlijke bewegingen, heeft de gebruiker weinig andere keus dan opnieuw te beginnen met een nieuwe prompt. Deze ‘black box’-aanpak werpt een barrière op voor professionele makers die precisie nodig hebben in plaats van willekeurig geluk.
Cartwheel, een nieuwe startup voor 3D-animatie, probeert deze cyclus te doorbreken. Het bedrijf, opgericht door veteranen uit de industrie Andrew Carr (voorheen van OpenAI) en Jonathan Jarvis (voorheen van Google), bouwt tools die zijn ontworpen om het technische zware werk van animatie te automatiseren, terwijl de creatieve besluitvorming in handen van de kunstenaar wordt gelaten.
Het dataprobleem: waarom 3D moeilijker is dan tekst
Hoewel grote taalmodellen (LLM’s) en beeldgeneratoren tot bloei zijn gekomen dankzij de vrijwel oneindige beschikbaarheid van tekst en afbeeldingen op internet, zijn 3D-bewegingsgegevens veel moeilijker te vinden.
De schaarste aan hoogwaardige 3D-gegevens vormt een aanzienlijke hindernis voor de ontwikkeling van AI. In tegenstelling tot geschreven taal, die overvloedig aanwezig is, zijn nauwkeurige gegevens over hoe lichamen in de driedimensionale ruimte bewegen relatief zeldzaam. Volgens mede-oprichter Jonathan Jarvis was de moeilijkheid om deze gegevens te verkrijgen “10 tot 100 keer” moeilijker dan aanvankelijk verwacht.
Om dit te ondervangen genereert Cartwheel niet alleen “pixels” (platte afbeeldingen); ze brengen de menselijke biomechanica in kaart. Hun modellen zijn bedoeld om eenvoudige 2D-invoer, zoals een video van iemand die danst, te vertalen naar nauwkeurige, realistische 3D-skeletstructuren. Dit zorgt voor een niveau van technische nauwkeurigheid dat platte videogeneratoren niet kunnen evenaren.
Bestrijding van ‘AI-gelijkheid’ door middel van creatieve controle
Een veelgehoorde kritiek op generatieve AI is de neiging ervan tot ‘gelijkheid’ – het fenomeen waarbij inhoud die door hetzelfde model wordt geproduceerd er repetitief begint uit te zien en geen onderscheidend karakter heeft.
De oprichters van Cartwheel beweren dat dit gebrek aan variatie een direct gevolg is van een gebrek aan controle. Hun oplossing is om een “controlelaag” te bieden in plaats van een eindproduct.
- De AI als krachtig hulpmiddel: In plaats van een definitieve, onveranderlijke video te genereren, genereert Cartwheel 3D-middelen die bedoeld zijn om te worden gemanipuleerd.
- Bewerken na de generatie: Omdat de uitvoer 3D-gegevens is, kunnen makers de belichting aanpassen, camerahoeken verplaatsen of de pose van een personage aanpassen nadat de eerste generatie is voltooid.
- Gepersonaliseerde uitvoering: Door artiesten toe te staan de uitvoering te “pushen en trekken”, is de technologie niet langer een vervanging voor de artiest, maar wordt het een geavanceerd hulpmiddel voor expressie.
De visie: verhalen vertellen met een open einde
Het uiteindelijke doel van Cartwheel gaat verder dan louter efficiëntie; het gaat over het mogelijk maken van “verhalen vertellen met een open einde.”
In de snel evoluerende landschappen van gaming en sociale media overtreft de vraag naar inhoud de capaciteit van traditionele, handmatige animatie. Cartwheel voorziet een toekomst waarin personages niet alleen vooraf opgenomen loops afspelen, maar worden aangedreven door bewegingsmodellen waarmee ze in realtime kunnen reageren en optreden.
De oprichters voorspellen een fundamentele verschuiving in de workflow van de industrie:
“Iedereen zal in 3D werken, zelfs als het in 2D is geschreven, zelfs als de uiteindelijke output slechts 2D-video is.”
Door zich te concentreren op de “laag onder de pixels” – de onderliggende beweging en structuur – hoopt Cartwheel de kloof te overbruggen tussen de 2D-visie van een maker en een hifi 3D-realiteit.
Conclusie
Cartwheel probeert generatieve AI te transformeren van een generator van statische video’s naar een dynamische motor voor 3D-bewegingen. Door prioriteit te geven aan controle en biomechanische nauwkeurigheid willen ze ervoor zorgen dat, terwijl machines de technische mechanica verzorgen, mensen de ‘smaak’ en de emotionele kern van het verhaal behouden.
