L’état actuel de l’IA générative dans la vidéo ressemble souvent à un tour de magie « ponctuel ». Un utilisateur saisit une invite textuelle, une vidéo est produite et si le résultat est imparfait, comme des membres déformés ou des mouvements non naturels, l’utilisateur n’a d’autre choix que de recommencer avec une nouvelle invite. Cette approche de « boîte noire » crée une barrière pour les créateurs professionnels qui exigent de la précision plutôt que du hasard.
Cartwheel, une nouvelle startup d’animation 3D, tente de briser ce cycle. Fondée par les vétérans de l’industrie Andrew Carr (anciennement d’OpenAI) et Jonathan Jarvis (anciennement de Google), la société crée des outils conçus pour automatiser le gros du travail technique de l’animation tout en laissant la prise de décision créative entre les mains de l’artiste.
Le problème des données : pourquoi la 3D est plus difficile que le texte
Alors que les grands modèles linguistiques (LLM) et les générateurs d’images ont prospéré en raison de la disponibilité quasi infinie de textes et d’images sur Internet, les données de mouvement 3D sont beaucoup plus difficiles à trouver.
La rareté des données 3D de haute qualité constitue un obstacle important au développement de l’IA. Contrairement au langage écrit, qui est abondant, les données précises sur la façon dont les corps se déplacent dans l’espace tridimensionnel sont relativement rares. Selon le co-fondateur Jonathan Jarvis, la difficulté d’obtenir ces données était « 10 à 100 fois » plus difficile que prévu initialement.
Pour surmonter ce problème, Cartwheel ne se contente pas de générer des « pixels » (images plates) ; ils cartographient la biomécanique humaine. Leurs modèles visent à traduire de simples entrées 2D, comme une vidéo de quelqu’un dansant, en structures squelettiques 3D précises et réalistes. Cela permet d’atteindre un niveau de précision technique que les générateurs vidéo plats ne peuvent égaler.
Combattre la « similarité de l’IA » grâce au contrôle créatif
Une critique courante de l’IA générative est sa tendance à la « similitude », le phénomène selon lequel le contenu produit par le même modèle commence à paraître répétitif et manque de caractère distinct.
Les fondateurs de Cartwheel affirment que ce manque de variété est le résultat direct d’un manque de contrôle. Leur solution est de fournir une “couche de contrôle” plutôt qu’un produit fini.
- L’IA comme outil puissant : Au lieu de générer une vidéo finale et immuable, Cartwheel génère des ressources 3D destinées à être manipulées.
- Édition post-génération : Étant donné que la sortie est constituée de données 3D, les créateurs peuvent ajuster l’éclairage, déplacer les angles de caméra ou modifier la pose d’un personnage une fois la génération initiale terminée.
- Performance personnalisée : En permettant aux artistes de « pousser et tirer » la performance, la technologie ne remplace plus l’artiste et devient un outil d’expression sophistiqué.
La vision : une narration ouverte
L’objectif ultime de Cartwheel va au-delà de la simple efficacité ; il s’agit de permettre une ” narration ouverte. “
Dans le paysage en évolution rapide des jeux et des médias sociaux, la demande de contenu dépasse la capacité de l’animation manuelle traditionnelle. Cartwheel envisage un avenir dans lequel les personnages ne se contenteront pas de lire des boucles préenregistrées, mais seront alimentés par des modèles de mouvement qui leur permettront de réagir et de jouer en temps réel.
Les fondateurs prédisent un changement fondamental dans le flux de travail de l’industrie :
“Tout le monde travaillera en 3D, même si le contenu est créé en 2D, même si le résultat final n’est qu’une vidéo 2D.”
En se concentrant sur la « couche située sous les pixels » – le mouvement et la structure sous-jacents – Cartwheel espère combler le fossé entre la vision 2D d’un créateur et une réalité 3D haute fidélité.
Conclusion
Cartwheel cherche à transformer l’IA générative d’un générateur de vidéos statiques en un moteur dynamique de mouvement 3D. En donnant la priorité au contrôle et à la précision biomécanique, ils visent à garantir que même si les machines gèrent la mécanique technique, les humains conservent le « goût » et le cœur émotionnel de l’histoire.
