Interstices


  Archives

Le golfeur et sa doublure

Les gestes des joueurs de tennis, golfeurs ou footballeurs des jeux vidéo pourraient bientôt mimer à s'y méprendre ceux des meilleurs professionnels. C'est ce que promet une nouvelle technique de capture du mouvement. Mais ce système, le premier à fonctionner sans capteurs et en extérieur, permettra surtout d'enrichir le contenu des retransmissions télévisées de tournois. Autres applications, l'entraînement au geste sportif, ou encore le rendu réaliste de personnages de synthèse dans les films d'animation.

Réalisme et fidélité à la réalité sont loin d'être synonymes. Les mouvements d'un personnage de synthèse peuvent paraître réalistes, alors qu'une observation fine révélera une incompatibilité totale entre un geste de cet être virtuel et sa morphologie. Comment s'assurer que le dit personnage ne va pas exécuter des gestes incongrus, par exemple plier son bras dans un sens invraisemblable ? Ces questions se posent typiquement dans le monde du dessin animé ou des jeux vidéo. Restituer en images de synthèse tridimensionnelles les mouvements humains suppose d'intégrer une kyrielle de contraintes, de nature biomécanique en particulier. C'est ce à quoi nous nous sommes attaqués dans le cadre du projet Golf-Stream, sous la houlette d'un consortium impliquant des professionnels du golf.

Pourquoi le golf ?

Le domaine du sport est devenu, lui aussi, gourmand en personnages de synthèse. Les émissions télévisées sportives utilisent de plus en plus ce que l'on a désormais coutume d'appeler la réalité augmentée. Cette dernière consiste à superposer à l'image vidéo des éléments de synthèse. L'objectif est d'améliorer (augmenter) à la fois le contenu des images et les possibilités de commentaires à leur sujet. C'est ainsi que le télespectateur voit parfois en ralenti la décomposition de tel ou tel mouvement de champion, avec vitesse, courbe de niveau, matérialisation d'un plan de swing... Mais pour rester fidèle à la réalité, il faut avoir auparavant capté le mouvement en conditions naturelles, par exemple en extérieur pour des sports d'extérieur, et non pas seulement en studio.

Comment faire ?

Un golfeur, ici le champion Grégory  Havret, exécutant un swing.
Un golfeur, ici le champion Grégory Havret, exécutant un swing.

Nous avons développé une nouvelle technologie de tracking tridimensionnel (3D). Celle-ci s'appuie sur la mise en oeuvre de sept caméras vidéos synchronisées et placées directement sur le terrain. Dans des sports comme le golf, le champion adapte en effet son jeu à l'environnement. L'objectif était de concevoir un algorithme de tracking d'objets 3D articulés, à partir d'un modèle tridimensionnel anthropométrique simplifié. Ce modèle humain générique est ajusté à la morphologie du champion filmé. Après un recalage manuel sur la première image de la séquence vidéo, l'algorithme détermine l'évolution de l'ensemble des degrés de liberté du corps lors de l'exécution d'un swing (mouvement de golf).

La marionnette...

Une marionnette de synthèse est donc utilisée pour mimer les mouvements d'un champion de golf.

Cette marionnette de synthèse est bien plus qu'un
      simple squelette...
Cette marionnette de synthèse est bien plus qu'un simple squelette...

Il fallait trouver un compromis entre la complexité du nombre de degrés de liberté à calculer et sa capacité à mimer fidèlement les mouvements de swing. Afin de limiter ce nombre de degrés de liberté, nous avons réalisé un squelette de synthèse anatomique 3D. Les diverses contraintes biomécaniques du corps humain ont été intégrées de manière à détecter rapidement les collisions entre les os du squelette. La marionnette de synthèse est ainsi dotée de fonctions permettant de gérer automatiquement ses positions, son équilibre et sa biomécanique. À ce système, est associée une enveloppe corporelle qui est rattachée au squelette par des fonctions adéquates, dites de skinning. Ces fonctions permettent en fait de restituer une vision réaliste des déformations de la peau en fonction du mouvement des os.

...et le champion

Pour adapter la marionnette à la morphologie du champion filmé, nous procédons à un paramétrage de la marionnette sur la base des caractéristiques anthropométriques du champion. À partir de plusieurs vues caméras, on ajuste ensuite le squelette de synthèse, ainsi que son enveloppe corporelle, au squelette et aux contours du personnage filmé. Une fois ce travail terminé, il convient de positionner interactivement la marionnette sur la première image des séquences vidéos. Cette interface intègre des contraintes dynamiques et biomécaniques pour aider l'utilisateur à initialiser rapidement le processus de tracking.

Tracking

À partir de ce positionnement, la marionnette de synthèse devient capable de se doter automatiquement de la texture caractérisant le personnage réel (le champion). Un algorithme d'optimisation à base de statistiques (recuit simulé) détermine en outre, pour chaque image vidéo, les postures de la marionnette les plus proches possibles de celles du champion de golf.

Sur ces quatre clichés, trois résultent des points de
      vue de trois caméras...
Sur ces quatre clichés, trois résultent des points de vue de trois caméras...

Cela suppose de calculer en temps réel les mouvements du tronc du champion, des vertèbres dorsales, des clavicules, du cou, de la tête, des bras, des cuisses, des avant-bras, des mollets, des pieds et enfin des mains. Chaque essai d'appariement correspond au calcul d'un rendu tridimensionnel de la marionnette de synthèse, et à un appariement pixel à pixel entre images de synthèse et images réelles.

De la rediffusion à l'entraînement

Outre son caractère robuste, la technologie Golf-Stream permet de générer des mesures précises des mouvements, et ce de manière non intrusive (aucun marqueur sur les membres des sportifs). D'où son utilisation possible in situ, y compris en contexte de tournoi. L'étude conjointe de la morphologie d'un joueur et de son mouvement permettra de tirer des conclusions sportives relatives au swing parfait pour une morphologie donnée (les morphotypes). Aucun paramètre, qu'il soit de nature environnementale, stratégique ou psychologique, n'est perturbé par la méthode.

Si l'on se fonde sur le nombre de licenciés en golf, Golf-Stream pourrait connaître un certain succès aux États-Unis, où l'on en compte 25 millions, ou au Japon (16 millions de licences), à comparer aux 260 000 licenciés français. L'audience américaine des rediffusions de tournois de golf est en croissance régulière. Elle arrive aujourd'hui au second rang, devant le basket et le baseball, et juste après le football américain. Reste que notre système d'analyse de mouvements est adaptable à un grand nombre d'autres sports. Il sera alors possible d'établir des analogies entre plusieurs types de mouvements sportifs (lancers de javelots, swings, services au tennis...), et d'en déduire des éléments pédagogiques.