Le golfeur et sa doublure
Cet article est devenu obsolète, de par son contenu ou sa forme, il est donc archivé.
Réalisme et fidélité à la réalité sont loin d’être synonymes. Les mouvements d’un personnage de synthèse peuvent paraître réalistes, alors qu’une observation fine révélera une incompatibilité totale entre un geste de cet être virtuel et sa morphologie. Comment s’assurer que le dit personnage ne va pas exécuter des gestes incongrus, par exemple plier son bras dans un sens invraisemblable ? Ces questions se posent typiquement dans le monde du dessin animé ou des jeux vidéo. Restituer en images de synthèse tridimensionnelles les mouvements humains suppose d’intégrer une kyrielle de contraintes, de nature biomécanique en particulier. C’est ce à quoi nous nous sommes attaqués dans le cadre du projet Golf-Stream, sous la houlette d’un consortium impliquant des professionnels du golf.
Le projet Golf-Stream a démarré au début juin 2002. Il est financé par le programme national Recherche et innovation en audiovisuel et multimédia (RIAM), pour une durée de près de trois ans (33 mois). Il associe, dans le cadre d’un consortium, la société Symah Vision (groupe Lagardère), la fédération française de golf (FFG), l’association des professionnels du golf (PGA France) et l’INRIA (projet MIRAGES).
L’intérêt de Symah Vision est d’offrir à ses clients, les chaînes de télévision, une image plus pertinente et un programme plus divertissant et instructif lors de la retransmission de tournois de golf. La FFG analysera les données afin d’en tirer des règles pédagogiques à l’adresse des amateurs et des professionnels du golf. La PGA tient à fournir à ses membres un outil de mesure et d’étude pour améliorer leurs performances sportives. Quant au projet MIRAGES de l’INRIA, son objectif est d’étendre ses recherches liées au tracking (suivi de mouvement) d’objets tridimensionnels rigides, au tracking de marionnettes 3D articulées et semi-déformables. Il s’agit également d’offrir le premier système de capture de mouvements sans marqueurs et en extérieur, et de prendre en compte le profil psychologique des athlètes lors de l’exécution de leurs gestes.
Le projet Golf-Stream s’appuie sur deux enregistrements de données : l’un déjà réalisé lors du trophée Lancôme du mois d’octobre 2002, et l’autre prévu à l’open de France de juin 2004. Pour le premier tournage, un car régie comprenant sept caméras numériques a été placé sur le parcours du Golf de Saint-Nom la Bretèche.
Pourquoi le golf ?
Le domaine du sport est devenu, lui aussi, gourmand en personnages de synthèse. Les émissions télévisées sportives utilisent de plus en plus ce que l’on a désormais coutume d’appeler la réalité augmentée. Cette dernière consiste à superposer à l’image vidéo des éléments de synthèse. L’objectif est d’améliorer (augmenter) à la fois le contenu des images et les possibilités de commentaires à leur sujet. C’est ainsi que le télespectateur voit parfois en ralenti la décomposition de tel ou tel mouvement de champion, avec vitesse, courbe de niveau, matérialisation d’un plan de swing… Mais pour rester fidèle à la réalité, il faut avoir auparavant capté le mouvement en conditions naturelles, par exemple en extérieur pour des sports d’extérieur, et non pas seulement en studio.
Comment faire ?
Un golfeur, ici le champion Grégory Havret, exécutant un swing.
Nous avons développé une nouvelle technologie de tracking tridimensionnel (3D). Celle-ci s’appuie sur la mise en œuvre de sept caméras vidéos synchronisées et placées directement sur le terrain. Dans des sports comme le golf, le champion adapte en effet son jeu à l’environnement. L’objectif était de concevoir un algorithme de tracking d’objets 3D articulés, à partir d’un modèle tridimensionnel anthropométrique simplifié. Ce modèle humain générique est ajusté à la morphologie du champion filmé. Après un recalage manuel sur la première image de la séquence vidéo, l’algorithme détermine l’évolution de l’ensemble des degrés de liberté du corps lors de l’exécution d’un swing (mouvement de golf).
Le tracking consiste à suivre les mouvements d’un objet ou d’un personnage filmé grâce à des techniques de traitement et d’analyse d’images. La capture de mouvements humains utilisée dans le projet Golf-Stream fait appel à un algorithme de tracking à base de modèles tridimensionnels (3D). Dans sa version initiale, cet algorithme s’appliquait particulièrement à la mesure de mouvements d’objets 3D rigides(1,2). Il avait déjà été utilisé avec un certain succès, dans le cadre de travaux de recherche, pour mesurer le mouvement de deux danseurs de tango. Ces derniers étaient alors représentés comme des ensembles d’objets polyarticulés(3). Au plan industriel, il existe bien sûr des systèmes de capture optique de mouvements (ceux du Britannique Vicon, de l’Américain Motion Analysis…). Mais ils utilisent des marqueurs placés sur les personnages filmés. Notre objectif était de nous affranchir de tout type de marquage. Telle est l’une des originalités de notre système, qui est ainsi compatible avec sa mise en œuvre lors de la diffusion télévisée de tournois.
(1) Gérard (P.), Gagalowicz (A.), Three dimensional model-based tracking using texture learning and matching, Pattern Recognition Letters, 21, pp. 1095-1103, 2000
(2) Koller (D.), Daniilidis (K.), Nagel (H.H), Model-Based Object tracking in Monocular Image Sequences of Road Traffic Scenes, International Journal of Computer Vision, 10(3), pp. 257-281, 1993
(3) Gavrila (D.M), Davis (L.S), 3D model-based tracking of humans in action : a multiview approach, CVPR96, pp. 73-80, 1996
La marionnette…
Une marionnette de synthèse est donc utilisée pour mimer les mouvements d’un champion de golf.
Cette marionnette de synthèse est bien plus qu’un simple squelette. Elle est dotée d’une enveloppe corporelle dont les déformations miment celles de la peau du golfeur en action. Elle est paramétrée (caractéristiques anthropométriques…) en fonction du champion que l’on souhaite filmer.
Il fallait trouver un compromis entre la complexité du nombre de degrés de liberté à calculer et sa capacité à mimer fidèlement les mouvements de swing. Afin de limiter ce nombre de degrés de liberté, nous avons réalisé un squelette de synthèse anatomique 3D. Les diverses contraintes biomécaniques du corps humain ont été intégrées de manière à détecter rapidement les collisions entre les os du squelette. La marionnette de synthèse est ainsi dotée de fonctions permettant de gérer automatiquement ses positions, son équilibre et sa biomécanique. À ce système, est associée une enveloppe corporelle qui est rattachée au squelette par des fonctions adéquates, dites de skinning. Ces fonctions permettent en fait de restituer une vision réaliste des déformations de la peau en fonction du mouvement des os.
…et le champion
Pour adapter la marionnette à la morphologie du champion filmé, nous procédons à un paramétrage de la marionnette sur la base des caractéristiques anthropométriques du champion. À partir de plusieurs vues caméras, on ajuste ensuite le squelette de synthèse, ainsi que son enveloppe corporelle, au squelette et aux contours du personnage filmé. Une fois ce travail terminé, il convient de positionner interactivement la marionnette sur la première image des séquences vidéos. Cette interface intègre des contraintes dynamiques et biomécaniques pour aider l’utilisateur à initialiser rapidement le processus de tracking.
Tracking
À partir de ce positionnement, la marionnette de synthèse devient capable de se doter automatiquement de la texture caractérisant le personnage réel (le champion). Un algorithme d’optimisation à base de statistiques (recuit simulé) détermine en outre, pour chaque image vidéo, les postures de la marionnette les plus proches possibles de celles du champion de golf.
Sur ces quatre clichés, trois résultent des points de vue de trois caméras, la quatrième (en haut à droite) réalisant la synthèse de ces trois vues. La marionnette mime tellement bien les gestes du golfeur que l’on entrevoit à peine ce dernier derrière son double de synthèse.
Cela suppose de calculer en temps réel les mouvements du tronc du champion, des vertèbres dorsales, des clavicules, du cou, de la tête, des bras, des cuisses, des avant-bras, des mollets, des pieds et enfin des mains. Chaque essai d’appariement correspond au calcul d’un rendu tridimensionnel de la marionnette de synthèse, et à un appariement pixel à pixel entre images de synthèse et images réelles.
De la rediffusion à l’entraînement
Outre son caractère robuste, la technologie Golf-Stream permet de générer des mesures précises des mouvements, et ce de manière non intrusive (aucun marqueur sur les membres des sportifs). D’où son utilisation possible in situ, y compris en contexte de tournoi. L’étude conjointe de la morphologie d’un joueur et de son mouvement permettra de tirer des conclusions sportives relatives au swing parfait pour une morphologie donnée (les morphotypes). Aucun paramètre, qu’il soit de nature environnementale, stratégique ou psychologique, n’est perturbé par la méthode.
Si l’on se fonde sur le nombre de licenciés en golf, Golf-Stream pourrait connaître un certain succès aux États-Unis, où l’on en compte 25 millions, ou au Japon (16 millions de licences), à comparer aux 260 000 licenciés français. L’audience américaine des rediffusions de tournois de golf est en croissance régulière. Elle arrive aujourd’hui au second rang, devant le basket et le baseball, et juste après le football américain. Reste que notre système d’analyse de mouvements est adaptable à un grand nombre d’autres sports. Il sera alors possible d’établir des analogies entre plusieurs types de mouvements sportifs (lancers de javelots, swings, services au tennis…), et d’en déduire des éléments pédagogiques.
Newsletter
Le responsable de ce traitement est Inria. En saisissant votre adresse mail, vous consentez à recevoir chaque mois une sélection d'articles et à ce que vos données soient collectées et stockées comme décrit dans notre politique de confidentialité
Niveau de lecture
Aidez-nous à évaluer le niveau de lecture de ce document.
Votre choix a été pris en compte. Merci d'avoir estimé le niveau de ce document !
