Les Newsletters Interstices
    Niveau facile
    Niveau 1 : Facile

    Annelies Braffort : les promesses de l’informatique linguistique pour les sourds

    Médecine & Sciences du vivant
    Comment aider les sourds qui communiquent par la langue des signes à partager le monde des entendants et réciproquement ? L'informatique, la vidéo et le traitement d'images peuvent contribuer à mieux connaître la grammaire si particulière de ces gestes ou encore concevoir une écriture symbolique adaptée.
    Annelies Braffort

    Entretien avec Annelies Braffort, chargée de recherche au Limsi (Laboratoire d’informatique pour la mécanique et les sciences de l’ingénieur, unité propre du CNRS, Orsay) spécialiste d’informatique linguistique en langue des signes.

    Propos recueillis par Isabelle Bellin.

    Aujourd’hui, la plupart de vos recherches concernent la modélisation informatique de la langue des signes, comment vous êtes vous intéressée à cette problématique ?

    Mon parcours de chercheuse est plutôt atypique. Mon premier bagage scientifique était un DUT (Diplôme universitaire de technologie) de mesures physiques, obtenu à Orsay (91). J’ai travaillé pendant huit ans en tant que technicienne dans un laboratoire de recherches du Commissariat à l’énergie atomique à Saclay (91). Cela ne me satisfaisait pas complètement. Mais, ayant découvert à cette occasion que l’informatique permettait d’être très créatif – beaucoup plus que ne le laissait supposer l’aperçu que j’en avais eu auparavant – j’ai repris des études d’informatique en cours du soir pour décrocher une licence au bout de deux années. Puis, j’ai sollicité un congé formation d’un an pour faire une maîtrise en informatique à l’université d’Orsay.

    Finalement, j’ai poursuivi mes études jusqu’à la thèse. C’est lors de mon stage de DEA que je suis entrée au Limsi.

    Or il se trouve que le laboratoire venait de s’équiper d’un « gant numérique », une sorte de gant en tissu équipé de capteurs qui permet de mesurer la forme de la main, sa position et son orientation dans l’espace. J’ai voulu le mettre à profit dans le cadre de mon stage dont le but initial était de remplacer le maniement de la souris et du clavier en informatique par des commandes par gestes, par exemple pour contrôler le défilement de transparents lors de présentations orales.

    Utilisation de gants numériques pour capter et reconnaître les gestes des mains.

    Du geste de commande à la langue des signes utilisée par les sourds pour communiquer, il n’y a qu’un pas… que j’ai vite franchi. Une collègue du Limsi m’a mis en contact avec le spécialiste français linguiste en langue des signes, Christian Cuxac, professeur à l’université Paris VIII. J’ai tout de suite été passionnée par cette langue étonnante et formidablement riche. J’ai pu suivre le cours de linguistique du professeur Cuxac et apprendre la Langue des signes française (LSF) à l’IVT (International visual theatre).

    Voilà comment, de fil en aiguille, j’ai finalement consacré ma thèse à l’étude de la traduction de la LSF, depuis la capture du geste jusqu’au français écrit. J’ai mis au point un module de reconnaissance et de compréhension de courts énoncés en LSF pour les traduire en français écrit. Depuis, j’ai poursuivi mes recherches dans ce domaine au Limsi, d’abord en tant que maître de conférences puis chargée de recherche depuis l’an dernier.

    Que sait-on aujourd’hui de ces langues de signes et plus particulièrement de la langue des signes française ?

    La langue des signes est réellement fascinante. Ce qui la caractérise avant tout c’est sa grammaire, spatiale et iconique, qui permet de montrer les choses tout en les disant. Par exemple, on peut « montrer » le déplacement d’une personne ou d’un objet par rapport à un autre à l’aide des deux mains, la main dite « dominée » ayant le rôle de locatif référent et la main dite « dominante » montrant le déplacement. Ou encore, on peut « conjuguer » certains verbes en utilisant l’espace.

    La langue des signes fait autant intervenir le visage (expressions, direction du regard, mouvements de la bouche) que le corps (bras, mains mais aussi épaules et buste). Par exemple, les types de phrases sont signalées par des signes de tête et des expressions particulières du visage : le visage du signeur est neutre lors d’une phrase déclarative, un haussement du regard ou un froncement des sourcils indique une phrase interrogative, un regard insistant et un mouvement ferme de la tête expriment une phrase impérative…

    La syntaxe de la LSF est très différente de celle de la langue orale : le signeur place d’abord le contexte (le décor puis les accessoires et les personnages) et enfin l’action. Par ailleurs, l’ordre des signes dans le temps est beaucoup moins important que leur arrangement dans l’espace.

    Pour en savoir plus, la référence en linguistique sur la LSF est :

    La langue des signes française ; Les voies de l’iconicité.
    de Christian Cuxac
    Faits de Langues 15/16, Editions Ophrys, Paris, 2000, 391 pages.

    Ces procédés, très sophistiqués et efficaces, peuvent se combiner avec l’emploi d’un lexique de signes. Ce lexique comporte plusieurs milliers de signes « institutionnalisés », qui permettent d’exprimer des concepts aussi bien concrets qu’abstraits. Ce lexique varie d’un pays à l’autre, et même d’une région à l’autre.

    À ce titre, le lexique n’est pas universel ; cependant, les structures grammaticales spatiales et iconiques sont quant à elles communément employées dans tous les pays, ce qui donne à ce type de langue un caractère universel. Ainsi, en quelques jours, deux sourds étrangers parviendront à se comprendre.

    En France, la LSF a été interdite dans l’enseignement pendant plus d’un siècle, de 1880 à 1991. Pendant cette longue période, on a voulu imposer aux enfants sourds l’emploi du français comme langue d’apprentissage des savoirs, alors que le français n’est pas leur langue naturelle. Cela impliquait un apprentissage du français très douloureux : comment apprendre, bien après l’âge où se fait l’apprentissage linguistique, une langue dont on n’a pas idée des productions, et selon une grammaire totalement étrangère ? Le résultat était souvent un enfant, puis un adulte, qui avait très peu de compétences linguistiques.

    Ce type d’éducation est encore malheureusement très fréquent, tandis que les approches de type bilingue, où l’on utilise la LSF comme langue première et où le français est acquis avec des techniques d’apprentissage d’une deuxième langue, ne sont pas encore suffisamment soutenues par les institutions.

    Entre 7 et 10% de la population française est atteinte de surdité, soit 400 à 500 000 personnes. Pas moins de 60 à 80% d’entre eux souffrent d’illettrisme et environ la moitié des sourds français sont au chômage.

    Historiquement, en France, la langue des signes a été reconnue au 17e siècle puis décrite d’un point de vue grammatical et méthodologique pour être utilisée pour enseigner le français aux enfants sourds à la fin du 18e (la première école, l’Institut Saint-Jacques est créée en 1789). Il faut attendre le début du 19e pour qu’une véritable éducation bilingue soit proposée avec un enseignement par des professeurs sourds. Les écoles se multiplient alors en France et inspirent même les États-Unis et la langue des signes américaine.

    Pourtant, malgré un développement important de la culture sourde au milieu du 19e siècle, la querelle persiste entre les tenants de l’éducation oraliste (en français seulement) et ceux de l’éducation bilingue. En 1880, la LSF est finalement totalement interdite dans l’éducation des enfants sourds… jusqu’en 1991, date à laquelle la « Loi Fabius » autorise à nouveau le choix des langues d’enseignement pour les sourds. Pourtant, l’éducation oraliste reste largement majoritaire dans l’éducation nationale. Elle est source de nombreux échecs scolaires.

    Voir ces ouvrages édités par l’International visual theatre :

    La langue des signes : Introduction à l’histoire et à la grammaire de la langue des signes. Entre les mains des sourds
    de Bill Moody
    I.V.T.,1998, 208 pages

    Dictionnaire bilingue français/langue des signes pour enfants
    Collectif
    I.V.T., 1996, 116 pages

     

    Pour plus d’informations sur les aspects institutionnels, lire :

    Revue « Langue Française », n° 137, février 2003,
    « La langue des signes : enjeux institutionnels et linguistique »
    numéro coordonné par C. Cuxac.

    Probablement du fait de sa longue interdiction, la LSF s’est pratiquée en France de manière totalement déconnectée de la communauté entendante, et a donc préservé son intégrité. Aux États-Unis, où l’interdiction n’a pas été aussi forte, la langues des signes américaine semble avoir subi une influence de l’anglais oral dans ses structures linguistiques, d’autant plus que dans ce pays, il y a plus d’entendants qui signent que de sourds !

    Du coup, la grammaire de la LSF est particulièrement riche. Les recherches en France sur la langue des signes se sont rapidement orientées vers l’étude de cette grammaire spatiale singulièrement développée en LSF. De ce fait, nos recherches sont naturellement pluridisciplinaires. De plus en plus de projets communs sont montés depuis trois ans, associant informaticiens et linguistes pour concevoir des modèles informatiques et des outils spécifiques adaptés à la grammaire de la LSF, en liaison avec des sociologues, à l’écoute des besoins réels des sourds et de leurs usages spécifiques.

    Nous sommes aujourd’hui une petite équipe d’une douzaine de chercheurs en France à collaborer régulièrement à des recherches pluridisciplinaires sur la LSF. Outre mon équipe au Limsi, sont particulièrement impliqués celle de Christian Cuxac à l’université de Paris VIII, de Patrice Dalle à l’IRIT (Institut de recherche en informatique de Toulouse) et des associations de sourds en particulier à Toulouse et Paris. Nous envisageons d’ailleurs de constituer un véritable groupe de recherche, formel, pour pérenniser ces collaborations.

    En France, Toulouse est une des villes pionnières en matière d’équipements adaptés aux sourds, en grande partie grâce à des associations de sourds comme l’IRIS (Institut de recherches sur les implications de la langue des signes). Depuis 2001, le rectorat a mis en place un parcours d’enseignement pour enfants sourds en langue des signes, en maternelle, primaire et collège et normalement à la rentrée prochaine au lycée. Les professeurs, mis à la disposition du rectorat par l’IRIS, doivent maîtriser la LSF et la langue française. En janvier 2003, les effectifs étaient de 7 élèves en maternelle et 14 élèves en élémentaire. Les objectifs pédagogiques, les compétences que les élèves doivent acquérir en fin de scolarité et les évaluations sont les mêmes que pour les enfants entendants.

    D’autre part, en janvier 2004, un système de visiotraduction par Internet (Websourd) a été mis en place à la mairie de Toulouse : destiné à faciliter les démarches administratives, il permet de mettre les sourds en relation avec un interprète par un système de webcam installé aux guichets.

    Quels sont les principaux projets auxquels vous participez actuellement ?

    Parmi les recherches qui nous tiennent le plus à cœur, plusieurs ont clairement pour objectif d’apporter des solutions adaptées à la problématique de l’enseignement bilingue (LSF/français) pour les sourds. Comment mettre à profit leur maîtrise de la langue des signes pour leur apprendre le français ? Il s’agit entre autres d’utiliser autant que possible les nouvelles technologies à notre disposition, les ordinateurs, les assistants personnels, la vidéo… pour développer de nouveaux outils d’apprentissage en LSF et permettre ensuite d’aborder l’apprentissage du français écrit avec moins de difficulté. Cette absence d’écriture en LSF reste, aujourd’hui encore, un des principaux arguments des opposants à l’enseignement en LSF.

    Exemple d’écriture avec SignWriting :
    correspondance entre l’anglais, l’ASL (langue des signes américaine) et la notation en SignWriting pour « lire » et « ouvrir un journal ».
    Voir le site web de SignWriting.

    Développer un système d’écriture suppose avant tout de proposer une représentation graphique de la langue des signes française. Nous réfléchissons donc à un système de notation, une écriture spécifique pour la LSF avec ses propres formes graphiques. Quelques systèmes de notations existent déjà et sont plus ou moins utilisés. Mais même les plus connus comme le système américain baptisé SignWriting, utilisé aux États-Unis dans l’enseignement, ne s’avèrent pas réellement satisfaisants. D’abord, ces systèmes nous paraissent inadaptés pour décrire la LSF. Ensuite, aucun n’a été conçu à partir des modèles linguistiques des langues de signes mais plutôt à partir de représentations des gestes des sourds. Ils sont constitués de petites icônes représentant les mains et le visage, agencées dans l’espace pour décrire les signes.

    Nous avons imaginé plusieurs applications éducatives à notre système graphique. L’une d’entre elles permettrait aux sourds d’échanger à l’écrit sachant que la plupart ne sont pas du tout à l’aise avec notre alphabet et le français écrit. Nous imaginons un appareil aussi simple et mobile qu’un assistant personnel, qui leur permettrait grâce à ce système de notation graphique de communiquer par écrit et dans leur langue. Ce projet baptisé LS-Script vient juste de démarrer, nous avons obtenu les premiers financements. Nous espérons que sa poursuite ne sera pas remise en cause par les choix budgétaires actuels… Pour l’instant, nous menons les premières études de terrain avec des sociologues pour préciser les besoins des sourds, voir dans quels cadres ils seraient intéressés par de telles applications et s’assurer de leur participation au projet.

    Dans un premier temps, nous imaginons un système graphique qui pourrait éventuellement être complété par de la vidéo. Avec un système de reconnaissance des formes, une phrase ainsi écrite en langue des signes pourrait être traduite par exemple en animant un « avatar », un personnage de synthèse en trois dimensions qui reproduise les gestes correspondants à l’énoncé entré. Pour évaluer ces propositions théoriques, nous proposons de réaliser une maquette informatique : les élèves sourds pourraient interroger un site avec ce système d’écriture spécifique pour connaître leur emploi du temps. La réponse leur serait fournie par l’intermédiaire de l’avatar animé.

    Dans un avenir plus lointain, on peut imaginer disposer de systèmes de reconnaissance automatique de gestes utilisant des caméras vidéo mais cela impliquera encore beaucoup de recherche fondamentale.

    La vidéo est un outil de choix, comment l’utilisez-vous ?

    Beaucoup de chercheurs dans le monde travaillant sur la langue des signes utilisent des techniques de traitement d’images : ils tentent de déterminer dans des vidéos mettant en scène des discours en langue des signes où sont positionnés les mains, le visage et essayent ensuite de traduire les énoncés filmés. Malheureusement, bon nombre d’entre eux ne connaissent pas la langue des signes. Ils cherchent simplement à appliquer des méthodologies testées sur des langues orales à des langues gestuelles. Or, le seul ordre des gestes ne suffit pas à comprendre un énoncé en LSF. Il faut tenir compte de l’espace.

    ARC-LSF : Prise de vue à trois caméras.
    Visionner la vidéo – Durée : 40 s.
    © LIMSI/CNRS 2004.

    Pour notre part, nous utilisons évidemment aussi beaucoup la vidéo, mais pour faire du traitement d’images spécifiquement destiné à l’étude de la LSF.

    Nous avons en particulier réalisé deux corpus vidéo. L’un permet de fournir des données pour les chercheurs en linguistique. Il a été réalisé avec trois caméras pour accéder à trois prises de vues simultanées : plan rapproché, plan américain et vue de dessus. L’autre, réalisé pour un projet de l’INRIA (Institut national de recherche en informatique et en automatique), est avant tout destiné à une évaluation des méthodes informatiques développées par les chercheurs en traitement d’image.

    Par ailleurs, nous utilisons aussi ces corpus vidéo pour développer des outils informatiques d’annotation d’informations spatiales, autrement dit pour préciser de façon automatique le contenu linguistique de chaque image. Pour l’instant, ce travail est fastidieusement réalisé à la main, image par image. Là encore, la représentation spatiale de la LSF est au cœur du sujet.

    Newsletter

    Le responsable de ce traitement est Inria. En saisissant votre adresse mail, vous consentez à recevoir chaque mois une sélection d'articles et à ce que vos données soient collectées et stockées comme décrit dans notre politique de confidentialité

    Niveau de lecture

    Aidez-nous à évaluer le niveau de lecture de ce document.

    Si vous souhaitez expliquer votre choix, vous pouvez ajouter un commentaire (Il ne sera pas publié).

    Votre choix a été pris en compte. Merci d'avoir estimé le niveau de ce document !

    Isabelle Bellin

    Journaliste scientifique.
    Voir le profil

    Annelies Braffort

    Chercheuse au Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Limsi), Orsay.
    Voir le profil