Je peux voir les mots que tu dis !

Moins bien entendre les sons entraîne une moins bonne expression et compréhension du langage. Cela implique également des difficultés au niveau de la communication, chez l’enfant sourd comme chez son interlocuteur. Ainsi, des efforts d’attention, des répétitions, sont nécessaires chez les deux partenaires de la situation de communication. Pour l’enfant sourd, une connaissance de la lecture labiale et du langage parlé complété (LPC) aide à lever certaines ambiguïtés, comme celles des sosies labiaux (des sons ou des mots qui n’ont pas le même sens mais qui ont la même image sur les lèvres, comme par exemple les mots bain/main/pain). Le contexte ne permet pas toujours d’accéder à la signification de ces mots. Dans ce cas, le LPC peut constituer une aide. En effet, à chaque fois qu’un son ou qu’un mot est identique sur les lèvres, le geste de la main qui l’accompagne est différent. Ainsi, le son [m] est codé par une main plate dont tous les doigts sont joints sauf le pouce, perpendiculaire, la configuration de la main pour le son [b] est légèrement différente : le pouce est replié à l’intérieur de la paume de la main, et le son [p] est codé par une main fermée dont seul l’index pointe vers le haut.

À gauche, le codage du mot « main ». À droite, la configuration des doigts pour les phonèmes [m], [b] et [p].
© Inria 2011

Pour les parents ou les professionnels qui accompagnent l’enfant sourd dans son parcours vers les apprentissages, les défis sont nombreux. Une situation apparemment simple comme la lecture d’une histoire entraîne beaucoup de questions. Si une pratique rudimentaire du LPC est possible après une vingtaine d’heures d’initiation, suffisantes pour coder des mots isolés, cela ne convient pas pour coder des phrases ou des petits textes. En effet, dans ces derniers cas, le rythme de parole et la prosodie jouent un rôle important pour accéder à la signification. L’adulte doit non seulement garder une articulation claire mais savoir coder les mots en LPC, rester expressif, garder un rythme de parole ni trop lent, ni trop rapide. Comment raconter une histoire à un enfant sourd ? Sur quels critères choisir un album de littérature de jeunesse ? Comment s’appuyer sur des adaptations linguistiques et visuelles pertinentes ? Comment se positionner pour bénéficier d’une situation affective motivante ? Des réponses ont été proposées dans le cadre de l’Action de Développement Technologique Handicom, utilisant les recherches issues du projet RIAM LABIAO (mise au point d’un avatar parlant et codant en LPC) pour les mettre au service de l’acquisition du langage oral et écrit.

L’apport de la recherche en linguistique et psycholinguistique

Prototype 1 (pour des enfants de 2 à 6 ans) : Nina fête son anniversaire ! Chapitre 2, page 6, N1 : niveau de langue le plus simple. © Inria 2011

L’écriture des textes des albums numériques s’est appuyée à la fois sur la connaissance des modèles du développement du langage de l’enfant sourd et sur celle de l’enfant indemne de ces difficultés afin de s’adapter le mieux possible aux besoins spécifiques des enfants sourds. Une collection de trois livres numériques au langage adapté a été conçue : Raconte moi un livre. Ces prototypes, destinés à des enfants âgés de 3 à 12 ans, correspondent à trois niveaux distincts : les cycles scolaires 1, 2 et 3 de l’école primaire, de la petite section de l’école maternelle au CM2. Une structure a été élaborée, commune à ces trois prototypes, dont voici les éléments principaux :

• Privilégier des éléments morpho-syntaxiques plutôt que lexicaux : le lexique (ou vocabulaire) ne constitue pas l’objectif central d’apprentissage. Pour apprendre à parler et à lire, l’enfant a besoin de construire, de s’approprier un stock de mots connus et de pouvoir y accéder. Les livres n’ont cependant été conçus, ni comme des imagiers ou dictionnaires, ni comme des encyclopédies. La référence à une base de données lexicales a permis de choisir des mots relativement fréquents pour chacun des cycles scolaires dans le but de ne pas alourdir la mémoire avec des mots peu familiers, difficiles à comprendre et à retenir. L’objectif central était de proposer, pour chaque histoire, des modèles de phrases qui permettraient à l’enfant de comprendre et de combiner des mots pour former des phrases dans des contextes clairs. Plusieurs niveaux de difficultés sont proposés. Ainsi, chaque prototype comprend des progressions de phrases sur le plan morphologique (genre, nombre, temps verbaux) et syntaxique (longueur et complexité).
• Inclure des principes de l’éducation visuelle pour faire voir la parole : les illustrations des livres numériques complètent aussi fidèlement que possible les textes. Les énoncés de chaque page sont assez courts, permettant des actions de mise en relation entre l’image et le texte. Ainsi, les inférences, opérations logiques permettant de vérifier des hypothèses, de déduire, de comparer, sont facilitées.
• Comprendre et visualiser le schéma narratif grâce aux chapitres : les contes sont classiquement basés sur une structure de type schéma quinaire qui comprend cinq séquences (situation initiale, complication, action, résolution, situation finale). Cette structure, complexe pour des enfants présentant des difficultés de langage, a été simplifiée. Les histoires de chaque prototype comprennent trois chapitres qui permettent de mieux comprendre le déroulement des actions. Un résumé est disponible à la fin de l’album, présentant toutes les images de l’histoire (dans son niveau de langue le plus simple) associées à un court énoncé.

L’utilisation de recherches issues des sciences du numérique

Ce travail de recherche pluridisciplinaire a été rendu possible grâce à l’utilisation de données issues de la recherche en informatique : la tête codeuse développée dans le cadre d’un précédent projet impliquant l’équipe de recherche PAROLE (le projet RIAM LABIAO). Cet avatar 3D est composé d’une tête parlante, prononçant les mots de la langue française, ainsi que d’un bras codant les phonèmes en LPC. Dans le cadre des albums numériques, la tête fonctionne avec de la parole naturelle enregistrée. L’animation de cette tête en 3D s’effectue à travers une série de traitements : alignement de la parole et du texte, transformation en codes phonétiques, puis en code LPC, création de la tête codeuse à partir des codes LPC et des balises temporelles de prononciation. Pour l’alignement automatique de la parole, ce sont les développements réalisés par l’équipe PAROLE par le biais du moteur de reconnaissance ESPERE, qui ont été utilisés. Cela permet de récupérer la durée et le positionnement de chaque phonème et de chaque mot dans le signal de parole, à partir d’un signal acoustique et d’une transcription textuelle. Cette technologie permet de synchroniser l’articulation de la tête parlante avec le signal acoustique et l’affichage du texte.

L’utilisation de cette technologie comporte un double intérêt pédagogique :

• Les sons sont colorisés au fur et à mesure de leur prononciation. L’enfant sourd peut donc voir la parole qu’il n’entend pas ou qu’il n’entend que partiellement. Plusieurs options de découpage des unités écrites sont possibles. Pour ces albums numériques, le choix a été fait de coloriser des groupes de mots, au fur et à mesure de leur prononciation, à la façon d’un karaoké. La visualisation d’éléments grammaticaux (par exemple sujet/verbe/complément) représentant des unités sémantiques, en relation avec les images de chaque page donne à l’enfant des repères visuels et linguistiques. Cela lui permet de mieux de comprendre la structure des phrases et des énoncés et d’accéder à la signification de chaque séquence de l’histoire.
• L’enfant peut réécouter les pages de l’album à volonté. Plusieurs modes de lecture sont possibles : page par page, lecture en continu ou par chapitre. Le rythme de parole, assez lent, est toujours le même. Ces réécoutes, éventuellement associées à la prononciation des phrases écrites, permettent d’améliorer le feed-back audiophonatoire de l’enfant, c’est-à-dire la boucle impliquant la perception des sons et des mots prononcés par l’avatar, leur transmission au cerveau et les représentations qui en découlent, en lien avec le fonctionnement des organes de la phonation.

Vers l’élaboration d’un site web de création de livres

Synopsis de création de livres. Piquard-Kipffer et al. (2010)

Un site web de création de livres a été mis au point. À ce jour, une étude de faisabilité va être entreprise pour le tester à plus grande échelle auprès de différents professionnels : enseignants, orthophonistes, éducateurs. Plusieurs mois de tests seront nécessaires avant d’ouvrir le site www.racontemoiunlivre.fr à un public encore plus large. Ce site permet la création de livres numériques, réalisés dans un fichier XML. Comme les prototypes décrits précédemment, chaque livre est une combinaison de pages organisée en chapitres. Les étapes de création d’un livre, décrites dans le schéma ci-dessous impliquent l’existence d’un texte court, de parole naturelle (enregistrée), d’une illustration qui peut être une photo ou un dessin. Chaque unité lexicale est mise en correspondance avec une durée de prononciation des phonèmes recomposés par la suite en mots (format SMIL), ces unités sont alors associées à des vidéos de la tête codeuse. Chaque page contient une illustration, un texte allant d’une à quatre lignes divisé en unités lexicales ainsi qu’une vidéo représentant la tête codeuse (piste son). Un logiciel de lecture est nécessaire pour visualiser le livre sur un écran d’ordinateur. Actuellement, ce logiciel est écrit en Flash. Les livres peuvent être créés manuellement avec un éditeur de texte, si possible disposant d’un mode XML, ou automatiquement à partir d’un logiciel assistant l’utilisateur afin de fournir les éléments multimédias du livre.

Exemple de livre numérique codé composé grâce au site web.

D’autres recherches prolongent aujourd’hui ce travail, comme l’utilisation des prototypes auprès d’enfants qui ne sont pas sourds, mais qui présentent des difficultés de langage graves et pérennes, comme les enfants dysphasiques. La même méthodologie de travail que celle de l’Action de Développement Technologique Handicom a été menée. La liste de dix critères pertinents et spécifiques par rapport à l’utilisation de ces livres numériques est en cours de validation. Nous espérons ainsi avoir construit une collection d’outils qui contribuera à rendre effective la loi relative à l’égalité des droits et des chances, la participation et la citoyenneté des personnes handicapées.

Nous tenons vivement à remercier Hélène Adam-Piquard, Emmanuelle Ancé, Sophie Bardin, Amélie Dumont, Nathalie Glad, Yilmaz Ilhan, Floriane Jacques, Sylvie Nussbaum, Élodie Racine et Denis Lelarge pour leur collaboration à ce projet.