Mon Cartable Connecté, du son 3D pour l’enfant hospitalisé

Pour tout enfant, l’éducation est un droit qui répond à son besoin d’être instruit, de se former, d’acquérir des compétences tout en grandissant avec des jeunes de son âge. Mais lorsqu’une longue maladie impose au jeune élève une rupture violente avec son école, sa classe et ses amis, il a le sentiment d’avoir perdu sa place. À sa souffrance s’ajoutent l’exclusion et la solitude.

Le Collectif contre les discriminations a conçu Mon Cartable Connecté, afin de veiller à ce que le jeune malade hospitalisé garde au sein de sa classe sa place, sa vie sociale, scolaire et affective et prépare son retour. Bien plus qu’une « téléprésence », Mon Cartable Connecté veille à ce que la « présence » de l’élève soit au plus près de ce qui se passe au quotidien dans la classe tant pour apprendre, que pour être avec ses camarades. Voir, observer, écouter, s’exprimer, échanger, réfléchir, interagir, mais aussi rire et bavarder, sont ce qui permet aux enfants d’apprendre avec les autres, ce dont l’élève absent est malheureusement privé.

Compte tenu de notre expérience et de notre attention aux besoins particuliers de ces jeunes malades que nous équipons, et dans le souci d’être au plus près d’une immersion dans leur classe, nous sommes soucieux que la technologie compense les déficits ou les difficultés liées à leurs pathologies. Cela afin de leur offrir les meilleures conditions d’acquisition des compétences du socle commun que l’école se doit de leur garantir.

Aspects pédagogiques et acquisition de compétences

S’il est aisé de souligner les effets positifs du Cartable sur la dimension affective et le lien social entretenu pour le jeune malade avec ses camarades, il est primordial d’en souligner les effets sur les apprentissages et sur ses résultats scolaires. Il s’agit d’offrir à l’élève des perspectives de réussite et de poursuite d’études, par delà la maladie. L’objectif est de permettre à l’élève de renforcer et d’acquérir les compétences du socle commun, de poursuivre sa scolarité, tout en lui offrant l’occasion de se sentir à sa place parmi les jeunes de son âge. « Présent connecté » avec sa classe, l’élève va pouvoir suivre depuis l’hôpital ou son domicile tout ou partie des cours, en bénéficiant comme ses camarades des multiples situations d’apprentissages mises en œuvre par l’enseignant. Les dispositifs d’enseignement observés varient selon les niveaux de classe, les champs disciplinaires étudiés et les objectifs visés. Leçons au tableau, exercices, recherches et expérimentations en groupes ou individuels, exposés, débats, projets, évaluations… offrent à l’élève connecté autant d’occasions de se sentir impliqué, de ne pas perdre ses acquis et de préparer son retour.

Dispositif « Mon Cartable Connecté », côté classe. Image © Association « Le Collectif/Mon cartable connecté »

Les situations observées sur l’ensemble des niveaux du premier et du second degré permettent de faire le constat que le Cartable connecté associe présence, expérience et apprentissages multiples :

• Suivre et interagir en classe

Sur sa tablette, connectée au Cartable installé dans la classe, l’élève malade peut suivre la séance et interagir en direct. Cette présence virtuelle en classe lui permet d’entendre et de voir tout ce qui s’y déroule. Il peut, comme tout élève, être interrogé, poser des questions, s’exprimer en direct mais aussi observer, écouter et participer aux échanges.

• Voir, observer, mémoriser, imaginer et comprendre…

Il peut, grâce à la caméra fixe, observer le tableau, son professeur, les documents, les démonstrations et les notes présentées. Il peut également, avec la caméra 360° qu’il pilote depuis sa tablette, explorer du regard sa classe, suivre les interventions de ses camarades, les travaux en groupe et enregistrer de nombreuses informations moins « formelles » mais tout aussi importantes pour le jeune élève qu’il est ! Les observations plus précises, les présentations au tableau utiles à la compréhension et à la mémorisation sont de plus en plus soutenues, assistées par des dispositifs interactifs. 

Dispositif  « Mon Cartable Connecté », côté élève. Image © Association « Le Collectif/Mon cartable connecté »

• Entendre, écouter, s’interroger, comprendre, mémoriser…

L’élève connecté peut entendre et écouter, les enseignants étant attentifs à créer des conditions matérielles favorables à une bonne compréhension, conscients que cela exige une attention soutenue de l’élève. Les précisions apportées à l’oral, l’importance de l’attention, l’impact de ce qui est entendu distinctement pour bien comprendre, réfléchir, mémoriser et répondre sont en effet essentiels aux apprentissages.

Des enjeux à défendre, des solutions à trouver

Recréer au maximum pour le jeune élève équipé la réalité de sa classe, vivante, parfois très participative, est un enjeu majeur dans ce projet. Il s’agit d’entendre, mais aussi d’exercer une écoute attentive, nécessaire pour comprendre, se questionner, mettre en relation des savoirs, s’exprimer à l’oral et à l’écrit… L’élève connecté doit pouvoir suivre les échanges, les mots du professeur comme ceux des élèves, et participer en prenant la parole en direct. Chacun d’entre nous a pu expérimenter ces derniers temps le travail à distance, avec des outils de visioconférence multimédia, son et image. Dans ces nouveaux moyens de communication, l’audio reste en réalité le canal par lequel passe l’essentiel de l’information et des émotions. Ce n’est donc pas un hasard si le téléphone a traversé les siècles et a encore un bel avenir devant lui ! Reste que dans le cas du Cartable Connecté, il était nécessaire d’imaginer un son d’une plus grande richesse, avec tous les détails qui permettent de transporter l’école, ou du moins la classe, à la maison. Mais comment recréer cet environnement sonore si particulier, avec ses chaises qui grincent, ses stylos qui tombent, un cours légèrement voilé par les murmures des camarades ? En deux mots, la « présence connectée » ?

Une réponse à cette problématique se trouve à la frontière entre mathématiques appliquées et traitement du signal audio, dont voici quelques éléments introductifs.

De la stéréophonie à l’audio 3D

Captation par couple MS et matriçage en console de mixage pour une diffusion stéréo des canaux L et R, au casque ou sur enceintes. C’est un système multicanal à deux canaux en entrée et sortie. Les cercles représentent la directivité des capsules et les signes donnent la phase : Bleu : Omnidirectionnel (M), Rouge : Bidirectionnel (S).
Illustration réalisée d’après l’image Captation stéréophonique, CC BY-SA 3.0, via Wikimedia Commons.

L’objectif à atteindre consiste à capter, transmettre et restituer un environnement sonore tridimensionnel, caractérisé par la propagation d’ondes acoustiques émises par différentes sources réparties dans l’espace. Aussi, un simple microphone transmettant un signal monophonique diffusé sur un haut-parleur est insuffisant. Il faut passer par des systèmes plus complexes, dits multicanaux, capables de discerner les directions des sons dès leur captation, puis de les transmettre par plusieurs flux audio indépendants, avant de les restituer sur des ensembles de haut-parleurs précisément agencés.

En cela, les systèmes stéréophoniques sont les plus anciens dispositifs multicanaux, avec par exemple la captation par couple MS (Middle-Side), née au milieu du XX^e siècle (voir la figure 1 à droite). Une capsule omnidirectionnelle (capteur de pression) est disposée au centre d’une scène sonore et capte un signal M(t) au cours du temps. Une seconde capsule bidirectionnelle (capteur de gradient de pression) est placée aussi près que possible de la première pour mesurer le « même » champ acoustique. Elle capte un signal S(t) au cours du temps. Ces deux canaux M(t) et S(t) sont alors matricés pour construire des canaux L(t) et R(t), respectivement gauche et droit :

Une fois diffusés sur une paire d’enceintes ou sur un casque audio, le flux stéréo {L(t), R(t)} permet de reconstruire un espace perceptible par un auditeur. En effet, de par la directivité des capsules, le matriçage crée des interférences destructives d’un coté et constructives de l’autre, ce qui conduit à une discrimination latérale de la scène sonore. Ce système stéréophonique, à la fois simple à mettre en œuvre et relativement robuste, est encore très largement utilisé de nos jours dans de nombreux médias.

D’un point de vue mathématiques, en définissant à chaque instant t le vecteur des signaux d’entrée I = (M, S)^t, l’étape de matriçage n’est rien d’autre qu’un produit matriciel, conduisant à un vecteur de signaux de sortie O = (L, R)^t :

\(\begin{pmatrix} L \\ R \end{pmatrix} = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} M \\ S \end{pmatrix}\)

Suivant le même principe, les ingénieurs du son ont progressivement ajouté de la profondeur aux prises de son, en disposant une seconde capsule bidirectionnelle, orthogonale à la première (voir figure 2 ci-dessous).

Fig. 2 Captation par couple double MS et restitution quadriphonique. Vue de dessus, avec les directivités des trois capsules sur les deux axes du plan d’écoute. Dénomination usuelle des canaux : L : Left, R : Right, f : front, b : Back.

Les trois canaux M(t), S_x(t) et S_y(t) issus de cette captation dite « double MS » viennent alimenter un ensemble de quatre haut-parleurs disposés dans un plan d’écoute. Ce système induit une discrimination latérale (axe gauche-droite), mais aussi frontale et arrière (axe avant-arrière). La quadriphonie n’est donc rien d’autre qu’une extension de la stéréo en deux dimensions, et le flux quadriphonique associé {L_f(t), R_f(t), R_b(t), L_b(t)} est donné par le matriçage suivant :

\(\begin{pmatrix} L_f \\ R_f \\ R_b \\ L_b \end{pmatrix} = \begin{pmatrix} 1 & 1 & 1 \\ 1 & -1 & 1 \\ 1 & -1 & -1 \\ 1 & 1 & -1 \end{pmatrix} \begin{pmatrix} M \\ S_x \\ S_y \end{pmatrix}\)

Fig. 3 Restitution multicanale sur un cube de haut-parleurs.
Source Illustration : L’octophonie par Daniel Laberge.

En pratique, la quadriphonie s’est assez peu développée car elle manque de définition dans la zone frontale, ce qui limite son usage en couplage vidéo. Pour pallier cet inconvénient, la norme 5.1 a été définie en partant d’une paire stéréo, sur laquelle a été ajouté un haut-parleur central, deux haut-parleurs latéraux arrière et un caisson de basse. Le format 5.1 est aujourd’hui mondialement répandu, dans les salles de cinéma comme dans les foyers.

Il est théoriquement possible d’ajouter une troisième capsule bidirectionelle, orientée perpendiculairement aux deux autres selon l’axe haut-bas, afin de former une base tridimensionnelle (captation 3D). Matricé pour un système de haut-parleurs disposés sur les sommets d’un cube (figure 3 ci-contre), ce flux octophonique devrait donner à entendre de réelles sensations dans toutes les directions de l’espace. Mais l’empilement de plusieurs capsules au même point de prise de son nuit à la qualité de la captation, en perturbant par diffraction acoustique la propagation des ondes venant des sources sonores. Vers la fin des années soixante-dix, un nouveau type de microphone a été conçu pour corriger cet effet : le microphone Soundfield (figure 4 ci-dessous).

Fig. 4 Microphone Soundfield inventé par Michael Gerzon et Peter Craven, commercialisé dès 1978.
Source Illustration : Ambisonics.

Il est composé de quatre capsules à directivité cardoïde, disposées suivant les faces d’un tétraèdre. Un matriçage et un filtrage audio spécifiques sont appliqués aux signaux bruts, pour corriger les artefacts de diffraction liés à sa géométrie particulière. En sortie, un Soundfield génère quatre canaux dit « ambisoniques », qui peuvent être à leur tour matricés sur un dispositif de rendu (stéréo, quadriphonie, 5.1, octophonie, etc.), mais aussi transformés pour effectuer des rotations de la scène sonore, focaliser certaines régions de l’espace, etc. Ce n’est qu’après plus de 40 ans d’existence que les technologies ambisoniques sont arrivées à maturité et commencent à être exploitées par différents médias (réalité virtuelle, jeux vidéos, vidéos 360°, sans oublier musique et cinéma). Et demain, mon Cartable Connecté ?

Pour cela, il reste encore un problème à résoudre. En effet, maintenant que les techniques d’enregistrement ont été détaillées (captation), il faut désormais se concentrer sur l’autre bout de la chaîne, à savoir la personne qui écoute (restitution).

Pas de haut-parleurs, mais un casque

En l’état, les enfants connectés à distance pourraient bénéficier d’un rendu sonore en 3 dimensions, mais encore faudrait-il qu’ils s’équipent d’un minimum de huit haut-parleurs, disposés en cube… Ce qui n’est évidemment pas envisageable ! Pour pallier cette difficulté, une autre technologie d’audio 3D a été utilisée : la synthèse binaurale.

Fig. 5 Simulation de la pression acoustique sur une tête humaine « éclairée » par une onde plane harmonique de fréquence 8kHz. Mise en évidence d’une résonance du pavillon auditif (surpression en rouge au niveau du tympan).
Crédit image : Matthieu Aussal.

Comme nos deux yeux nous permettent de voir en relief, nos deux oreilles suffisent pour entendre dans l’espace. En effet, les ondes acoustiques se propageant à vitesse finie, nos oreilles captent deux signaux un peu décalés dans le temps. Ce délai, appelé « retard interaural », est utilisé par notre cerveau comme indice de localisation, principalement latéral (gauche/droite). Pour discriminer l’avant de l’arrière et le dessus du dessous, le cerveau exploite des modifications du timbre (grave, médium, aigu), inhérentes au parcours que suivent les ondes acoustiques avant d’atteindre le tympan. Par exemple, une source sonore qui émet à l’arrière de notre tête sera perçue comme plus grave, car les hautes fréquences sont essentiellement arrêtées par le pavillon auditif. Mais plus subtil encore, selon la direction d’incidence et la géométrie du pavillon auditif, certaines fréquences peuvent entrer en résonance et se trouver amplifiées (figure 5 ci-contre) ou atténuées. Forts de ces informations temps/fréquences directionnelles, nous construisons inconsciemment, et en permanence, une image mentale de notre environnement sonore.

En pratique, une captation dite binaurale peut être réalisée en plaçant simplement un (petit) microphone dans chaque oreille d’un individu et en enregistrant ces deux canaux. Cette méthode de prise de son permet d’obtenir un signal stéréo qui contient naturellement tous les indices liés à la position des sources sonores (retard interaural et modification des timbres). Ce signal, écouté sur un casque audio, diffusera à chaque oreille ce qu’elle doit entendre pour que le cerveau réinterprète la scène sonore d’origine. Cette méthode reste une référence pour capter et restituer des environnements spatiaux complexes lors d’une écoute au casque. Cependant, un enregistrement de ce type ne peut pas être modifié en post-production (égalisation, compression, etc.), puisque tout changement même mineur altère ses propriétés. De plus, il n’est pas adapté à la diffusion sur enceinte, puisque les trajets croisés (l’enceinte gauche sur l’oreille droite et symétriquement) viendraient là encore nuire à la perception d’espace. 

Fig. 6 Schéma de principe de la synthèse binaurale par un filtrage par HRTF.
Illustration réalisée d’après la source Projections simulées, le « Son 3D », HRTF.

Pour pallier ces inconvénients, on utilise une technique plus complexe de synthèse binaurale (figure 6 ci-contre). Pour cela, il faut commencer par identifier les déformations temps/fréquences que subissent les ondes sonores, en fonction de leurs trajets vers chaque oreille. D’un point de vue mathématiques, ces déformations sont pleinement contenues dans des fonctions de transfert, qui dépendent de la position d’une source sonore à son auditeur. Ces fonctions sont appelées HRTF (Head-Related Transfer Functions). Elles peuvent être mesurées en laboratoire, ou simulées numériquement en résolvant les équations de l’acoustique sur des maillages de têtes humaines. Une fois connues, elles permettent de modifier le timbre d’un signal audio quelconque par filtrage, pour donner une impression d’espace lors d’une écoute au casque. En effet, les modifications subies par le signal d’origine seront interprétées par le cerveau comme des indices de positionnement. Si la magie opère, un auditeur aura alors un sentiment d’immersion dans une scène sonore tridimensionnelle.

En revenant à la problématique posée pour le Cartable Connecté, ce principe est directement appliqué aux signaux qu’auraient diffusés les haut-parleurs, après la captation ambisonique. Par exemple, en octophonie, il suffit de filtrer les huit signaux par des HRTF correspondant aux positions des sommets d’un cube. En sommant chaque contribution séparément pour les oreilles gauche et droite, il en ressort un signal stéréo binaural. Ce dernier peut alors être écouté sur un casque audio pour recréer un espace sonore virtuel, immersif. In fine, avec un microphone tétraédrique dans la classe et du traitement du signal audio, un enfant peut retrouver son environnement scolaire à distance, via un simple casque audio.

Aujourd’hui

Depuis cinq ans, nous avons pu équiper d’un Cartable connecté plus de 500 jeunes élèves privés de leur école et constater leur plaisir de retrouver leur classe, son ambiance, leurs amis, malgré la maladie. Mais il nous fallait offrir aux élèves dont l’audition a été abimée une qualité d’écoute fine et ciblée, centrée sur l’oral en classe, essentielle pour apprendre en interagissant. Aujourd’hui, ce système est en expérimentation dans quelques établissements et les premiers retours sont très encourageants. Les élèves connectés se sentent au cœur de la classe, libres de choisir où porter leur attention, de suivre attentivement le professeur mais aussi, comme tout élève, d’écouter les échanges plus libres, voire les menus bavardages. Il s’agit bien là pour ces jeunes confinés, voire isolés, d’accéder à une normalité.