Comment notre cerveau différencie-t-il les phonèmes de la langue ?

Les Images de Classification Auditive : une nouvelle méthode pour visualiser nos représentations mentales des phonèmes

Comment notre cerveau fait-il pour différencier les phonèmes, les plus petites unités distinctives de la chaine parlée, de la langue ? Ou, dit autrement : qu’est-ce qui nous permet de décoder le son de parole que nous écoutons en une série de phonèmes ? Une problématique que Léo Varnet, aujourd’hui chargé de recherche CNRS au département d’études cognitives de l’ENS, explore avec enthousiasme depuis le début de sa thèse.
« C’est une question de longue date en psycholinguistique. Elle peut sembler absurde au premier abord car la reconnaissance d’un phonème, ou même d’un mot, est réalisée extrêmement rapidement par le cerveau et la plupart du temps sans même que nous en ayons conscience. Pourtant les mécanismes cognitifs sous-jacents sont complexes et pour partie encore non élucidés. » explique le chercheur.

Pour aborder cette problématique, Léo Varnet a développé durant sa thèse une méthodologie de psychologie expérimentale : les Images de Classifications Auditives (ACI). L’obtention d’une bourse de recherche ANR cet automne lui permettra d’améliorer cette méthode, afin de mieux comprendre les mécanismes de reconnaissance des phonèmes et l’impact des pertes auditives sur la compréhension de la parole.

Léo Varnet et son équipe ont commencé par étudier la compréhension des phonèmes dans un bruit de fond, partant du principe que les erreurs commises par le cerveau dans des situations d’écoute difficiles peuvent nous informer sur les mécanismes qu’il utilise pour décoder les sons. C’est le principe même de l’Image de Classification Auditive.

Plus précisément, les chercheurs ont recruté des volontaires à qui ils ont fait écouter une série de sons proches, des « aba » ou des « ada », dans un bruit de fond. Après chaque son, ils leur ont demandé d’indiquer s’il s’agissait d’un « aba » ou d’un « ada ». Puis avec un modèle statistique, Léo Varnet a analysé quelles étaient les particularités des bruits qui induisaient le plus en erreur les participants et participantes.

Représentation schématique d’une courte portion de l’expérience. Le participant ou la participante écoute une série de « aba » et de « ada » couverts par un fort bruit de fond et indique, après chaque présentation, ce qu’il pense avoir entendu.
Source image et légende : L’Image de Classification Auditive, partie 2 : À la recherche des indices acoustiques de la parole, article issu de De Bouche à Oreille, site web de vulgarisation scientifique de Léo Varnet.

Les résultats apparaissent sous la forme d’une carte perceptuelle (d’où le nom d’ « image » de classification) qui représente les éléments du son sur lesquels nous portons notre attention, ici pour décider s’il s’agit d’un « aba » ou d’un « ada ».

« Cette méthode nous permet d’observer les mécanismes très rapides qui se déroulent lors de la compréhension des phonèmes et, ce, sans utiliser d’électroencéphalogramme ou d’imagerie par résonance magnétique fonctionnelle qui sont plus contraignants, simplement en reliant les réponses « aba » / « ada » du participant ou de la participante aux bruits qui lui ont été présentés. » résume le scientifique.

Image de Classification Auditive obtenue à l’issue de l’expérience décrite ci-dessus. Les zones en rouge et en bleu correspondent aux régions temps-fréquence des stimuli où le bruit a une influence systématique sur la perception du son par le participant ou la participante. Les autres régions (en vert) sont celles où la présence de bruit n’affecte pas la décision phonétique.
Source image et légende : L’Image de Classification Auditive, partie 2 : À la recherche des indices acoustiques de la parole, article issu de De Bouche à Oreille, site web de vulgarisation scientifique de Léo Varnet.

« Naturellement, cette méthode n’est pas tombée du ciel, tient à préciser Léo Varnet. Elle s’inscrivait d’abord dans la ligne de recherche d’un projet ERC conduit par la psycholinguiste Fanny Meunier, et qui portait sur l’intelligibilité de la parole dans le bruit. Mais je me suis également largement inspiré de travaux dans le domaine de la perception visuelle, où des scientifiques avaient développé une approche très similaire. »

Après un important travail de développement, les chercheurs sont parvenus à transférer cette approche au domaine de l’audition et à l’appliquer à leur question, la perception des phonèmes.

Puis, Léo Varnet a continué à développer plusieurs aspects de la méthodologie des images de classifications auditives, et l’a employée sur d’autres phonèmes (notamment le contraste /d/-/g/) et sur d’autres groupes d’auditeurs, en particuliers des musiciens.

Cette méthode offre un nouvel outil d’observation précieux pour l’exploration scientifique de la perception des phonèmes : « on peut comparer ça à l’invention d’un nouveau microscope : l’ACI nous permet de rendre visible certaines entités, ici des mécanismes perceptifs, dont on se doutait qu’elles étaient là mais sans pouvoir les examiner, et elle devrait donc grandement faciliter l’étude de ces mécanismes dans le futur. »

Cartographier la perception des phonèmes à l’aide d’algorithmes de machine learning

Mais ce nouveau mode d’exploration a un prix, la durée considérable de l’expérience. À l’heure actuelle, le calcul d’une ACI nécessite que le ou la participante passe un total de 5 heures environ dans la cabine expérimentale pour écouter des sons de parole bruités. Pour Léo Varnet, c’est évidemment un obstacle majeur à la généralisation de l’usage de cette technique. C’est pourquoi le premier enjeu de l’ANR fast-ACI consistera à accélérer le processus, en renforçant la méthode par des algorithmes de machine learning.

Une fois réalisés les développements méthodologiques évoqués ci-dessus, l’autre principal objectif de cette ANR sera de mettre en œuvre la méthode des ACI sur un maximum de phonèmes. Après le contraste /aba/-/ada/ précédemment étudié, il s’agira d’explorer /apa/-/ata/, /asa/-/aza/, /ubu/-/udu/…, de façon à couvrir la plus grande part de l’inventaire phonologique du français. Cette investigation systématique permettra aux chercheurs d’obtenir une cartographie de la perception des phonèmes par les personnes sans problème d’audition.

Sur la base de ces résultats, l’équipe de Léo Varnet explorera ensuite l’impact des pertes auditives sur les mécanismes de reconnaissance des phonèmes puis les capacités d’ajustement de ces processus en présence de différents bruits de fond.

Ces améliorations de la méthodologie d’Image de Classification Auditive seront primordiales pour la caractérisation et la remédiation des pertes auditives. « Cette technique permettant d’obtenir des résultats individuels très détaillés, il devrait donc être possible de l’utiliser à terme comme système diagnostic pour caractériser finement l’effet des pertes auditives sur la compréhension de la parole » détaille Léo Varnet. « De plus, une mesure objective de la stratégie d’écoute des personnes malentendantes, comme celle fournie par l’ACI, pourrait permettre d’obtenir un paramétrage véritablement individualisé des audioprothèses qui leur sont proposées. »

Etudier l’apprentissage des phonèmes chez les enfants

Et quid de la langue étudiée ? Les recherches se concentrent uniquement sur le français, car comme l’explique Léo Varnet le nombre de phonème varie d’une langue à l’autre (par exemple 37 pour le français, 44 pour l’anglais, 22 pour le japonais). Les contrastes phonétiques peuvent également différer entre les langues, par exemple les phonèmes [θ]-[ð] de l’anglais (respectivement dans « thing » et « there ») sont difficiles à différencier pour les francophones car ils ne font pas partie de l’inventaire du français. « On s’attendrait donc naturellement, pour un contraste phonétique prédéfini, à observer des ACI différentes selon que les phonèmes appartiennent ou non à la langue des individus testés. Dans le cadre de cette ANR, nous nous restreindrons à l’étude des phonèmes du français, l’idée étant plutôt d’explorer la cohérence interne d’un système phonologique donné… Et même dans ce cas, il nous sera impossible d’être exhaustif, nous devrons faire des choix quant aux contrastes phonétiques que nous testerons. »

Une autre question que le scientifique souligne est celle de l’acquisition des phonèmes : comment le nourrisson apprend-il les catégories phonétiques de sa langue maternelle ? Comme dans le cas précédent des individus parlant des langues distinctes, les nouveaux-nés et les adultes perçoivent les mêmes phonèmes de façon différente. « C’est un phénomène qu’il devrait être possible de mettre en évidence au moyen de l’ACI. Il s’agit en fait d’un projet que je souhaite mettre en place à plus longue échéance : utiliser l’ACI pour étudier l’apprentissage des phonèmes chez les enfants durant la première année de leur vie. »

Des neurosciences à la psychophysique : observer l’esprit humain sans neuro-imagerie

L’obtention de cette ANR est une belle réussite pour Léo Varnet, passionné depuis toujours par la relation complexe entre le langage et le monde extérieur : « c’est très naturellement que je me suis dirigé vers la psycholinguistique, domaine à la frontière entre les sciences cognitives et la linguistique. Au tout début de ma thèse, j’avais en tête une approche très orientée neurosciences, c’est-à-dire schématiquement : utiliser des outils de neuro-imagerie comme l'EGG pour essayer de visualiser ce qui se passe dans le cerveau lorsque celui-ci écoute des sons de parole. Puis, au fur et à mesure de mes recherches, mes problématiques se sont précisées et je me suis intéressé de plus en plus à la psychophysique. »

Cette seconde approche consiste plutôt à s’intéresser au comportement d’individus engagés dans des tâches très simples, ici de compréhension de parole, comme révélateur des opérations qui se déroulent dans leur esprit… « J’ai été séduit par l’élégance de la démarche psychophysique à tel point que durant ma thèse, pourtant à l’origine une thèse en neurosciences, je n’ai finalement jamais employé de neuro-imagerie, et je me suis au contraire attelé à explorer le potentiel d’une technique purement comportementale. »

La rencontre avec le chercheur Christian Lorenzi a été également déterminante dans le développement dans les recherches de Léo Varnet, comme il l’explique : « son expertise en psychophysique, m’a incité à creuser encore davantage dans cette direction. Mais également, son approche de la psycholinguistique en lien étroit avec la perception. Comment nos capacités auditives contraignent notre compréhension du langage parlé ? Ceci m’a amené à considérer plus avant l’aspect « auditif » de mes recherches, notamment l’impact de la surdité sur la compréhension. »

Observer l'esprit humain sans neuroimagerie, par Léo Varnet

Plus largement, Léo Varnet considère que la recherche ouvre une formidable possibilité de réflexion sur le temps long : « ce projet l’illustre bien puisque, je l’ai entamé il y a maintenant 8 ans avec ma thèse. Depuis, je n’ai pas arrêté de le revisiter, avec des périodes de développement et parfois de plus longues phases de maturation. Cette possibilité que nous avons dans les métiers de la recherche de tourner et retourner une problématique au gré des lectures et des collaborations, c’est quelque chose de précieux. »

Le chercheur, désormais en poste permanent, sait que « ce cheminement de la pensée suppose aussi une certaine stabilité matérielle ». Il est tout spécialement reconnaissant envers les personnes qui l’ont soutenu professionnellement : « j’ai eu la chance d’avoir un début de carrière sans véritable angoisse de la précarité. C’est aussi grâce à ces conditions professionnelles très favorables que ce projet a pu voir le jour. ».

Pour approfondir

• L’image de Classification Auditive : partie 1 : Le cerveau comme boîte noire / partie 2 : À la recherche des indices acoustiques de la parole, par Léo Varnet
• De Bouche à Oreille, le site web de vulgarisation scientifique autour de la psycholinguistique de Léo Varnet
• Pour avoir un premier aperçu de ce qu’est la psycholinguistique : Comment suivre quatre conversations en même temps, par Linguisticae. Dans cette vidéo sont abordés les travaux de recherche de Fanny Meunier, la directrice de thèse de Léo Varnet ainsi que ceux, plus brièvement, du chercheur.
• Interview de Fanny Meunier, aujourd'hui directrice du laboratoire Bases Corpus Langage de Nice.