Productions - AAC4All

Plateforme logicielle (WP 1)

Le projet AAC4ALL va permettre le développement d’une plateforme logicielle ouverte permettant la création de modules spécifiques pour l’aide à la communication, le tout intégré dans un système déjà utilisé en pratique clinique : LifeCompanion.

Ce système a l’avantage d’être accessibles à différents types de handicap (moteurs, visuels, cognitifs, etc.) et déjà utilisé dans de nombreuses structures de santé (+500 installations uniques à ce jour).

Cette plateforme va permettre :

L’intégration de nouveaux composants par le biais d’une API ouverte et mature
La traçabilité des usages par la possibilité de récolte de métriques
La mise à disposition en clinique par la diffusion des réalisations directement pour les patients

Les spécifications et documentations techniques de la plateforme sont disponibles sur le répertoire de LifeCompanion.

Saisie de texte ergonomique (WP2)

Un défi scientifique pour le CAA est de faciliter l’utilisation de la prédiction en cours de saisie en optimisant d’un point de vue ergonomique la relation entre le clavier virtuel de lettres et la présentation des listes de mots prédits. Cette question est essentielle pour éviter une trop grande fatigue cognitive lors de la saisie. AAC4All développera des claviers virtuels à l’ergonomie pour une utilisation optimale en fonction du handicap concerné. Ces études concerneront aussi bien les personnes pouvant encore contrôler un pointeur souris, et celles ne le pouvant plus.

Participez – Vous utilisez un système de CAA, vous êtes aidant(e) ou soignant(e) ? Aidez-nous à établir un panorama des usages et besoins en matière de CAA en remplissant avant le 1/07/2023 ce questionnaire.

Publications
[1] Hoiry, L., Khelil, C. B., Rayar, F., Halftermeyer, A., Antoine, J. Y., & Raynal, M. (2023). STAACS3: Simulation Tool for AAC with Single-Switch Scanning. 17h International Conference of the Association for the Advancement of Assistive Technology in Europe (AAATE 2023), Vol. 306, pp. 487-494. IOS Press.
[2] Hoiry, L., Rayar, F., Antoine, J. Y., Khelil, B., & Raynal, M. (2024). RéoLoc: Réorganisation dynamique des caractères sur un clavier à défilement automatique ligne/colonne. Conférence IHM’24, à paraître

Prédiction adaptative optimisée (WP3)

Les systèmes de CAA intègrent souvent une prédiction de mots dans l’objectif d’accélérer la saisie de messages et donc la communication. L’apport de la prédiction dépend largement de la capacité du système à s’adapter au contexte de dialogue et au langage de la personne utilisatrice. Au cours du projet AAC4All, nous chercherons ainsi à développer des moteurs de prédictions adaptées au langage enfantin, et plus globalement qui s’adaptent à l’évolution de nos compétences langagières. Ces moteurs de prédiction adaptés à l’age de l’utilisateur seront développés et évalués durant l’année 2023.

Outils développés – Les moteurs de prédiction adaptatifs et les claviers optimisés développés dans le cadre de AAC4All sont directement disponibles dans la plateforme-ouverte LifeCompanion. Désormais, il est également possible d’y trouver un modèle de prédiction spécifiquement dédié au langage enfantin ou adolescent.

Dernières productions – Développement d’un corpus enfant francophone, qui nous a permis d’entrainer un module de prédiction dédié au langage enfantin. Nos études sur textes réels ont montré que ces modèles améliorent l’aide apportée par la prédiction. Ces travaux ont présentés en juillet 2023 à la conférence HCI International (voir publications ci-dessous). Ils ont depuis été complétés par une étude de l’impact du genre de communication, recherches qui feront l’objet d’une publication en juin 2024 à la conférence LREC-COLING’2024. Nous étudions actuellement l’utilisation de grands modèles de langage en prédiction de mots. Pour l’heure, ces modèles ne dépassent par notre moteur de prédiction actuel.

Publications – Présentation du modèle de prédiction adapté au langage enfantin, avec évaluation de son apport par rapport à un modèle adulte : Ben Khelil C., Rayar F., Antoine J-Y., Hoiry M., Raynal M., Halftermeyer A. (2023) What you need is what you get: adapting word prediction of Augmentative and Alternative Communication aids to youth language. HCII International. Version libre : https://hal.science/hal-04190258

Correction orthographique (WP3)

En CAA comme sur un téléphone mobile, la prédiction propose, après chaque nouvelle saisie de lettre, la liste des mots les plus probables pour terminer le mot en cours de composition. La prédiction se base sur les mots déjà écrits mais aussi sur les lettres déjà saisies du mot courant. Elle est donc rapidement perdue en présence d’erreurs orthographiques ou grammaticales. Ce problème est d’autant plus sensible que les erreurs sont nombreuses, et rapidement insurmontable dans le cas de troubles du spectre DYS (dyslexie en particulier) ou de compétences langagières en développement.

AAC4All proposera ainsi un module de correction qui s’adapte au niveau de compétence ou au trouble langagier de la personne afin de faciliter la saisie de texte et d’en améliorer la qualité. La tâche de correction est ici de fonctionner à la volée en cours de saisie. La correction doit toutefois pouvoir aussi fonctionner en mode vérification en fin de saisie de mots. Une des difficultés qui sera étudiée dans le cadre du projet est de s’adapter aux écrits de personnes souffrant de troubles langagiers (DYS ou autre).

Un modèle de correction intégrée à la prédiction a été développé. Il est désormais aux mains des ergothérapeuthes du centre de Kerpape qui cherchent à définir les jeux de règles de correction les plus adaptées à chaque personne utilisatrice.

Outils développés – Le module de correction adaptative développé dans le cadre de AAC4All est directement disponible dans la plateforme-ouverte LifeCompanion.

Publications – Pas encore de publications. De fait, le modèle de correction implémenté dans LifeCompanion semble répondre aux besoins, le plus délicat étant pour les orthophonistes de bien l’adapter à chaque utilisateur. Notre réflexion sur la correction orthographique en contexte de CAA a été nourri par nos travaux suivants : Antoine Jean-Yves et al. (2018) Ma copie adore le vélo : analyse des besoins réels en correction orthographique sur un corpus de dictées
d’enfants. Actes TALN’2019, Rennes, France. [HAL-02375246]

Jeux sérieux (WP4)

Les dispositifs de CAA sont souvent abandonnés par leurs utilisateurs. L’appropriation de ces dispositifs dépend de la capacité des utilisateurs à apprendre à les utiliser efficacement. Ces capacités d’apprentissage sont profondément affectées chez les enfants souffrant de troubles cognitifs. Les jeux sont souvent considérés comme un bon moyen d’apprendre. De plus, s’ils sont à la fois sérieux et ludiques, ces jeux permettent d’acquérir certaines compétences rapidement. GazePlay est un logiciel gratuit et open-source développé depuis 2016 qui rassemble des jeux sérieux, utilisables notamment par oculométrie, dont l’objectif est d’aider les enfants en situation de handicap cognitif à acquérir en jouant un certain nombre de compétences dont celle de savoir utiliser les interactions des logiciels de communication. GazePlay en est à sa 10ème version majeure. La 9ème, après avoir été testée par tout un ensemble de personnes en situation écologique (famille, thérapeutes, étudiants en neuropsychologie de l’enfance aura été testée plus de 8 mois et téléchargée plus de 1400 fois.

La plateforme AAC4All intégrera des modules de soutien à l’utilisation des systèmes via des jeux sérieux pour favoriser la formation et l’appropriation du système par les utilisateurs. L’expérience du LIG avec GazePlay sera essentielle dans ce WP où des questions scientifiques doivent encore être abordées pour savoir comment les jeux peuvent être utilisés pour accélérer l’apprentissage des dispositifs de CAA ou d’en faire un meilleur usage.

Publications :

Schwab et al (2018), The GazePlay Project : Open and Free Eye-trackers Games and a Community for People with Multiple Disabilities. In ICCHP 2018. URL

Schwab et al (2020), Le projet GazePlay : des jeux ouverts, gratuits et une communauté pour les personnes en situation de polyhandicap. In 1024 – Bulletin de la Société informatique de France. avril 2020. URL

Évaluation des pictogrammes (WP5)

Conception et réalisation de protocoles expérimentaux en psycholinguistique et neurolinguistique (méthodologies : EEG, Oculométrie) sur le traitement des pictogrammes par des enfants handicapés

Publication des protocoles et corpus de données (stimuli, programmes, données) en suivant les principes FAIR.

Présentations : Jordan Arrigo, Amélie Rochet-Capellan, Didier Schwab. GAZEPLAY-EVAL : une plateforme pour mettre en place des tests d’évaluation des capacités langagières pour les personnes avec un trouble complexe de la communication. Screen days 2023, Jun 2023, Grenoble, France. ⟨hal -04118893⟩ Vidéo

Plateforme de recommandation (WP6)

Le projet AAC4ALL va permettre la création d’une plateforme de recommandations sur les systèmes d’aide à la communication. En effet, il est aujourd’hui complexe de trouver des informations exhaustives et neutres sur le sujet : celles-ci existent mais sont éclatées et ne permettent pas un tri facile de l’information.

Le but de la plateforme sera donc de regrouper et d’alimenter une veille sur les dispositifs d’aides à la communication permettant

De sensibiliser différents publics au sujet de l’aide à la communication
De rechercher des systèmes d’aides à la communication d’après des critères objectifs
De trouver des ressources sur les systèmes d’aides à la communication
De mettre en relation des ressources et des personnes sur la thématique, en ayant une vocation de HUB sur le sujet
De créer du lien plus efficient entre les acteurs de la recherche et de la clinique

Le CoWork’HIT sera responsable de créer le modèle économique de cette plateforme afin d’assurer sa pérennité post-projet. Ce modèle économique devra être basé sur une offre de service répondant aux lacunes aujourd’hui constatées : manque de formations, de compétences, besoin d’expertises « à disposition » …

Evaluations sur un large panel d'utilisateurs (WP6)

Conception et réalisation de protocoles expérimentaux en psycholinguistique et neurolinguistique (méthodologies : EEG, Oculométrie) sur le traitement des pictogrammes chez des patients dont la communication est altérée (troubles langagiers, troubles cognitifs, troubles moteurs, etc)

Publication des résultats : articles et communications scientifiques.

Publication des protocoles et corpus de données (stimuli, programmes, données) en suivant les principes FAIR.