1. Origine du projet EREL
Le projet EREL, élaboré durant l’année 1995, avait
pour
objectifs la conception et la réalisation, sur une durée
de deux ans,
d’un système d’aide à la communication destiné
à des enfants et des
adolescents présentant des troubles du développement,
notamment ceux
qui sont atteints d’autisme avec ou sans retard mental, ou qui sont
poly-handicapés.Ces enfants présentent en général à la fois des troubles du langage et de la cognition, et des troubles moteurs qui rendent difficile l’expression orale, écrite ou graphique de leurs pensées et de leurs sentiments. Cette difficulté d’extériorisation de leurs pensées ou désirs constitue un handicap majeur pour ces personnes, quels que soient leur stade de développement cognitif et émotionnel et leur degré d’autonomie.
Notre objectif était de développer un système à vocation thérapeutique qui puisse aider à l’éducation ou la rééducation du langage et de la communication, chez ces enfants.
A l'issue
d'études préliminaires, le projet initial
a évolué et nous nous sommes plus
précisément fixé l’objectif suivant :
qui mette en oeuvre des techniques d’intelligence artificielle et de linguistique informatique dans un environnement multimedia, ludique, interactif et modulaire, et qui :
• propose un ensemble de jeux conçus pour aider l’utilisateur à employer le langage naturel écrit pour s’exprimer sur différents thèmes ;
• utilise conjointement plusieurs supports pour assister l’utilisateur dans son expression ;
• ne demande à l’utilisateur que des manipulations simples (sélections graphiques à l’écran) ;
• soit conçu comme un système multi-utilisateur, qui permet de choisir le niveau de difficulté du travail demandé.
2. Le système ILLICO pour le traitement du langage écrit
Dans le système EREL, l'ingénierie linguistique est assurée par le système générique ILLICO (Pasero & Sabatier, 1994 et 1995). Ce système est constitué d'un ensemble d'outils pour le traitement du langage naturel écrit, qui permettent le développement d'applications du TALN, comme des interfaces intelligentes pour bases de données, des systèmes d'aide à la communication, etc.
ILLICO fournit en premier lieu des formalismes simples pour définir le sous-langage approprié à chaque application, par l'écriture de règles lexicales, syntaxiques, sémantiques, conceptuelles et contextuelles. Ensuite, les algorithmes du coeur d'ILLICO permettent d'effectuer un traitement complet des phrases appartenant à ce sous-langage : analyse ou synthèse d'énoncés dont on produit une représentation sémantique de type logique, dans laquelle les expressions référentielles sont résolues. C'est dire que le système "comprend exactement" les textes analysés et est donc à même de faire ensuite des inférences utilisant leur contenu.
Les algorithmes d’ILLICO mettent en oeuvre un traitement interactif du langage en effectuant l'analyse/synthèse partielle des phrases en cours de construction et en en contrôlant à chaque instant la correction. L'analyse/synthèse partielle de phrases permet en particulier de proposer à l'utilisateur le mode de "composition assistée" dans lequel le système aide l'utilisateur à formuler son texte, en synthétisant et en affichant à chaque instant les mots ou expressions qu'il est possible d'utiliser pour continuer la phrase en cours de construction (Pasero & Sabatier, 1994 ; Milhaud 1994). Cette assistance peut être graduée : assistance au niveau lexical seul, ou lexical+syntaxique, etc., selon que l’on connecte ou non les contrôles linguistiques aux différents niveaux.
Pour le développement d’un logiciel
d'éducation ou rééducation du langage, la
composition en
mode assisté est un trait particulièrement
intéressant, car
elle permet de guider l'utilisateur pas à pas lors de la
formulation de
ses phrases. Elle permet donc de définir des exercices pour des
enfants
très jeunes, en tout début de phase d'apprentissage du
langage
écrit.
Nous avons défini dans EREL des activités de type piagétien qui demandent à l’enfant de raisonner, agir et s’exprimer sur des objets dont les propriétés évoluent dynamiquement.
Les différents stades de développement définis par Piaget comprennent en particulier : la classification d'objets, la sériation, les nombres entiers (exercices de logique quantitative), les déplacements dans l'espace avec la mesure, les structures géométriques, les étapes de la géométrie passant par les relations intrafigurales puis interfigurales (utilisant les coordonnées cartésiennes) et l’algébrisation de la géométrie (groupe des déplacements par exemple).
Sur ces bases, nous avons conçu une suite d’exercices portant sur la désignation et le positionnement les uns par rapport aux autres d'objets de forme, couleur et taille variables :
- en dimension 1, on raisonne sur un alignement d'objets orientés ou non, par exemple un train formé de plusieurs wagons et comportant ou non une locomotive pour l’orienter ;
- en dimension 2, on travaille sur les relations interfigurales et les coordonnées cartésiennes de pions posés sur un damier, que l’on peut déplacer, supprimer, etc.
- en dimension 3, on s’intéresse à une image en trois dimensions, dont on peut décrire les éléments, leurs propriétés et interrelations.
Pour chacun des jeux proposés par EREL, l’enfant doit utiliser et apprendre à maîtriser le langage associé, qui lui permet d’exprimer ses requêtes. C'est un sous-langage simple du langage naturel, qui contient les expressions linguistiques intuitives nécessaires à la description des propriétés des éléments du contexte, des situations logico-mathématiques et des relations spatiales qui ont une occurrence dans le jeu considéré.
Par ailleurs, EREL a été conçu comme un système multi-utilisateurs et propose donc des exercices de différents niveaux de difficulté, tant pour ce qui concerne l’expression en langage naturel que pour la complexité cognitive des activités.
Ces jeux ont été définis, plus particulièrement, pour aider l'utilisateur à comprendre, appréhender et exprimer en langage naturel différents concepts concernant :
- la catégorisation des objets présents à l’écran, à partir de leur forme, leur couleur et leur taille;
- la construction d’objets à partir de propriétés de ce type ;
- les relations spatiales entre ces objets ;
- la localisation, le placement et le mouvement de ces objets ;
- la sériation d’objets ;
- des éléments de logique quantitative sur l'ensemble des objets de la scène ;
- la désignation d’un objet à partir de ses propriétés spécifiques.
4. Description fonctionnelle du système EREL
4.1. Description générale
Chaque activité d'EREL est organisée pour que l'utilisateur s'exprime par des phrases simples, appelées requêtes, que le système l'aide à composer autour d'une scène. Un langage approprié est associé à chaque activité pour la composition de ces phrases. La scène évolue au fur et à mesure que l’activité se déroule, en fonction des requêtes que formule l’utilisateur et auxquelles le système réagit. Une session d’EREL, schématiquement, est donc une suite de requêtes de l’utilisateur auxquelles le système obéit si elles sont correctes. Si une requête n’est pas correcte, la communication passe par un sous-dialogue pour assister l’utilisateur dans la formulation de son texte.
La correction globale d’une requête requiert sa correction lexicale, syntaxique et conceptuelle, sa correction contextuelle au niveau linguistique (les expressions référentielles peuvent être résolues), sa correction contextuelle au niveau situationnel (l'action est possible ou non) et sa correction par rapport aux règles du jeu (l'action est permise ou non).
Si une requête de l’utilisateur est correcte et complète, le système y réagit, selon le type de la requête :
- si c'est une phrase impérative, il exécute l’ordre donné (modification des éléments du jeu) ;
- si c'est une phrase interrogative, il donne la réponse à la question posée ;
- si c'est une phrase déclarative, il en donne la valeur de vérité.
Dans tous les cas, le système produit la synthèse vocale du texte composant la requête.
Les niveaux de difficulté des activités proposées par EREL sont définis à partir des éléments suivants, dont on laisse le choix à l’utilisateur (l'éducateur ou l'enfant).
- La complexité cognitive intrinsèque des jeux, fonction pour chacun des règles du jeu et du nombre d'objets graphiques à gérer.
- Les sous-langages utilisés, dont le module lexical et le module syntaxique sont plus ou moins étendus selon le niveau choisi. Nous avons défini trois niveaux de complexité grammaticale : le niveau 1 permet la composition de phrases simples sans proposition relative ; le niveau 2 permet la composition de phrases avec propositions relatives simples ; le niveau 3 permet la composition de phrases avec propositions relatives qui peuvent être imbriquées les unes dans les autres.
- Le niveau d'assistance choisi, qui peut être l'un des trois suivants : lexical, ou lexical+syntaxique, ou lexical+syntaxique+conceptuel.
4.2. Les activités proposées
Nous décrivons ici les activités qui ont été développées et qui constituent la version actuelle du système. Pour chacune d’elles, les différents modes opératoires définis précédemment sont disponibles.
Un jeu en deux dimensions : le jeu du damier
Le jeu du damier est un jeu de positionnement de pions de diverses formes et couleurs sur un damier. L'utilisateur peut composer des phrases de type impératif, interrogatif ou déclaratif sur les pions illustrés à l'écran : il écrit des commandes pour agir sur les pions (par exemple les effacer, les déplacer, les permuter ou en créer de nouveaux), ou formule des questions sur la situation des divers éléments du jeu, et le système réagit à chaque phrase composée par l'utilisateur. Les Figures 1 et 2 donnent un exemple de l'une des versions de ce jeu en mode assisté (aide à la composition de phrases au niveau lexical+syntaxique+conceptuel).
Dans la Figure 1, l’utilisateur ayant commencé sa requête par Ajoute un carré rouge, le système indique que les seuls mots pertinents pour continuer la phrase sont les locutions locatives à droite, à gauche, etc. Dans la Figure 2, l'utilisateur ayant composé la phrase complète Ajoute un carré rouge à droite de l'étoile., le système exécute l'action demandée.
Figure 1 : un jeu en deux dimensions (1).
Voici quelques exemples de phrases (correctes à tous les niveaux) de différents types que peut composer l'utilisateur :
- Ajoute un carré rouge à droite de l'étoile.
- Ajoute un carré gris dans la case F 3.
- Permute la croix avec le pion qui se trouve à droite de l’étoile.
- Place le rond rouge au-dessus du pion qui se trouve à gauche de la case D 3.
- Quel pion se trouve en B 5 ?
- Où est le rond bleu ?
Figure 2 : un jeu en deux dimensions (2).
La résolution des expressions référentielles est effectuée pendant le traitement linguistique des phrases au niveau contextuel. Par exemple, si l’on s’en réfère à la situation illustrée par la Figure 2, les expressions définies le rond rouge, l’étoile, le triangle qui est en D2 sont des expressions jugées contextuellement correctes, alors que le pion bleu, le rond ou le triangle gris ne le sont pas, les deux premières ayant plusieurs référents possibles, et la troisième aucun.
Le problème de la désignation d’un objet trouve ici une illustration abondante, il s’agit pour l’enfant de trouver une expression correcte et non-ambiguë pour désigner chaque objet sur lequel il veut agir. Il peut parler du rond rouge, du rond qui se trouve en B1, du rond qui se trouve au dessous de la case A1, du pion qui est dans la colonne 1, etc. (le mot pion étant dans ce jeu un mot générique) : ces expressions sont toutes correctes et désignent le même objet, que le système sait trouver. Les positions des objets sont exprimées soit de façon absolue (en B1), soit relative (à droite de l’étoile).
Plusieurs versions de ce jeu ont été développées, dont une version élémentaire destinée à un tout premier apprentissage de la lecture, dans laquelle on ne travaille que sur un ensemble prédéfini d’objets et dans laquelle le mode de composition assistée propose des groupes nominaux non décomposés. La Figure 3 donne un exemple de la façon dont se présente une session de cette version.
Figure 3 : la version élémentaire du jeu du damier.
Un jeu en trois dimensions : description d'une image
La deuxième activité proposée par EREL est un exercice autour d’un scénario illustré par une image : "A la pêche". L’objectif de ce jeu est d’inciter l’enfant à construire des phrases simples autour de cette scène ; ici les objets dont on parle sont figés.
<>L’interface se présente telle que dans la Figure 4. L’utilisateur dispose de deux modes opératoires :- soit il compose des phrases déclaratives et le système répond si elles sont vraies ou fausses ;
- soit il pose des questions (quelle est la couleur du foulard ?, où se trouve la rivière ? est-ce que le pêcheur fume ? etc.) auxquelles le logiciel répond.
Pour chaque question, le système calcule et affiche l’ensemble des réponses possibles. Par exemple, à la question où se trouve le panier ? correspondent plusieurs réponses dont : à côté du balluchon, à droite du pêcheur, au bord de la rivière, dans le pré, etc.
Figure 4 : description d’une image en trois dimensions.
Un jeu en une dimension : un petit train
Il s'agit ici de faire travailler l'enfant sur la composition linéaire d'un ensemble d'éléments, en l'occurrence des wagons et des locomotives (ayant toutes la même orientation).
L’interface se présente comme le montre la Figure 5.
Comme dans le jeu du damier, l'utilisateur compose des requêtes qui lui permettent de supprimer, insérer, permuter, etc. des objets. Il peut également faire reculer ou avancer le train, ou changer la couleur d'un élément. Par exemple il pourra composer la suite de requêtes :
- Ajoute une locomotive jaune devant le wagon bleu.
- Permute la locomotive jaune et le wagon vert.
- Enlève le wagon bleu.
- Supprime la locomotive noire.
- Quel élément se trouve devant le wagon jaune ?
- Enlève le 3e wagon derrière la locomotive.
Ici encore, le problème de la désignation d’un objet est un point essentiel. Comme, dans cette activité, il n'existe pas de repère spatial absolu, les objets ne peuvent être localisés que par leurs positions relatives (devant le wagon jaune, entre le... et la..., à gauche de..., etc.). Les repères utilisés sont i) celui qui est donné par l'orientation des locomotives pour les expressions comme devant ou derrière, et ii) celui qui est lié à l'utilisateur pour les expressions comme à droite, à gauche.
Figure 5 : un jeu en une dimension.
5. Les composants du système EREL
Pour la réalisation logicielle de chaque exercice d’EREL, et, plus généralement, pour la réalisation de systèmes éducatifs multimédias réactifs privilégiant l'expression en langage naturel, on doit définir et représenter de façon interne :
- les objets du micro-monde considéré et leurs propriétés ;
- le sous-langage (lexique, grammaire, sémantique) qui sera utilisé dans le dialogue entre l’utilisateur et la machine ;
- les règles du jeu ;
- les modalités d’interaction ;
- les spécifications des pédagogues sur les modes d’apprentissage ;
- les algorithmes nécessaires à l'utilisation et à la gestion de tous ces éléments, pour le bon déroulement de l’activité.
- Le composant Définition des exercices
Il contient les spécifications relatives à chaque exercice : l'ensemble des objets du micro-monde considéré et leurs propriétés, les règles du jeu (règles légales), le langage de requêtes associé, les paramètres qui indiquent le niveau de difficulté de l'exercice, etc.
- Le composant Base de données contient :
- pour chaque exercice, la représentation interne du micro-monde d’objets sur lequel on travaille et de leurs propriétés, ces éléments constituant une petite base de données ;
- les processus de raisonnement (règles d’inférence et de calcul), pour la recherche d'informations sur le contenu de cette base et en particulier pour la production de réponses aux requêtes de l’utilisateur ;
- les processus de mise à jour de la base : ajout, modification, suppression de données.
Il a donc été nécessaire de définir une représentation interne des objets composant chaque scénario. Dans cette petite base de données, chaque objet est décrit par sa nature conceptuelle, sa couleur et sa place.
La modélisation de la sémantique de l'espace a été faite différemment suivant les jeux. Pour le damier, la localisation d'un objet se fait par ses coordonnées, et les positions relatives des objets sont exprimées à partir des relations cardinales : à droite, à gauche, au-dessus, au-dessous. Dans la description de l'image "A la pêche", on a défini un ensemble de “zones” en trois dimensions qui structure et recouvre l’espace décrit par l’image, suivant une approche qui s’inspire des travaux sur la sémantique de l’espace décrits par (Vieu, 1991). Les relations spatiales entre les objets en découlent, et, pour répondre à une question sur la localisation d'un objet, le système est capable de donner dynamiquement toutes les relations possibles entre la zone concernée et les autres zones. Pour le jeu du petit train, on a modélisé la suite des éléments (wagons ou locomotives) qui composent le train, ainsi que la position de l'élément de tête par rapport au cadre, qui est la seule position modélisée de façon absolue. Les positions des autres éléments en découlent, et les actions sur ces éléments s'effectuent par ajout, insertion, ou suppression d'élément, ou par déplacement de l’ensemble dans un sens ou dans l’autre.
- Le composant TALN
Pour le traitement des phrases écrites, on utilise le système ILLICO présenté ci-dessus. Il contient i) les formalismes pour la définition des sous-langages du langage naturel associés aux diverses activités, ii) les algorithmes pour la compréhension et la génération de textes en langage naturel.
Par ailleurs, le composant TALN contient également un
module simple de synthèse de la parole
développé pour EREL, qui prend en entrée les
phrases
complètes et correctes composées par l'utilisateur
(Guizol & Godbert, 1999). Ce module utilise le système
MBROLA (Dutoit et al. 1996).
- Le composant Graphique
Il contient :i) les outils classiques et méthodes utilisés dans une IHM graphique, pour les entrées-sorties : listes et menus déroulants, boutons, rectangles d'édition, etc.
ii) une bibliothèque de fonctions graphiques pour l’illustration du micro-monde à l’écran : dessins divers, représentation des déplacements d’objets, modification de leur couleur, etc.
iii) les fonctions nécessaires à la définition et la gestion d'une interaction multimédia et multimodale entre l'utilisateur et la machine (par exemple, dans le jeu du damier, l’utilisateur peut utiliser les modalités <clavier, langage naturel> et <souris, éléments graphiques>, ou mixer les deux, pour formuler ses phrases ; pour désigner une case, il pourra par exemple écrire la case C3 ou bien la sélectionner par un clic, le système se chargeant à partir du clic de générer l’expression la case C3).