Search

International audience; In the current study, we focused on decoding speech prosody from EEG. Prosody (i.e., melody and rhythm of speech) is important during communication as it allows to convey emotion and meaning. However, it has received little attention in the field of brain-computer interfaces. To address this issue, we contrasted the production of two syllables, "ba" and "da", produced mentally as an affirmation (e.g., "ba.") or a question (e.g., "ba?") using two different intonations. We focused on spectral features. After classification in the time-frequency domain, we found above chance-level accuracies in specific frequency ranges of the alpha band (7-12 Hz) early on during the production phase. We also obtained above chance-level results on a range of the low-beta band (16-20 Hz) during a late time window. Based on the visual inspection of topographies and the literature, we suggest that the results during the early time window, but not that during the late time window, reflect a genuine difference between imagined affirmation and question production. Future studies should provide more information about neural markers and underlying neuro-cognitive processes to improve the understanding of the imagined intonation production. This would pave the way for the development of speech-based BCI capable of differentiating intonation and prosody in general.

International audience

International audience; A physiological phenomenon named movement-related sensory gating has been described in the literature in the late 80s. To the best of our knowledge, it has not yet been exploited in the BCI domain. We consider that this phenomenon could significantly decrease the resonance-like frequency of Steady State Somatosensory Evoked Potentials (SSSEP) and be exploited as a voluntary command of the user will. We describe our work to retrieve a resonance in user's EEG while applying vibrations under their fingers. Our first results confirm previous works reported in literature concerning SSSEP. We report SSSEP detected on four healthy subjects who received tactile vibration under their right and left index finger at five different frequencies (14, 17, 20, 23 and 26 Hz). The mechanical stimulation was created by a device conceived in our laboratory. This device is based on two C2-tactors piloted by an Arduino. We think that a SSSEP-based BCI using the sensory gating phenomenon could be used soon by DMD (Duchenne Muscular Dystrophy) patients that can perceive vibrations under their skin but are no more able to perform voluntary movements.

National audience; Dans cet article, nous présentons une ébauche d'Interface Cerveau-Ordinateur hybride (ICOh) conçue spécifiquement pour assister des personnes atteintes de myopathie de Duchenne (DMD : Dystrophie Musculaire de Duchenne). Dans un premier temps, nous décrivons la structure de l'interface et la stratégie de contrôle de trajectoire qui est à la base de son utilisation. Ensuite, nous présentons les différentes applications ludiques que nous avons développées en vue de permettre aux utilisateurs d'apprendre à utiliser le système. Enfin, nous présentons des résultats préliminaires de son utilisation par deux sujets atteints de DMD et comparons les performances obtenues par ces derniers lors de la réalisation d'une tâche de contrôle d'un jeu vidéo avec celles de dix sujets sains ayant réalisé la même tâche. Dans la version de l'interface décrite ici, l'utilisateur contrôle le système uniquement par son activité musculaire. Cependant, l'activité cérébrale est enregistrée simultanément pour permettre son analyse hors-ligne à des fins de validation.

International audience

National audience; Dans le cadre des interfaces cerveau-ordinateur utilisant l'imagination motrice, nous proposons une méthode permettant a un expert humain de superviser, spécifiquement pour chaque utilisateur, la sélection d'intervalles temps-fréquence à partir des signaux EEG. En effet, en l'état actuel de la recherche sur les BCI, on trouve au moins un expert impliqué dans les premières étapes de l'expérimentation. D'une part, de tels experts apprécient de conserver un certain niveau de contrôle pour la sélection des paramètres spécifiques a l'utilisateur. D'autre part, nous verrons que leurs connaissances sont grandement profitables pour la sélection d'un ensemble parcimonieux d'intervalles temps-fréquence pertinents. Les experts sélectionnent ces attributs au travers d'une analyse visuelle d'un ensemble de courbes qui met en évidence les différences au sein des signaux EEG enregistrés pendant l'imagination de diverses tâches motrices. Nous comparons notre méthode à une approche CSP (Common Spatial Pattern) basique et à deux méthodes d'extraction de valeurs caractéristiques entièrement automatiques, en utilisant le jeu de données 2A de la compétition BCI IV. La méthode proposée (taux de bonne classification moyen m = 83.71 ± 14.6 σ) donne de meilleurs résultats pour 6 sujets sur 9 comparée à la méthode automatique la plus performante (m = 79.48 ± 12.41 σ).

International audience; The main characteristic of intelligent devices that compose our environment is their capability to perceive and collect relevant information (context awareness) in order to assist users in their daily tasks. However, these tasks evolve frequently and require dynamic and evolutionary systems (context-aware systems) to improve intelligent devices skills according to user's context. Some context-aware systems are described in the literature, but most of them have extremely tight coupling between the semantic used in the application and sensors used to obtained the data for this semantic interpretation. The objective of our research is to study and implement a proactive approach able to use existing sensors and to create dynamically human-machine conversational situations when needed. The system presented in this paper is named X-CAMPUS (eXtensible Conversational Agent for Multichannel Proactive Ubiquitous Services). It aims to assist user in his/her daily tasks thanks to its ability to perceive the state of the environment and interact effectively according to the user's needs. In this paper we describe our approach for proactive intelligent assistance and we illustrate it through some scenarios showing that according to a given multi-parameters context, our X-CAMPUS agent notifies the user via personalized messages (e.g., suggestion of restaurants according to menus and users' preferences) across the most appropriate channel (instant messaging, e-mail or SMS) and the most appropriate modality (text, gesture or voice). Then, we discuss our quantitative results, based on four principal hypotheses in order to evaluate our system's capability to manage many users simultaneously with different contextual information. We argue and we show that the proactive assistance is very relevant in complex situations with various criteria to take into account (user's profile, location, task, etc.).

The research that we present here are related to a study for the design and implementation of a follow-up survey of students via an interactive voice response (IVR) using VoiceXML, a W3C standard language. We present a corpus of questions and answers obtained in natural language, and we validate scientific hypotheses concerning the use of modes of interaction (voice versus direct manipulation). Then, we explain how we passed from a mechanism of exogenous traces (with a monitoring system performed by external tools recordings) to an endogenous mechanism (with a monitoring system made from within the IVR) to provide tools and instruments more adapted to the evaluation of multimodal applications that use speech and gesture (telephone keypad or mouse click on hyperlink). The trace mechanism for telephone interactions using VoiceXML presented here increases the quality of the evaluation of human-machine telephone interactions, because these traces are automatically recorded and reusable. Furthermore, we show that it is possible to get instant statistics (histograms and graphs made in real time, in PHP) using the method presented here. Thus, we have shown that pedagogical surveys, which traditionally are laborious, complex to implement and very time consuming can be facilitated through the methods and tools we recommend., Les travaux de recherche que nous exposons ici sont relatifs à une étude pour la conception et la réalisation d'une enquête de suivi d'étudiants, via un serveur vocal interactif (SVI) utilisant le langage VoiceXML, standard du W3C. Nous présentons le corpus de questions et de réponses en langue naturelle obtenu, et nous validons des hypothèses scientifiques, quant à l'usage des modes d'interactions (vocal versus manipulation directe). Puis, nous expliquons comment nous sommes passés d'un mécanisme de traces exogène (avec un système d'écoute effectué par des outils d'enregistrements externes) à un mécanisme endogène (avec un système d'écoute effectué au sein même du serveur vocal interactif), afin de fournir des outils et instruments mieux adaptés à l'évaluation d'applications multimodales permettant un usage de la parole et du geste (touche clavier téléphonique ou clic souris sur hyperlien). Le mécanisme de traces pour interactions téléphoniques utilisant le langage VoiceXML que nous exposons ici permet d'augmenter la qualité de l'évaluation des interactions hommes-machines téléphoniques, du fait que ces traces sont automatiquement enregistrées et réutilisables. Par ailleurs, nous montrons qu'il est ainsi possible d'obtenir des données statistiques instantanées (histogrammes et représentations graphiques effectuées en temps réel, en langage PHP) grâce à la méthode que nous présentons. Ainsi, nous avons montré que des enquêtes de suivi pédagogique, qui traditionnellement sont laborieuses, complexes à mettre en oeuvre et très chronophages peuvent être facilitées grâce aux méthodes et outils que nous préconisons.

National audience

International audience; La Conférence Francophone sur l'Interaction Homme-Machine (IHM) est organisée annuellement par l'AFIHM, l'Association Francophone d'Interaction Homme-Machine. L'AFIHM a pour but principal de promouvoir le savoir et les connaissances du domaine de l'Interaction Homme-Machine et des divers domaines concourant au savoir et aux connaissances facilitant la conception, la réalisation et l'évaluation des systèmes interactifs actuels ou futurs.

International audience; Food waste or food loss is food that is discarded or lost uneaten. The work presented in this paper is related to our researches in the field of pervasive and ubiquitous computing. Our "Pervasive Fridge" prototype allows users to be notified proactively, when a food arrives to its expiration date. Speech and image recognition are also integrated in our prototype. This system combines various resources in order to scan barcode, identify and store data related to products, with a smartphone. Later, notifications are sent freely to consumers by mail, SMS (with no charge) and pop-up, to avoid uneaten food loss.

International audience; User needs are expanding and becoming more and more complex with the emergence of newly adopted technologies. As a result, the convergence of smart devices, having the capability to communicate as well as sharing information and ensuring user need satisfaction, leads to profoundly change the way we interact with our environment. They should provide an adaptive assistance in both reactive and proactive mode and new communication methods focused on multimodal and multichannel interfaces. However, most of existing context-aware systems have extremely tight coupling between applications' semantic and sensor's details. So, the objective of our research is to implement an approach which can support the ability to reuse sensors and to evolve existing applications to use new context types. In this paper, we illustrate our approach for proactive intelligent assistance and we describe our architecture based on three principal layers. These layers are designed in order to build applications which can increase the welfare of the user situated in intelligent environment.

International audience; Brain-computer interfaces (BCI) based on steady-state visual evoked potentials (SSVEP) enable a user to control an application by focusing his/her attention on visual stimuli blinking at specific frequencies. This technique of interaction can enable people suffering from severe motor disabilities to improve their quality of life through regaining a partial autonomy. According to literature, each usage session of a SSVEP-based BCI integrates a calibration phase aimed in particular at computing classifier's parameters. Our objective is to evaluate if the same parameters could be used during several sessions, in order to avoid performing systematically a calibration phase, which is very restrictive for the user. To do so, we analyze stability of classification results over time. On the other hand, the data acquired during our experiments were used to study the possible effects of human learning on interface performance and to confirm or not the state of the art knowledge on this subject. According to literature, SSVEP-based BCIs work well from the first use and their performances do not improve with subject's experience.

National audience; Les interfaces cerveau-ordinateur (ou BCI pour Brain-Computer Interfaces) exploitant les potentiels évoqués visuels stables (ou SSVEP pour Steady-State Visual Evoked Potentials) permettent le contrôle d'une application par l'intermédiaire de stimuli visuels clignotant a différentes fréquences. Cette modalité d'interaction pourrait permettre à des personnes souffrant d'un handicap moteur sévère d'améliorer leur qualité de vie en regagnant une autonomie partielle. D'après les travaux relatés dans la littérature, chaque session d'utilisation d'une BCI-SSVEP intègre une phase de calibrage visant notamment a régler les paramètres d'un classifieur. Notre objectif est d'évaluer si les mêmes paramètres peuvent être utilisés pendant plusieurs sessions, ce qui éviterait d'introduire systématiquement une phase de calibrage, très contraignante pour l'utilisateur. Pour ce faire, nous analysons la stabilité dans le temps des résultats de classification. D'autre part, les données acquises sont mises a profit pour étudier dans une secondé étude les effets de l'apprentissage humain sur les performances de l'interface et de confirmer ou non l'état de l'art à ce sujet. D'après la littérature, les BCI-SSVEP fonctionnent correctement dès la première utilisation et leurs performances ne s'améliorent pas avec l'expérience de l'utilisateur.

International audience

International audience

National audience

International audience

National audience

International audience

International audience

International audience; This article presents a reflection on an extension of VoiceXML language. VoiceXML applications are described by context-free grammars. Then, recognized vocabulary is limited. The idea is to overlap this limitation of VoiceXML by using asynchronously capabilities of speech-dictation systems. A prototype of extended VoiceXML system is presented. According to us, that opens many tracks of development on vocal systems.

Préface de Jean Caelen.; International audience; Il existe sur la planète beaucoup plus de téléphones que d’ordinateurs ! C’est à partir de cette constatation que les premiers projets de recherche d’accès à Internet par téléphone ont débuté dans les années quatre-vingt-dix. L’idée consiste à proposer l’accès au réseau Internet par le moyen d’un dialogue homme-machine en langue naturelle. Cette tendance se confirme aujourd’hui avec l’essor considérable que connaît depuis quelques années la téléphonie mobile.Cet ouvrage présente VoiceXML, le langage standard permettant d’accéder à Internet grâce à un navigateur vocal via un téléphone fixe ou portable. L’approche est pragmatique. En partant des bases conceptuelles, et en décrivant chaque élément du langage de manière précise (reconnaissance et synthèse vocale, grammaires de dialogue, balises du langage, etc.), chacune des briques logicielles permettant de réaliser un serveur vocal interactif est présentée.L’ouvrage s’articule autour de cinq parties :- une introduction aux applications vocales et au langage VoiceXML exposant les enjeux, les technologies et les architectures employées;- une présentation des outils nécessaires pour développer en VoiceXML ;- la mise en œuvre concrète d’un serveur vocal;- les spécificités de la gestion du dialogue homme-machine en VoiceXML ;- plusieurs études de cas illustrant l’utilisation conjointe d’éléments du langage.

International audience

Ouvrage collectif; International audience; Ce chapitre traite de la sémantique et de la multimodalité dans le domaine des interactions Homme-Machine. Nous exposons un bref rappel des notions de média, multimédia, mode, modalité et multimodalité, avant de montrer en quoi la sémantique est une notion essentielle qui différencie un système informatique multimédia d'un système informatique multimodal. Du fait que plusieurs approches sont possibles en conception d'interfaces Homme-Machine, selon que l'on se place côté machine, côté utilisateur, on encore de manière hybride (machine/ utilisateur), la multimodalité s'inspire de modèles pluridisciplinaires et bénéficie des avancées en informatique, sociologie, psychologie, économie et théorie des jeux, voire des théories du marketing (le multicanal étant effectivement étudié lors de communication personne/organisation). Nous illustrons notre propos grâce à la présentation d'un système de dialogue Homme-Machine orienté apprentissage, dans lequel un internaute interagit avec un agent animé. L'apport et l'enjeu de la multimodalité dans ce contexte est expliqué et commenté : l'agent est perçu visuellement, puisqu'il se déplace sur l'écran, mais aussi auditivement, car une voix de synthèse accompagne ses actions, et apporte des indications complémentaires ou redondantes à l'usager. Cette multimodalité véhicule également des éléments supplémentaires pour l'acquisition de sens : geste de désignation, comportements anthropomorphiques (humeur, émotions, aides personnalisées), animations permettant de comprendre ce qu'il se passe au niveau du noyau fonctionnel du système informatique, etc.

pp. 612-616; International audience; This paper presents Plastic ML, a language based on XML, which can be used to describe user interfaces for Internet. With Plastic ML toolkit, programmers create graphically some XML documents, on a high level interface. Thanks to XSL translations, automatically made, it provided targeted files, such as HTML, WML and VoiceXML.

ISSN 2028-9324; International audience; The research that we present here are related to a study for the design and implementation of a follow-up survey of students via an interactive voice response (IVR) using VoiceXML, a W3C standard language. We present a corpus of questions and answers obtained in natural language, and we validate scientific hypotheses concerning the use of modes of interaction (voice versus direct manipulation). Then, we explain how we passed from a mechanism of exogenous traces (with a monitoring system performed by external tools recordings) to an endogenous mechanism (with a monitoring system made from within the IVR) to provide tools and instruments more adapted to the evaluation of multimodal applications that use speech and gesture (telephone keypad or mouse click on hyperlink). The trace mechanism for telephone interactions using VoiceXML presented here increases the quality of the evaluation of human-machine telephone interactions, because these traces are automatically recorded and reusable. Furthermore, we show that it is possible to get instant statistics (histograms and graphs made in real time, in PHP) using the method presented here. Thus, we have shown that pedagogical surveys, which traditionally are laborious, complex to implement and very time consuming can be facilitated through the methods and tools we recommend.; Les travaux de recherche que nous exposons ici sont relatifs à une étude pour la conception et la réalisation d'une enquête de suivi d'étudiants, via un serveur vocal interactif (SVI) utilisant le langage VoiceXML, standard du W3C. Nous présentons le corpus de questions et de réponses en langue naturelle obtenu, et nous validons des hypothèses scientifiques, quant à l'usage des modes d'interactions (vocal versus manipulation directe). Puis, nous expliquons comment nous sommes passés d'un mécanisme de traces exogène (avec un système d'écoute effectué par des outils d'enregistrements externes) à un mécanisme endogène (avec un système d'écoute effectué au sein même du serveur vocal interactif), afin de fournir des outils et instruments mieux adaptés à l'évaluation d'applications multimodales permettant un usage de la parole et du geste (touche clavier téléphonique ou clic souris sur hyperlien). Le mécanisme de traces pour interactions téléphoniques utilisant le langage VoiceXML que nous exposons ici permet d'augmenter la qualité de l'évaluation des interactions hommes-machines téléphoniques, du fait que ces traces sont automatiquement enregistrées et réutilisables. Par ailleurs, nous montrons qu'il est ainsi possible d'obtenir des données statistiques instantanées (histogrammes et représentations graphiques effectuées en temps réel, en langage PHP) grâce à la méthode que nous présentons. Ainsi, nous avons montré que des enquêtes de suivi pédagogique, qui traditionnellement sont laborieuses, complexes à mettre en oeuvre et très chronophages peuvent être facilitées grâce aux méthodes et outils que nous préconisons.