Search

Colloque avec actes et comité de lecture. internationale.; International audience; The "Invisible Web" is composed of documents which can not be currently accessed by Web search engines, because they have a dynamic URL or are not textual, like video or audio documents. For audio documents, one solution is automatic indexing. It consists in finding good descriptors of audio documents which can be used as indexes for archiving and search. This paper presents an overview and recent results of the RAIVES project, a French research project on audio indexing. We present speech/music segmentation, speaker tracking, and keywords detection. We also give a few perspectives of the RAIVES project.

Colloque avec actes et comité de lecture. internationale.; International audience; We present a frame-synchronous noise compensation algorithm that uses Stochastic Matching approach to cope with time-varying unknown noise. This method proposes to estimate simple mapping function in parallel with Viterbi alignment. The technique is entirely general since no assumption is made on the nature, level and variation of noise. Our algorithm is evaluated on the VODIS database recorded in a moving car. For various tasks, our technique outperforms significantly classical methods. For instance, using the affine transformation the proposed algorithm gives an error rate improvement of 13.3% compared to Parallel Model Combination (PMC), 15.5% on Spectral Subtraction (SS) and 27.8% on frame-synchronous Mean Cepstre Removal (MCR) for the numbers recognition task in real noise.

Colloque avec actes et comité de lecture. nationale.; National audience; An improvement of a previously proposed frame-synchronous noise compensation algorithm is presented. The previous algorithm used Stochastic Matching approach and was designed to cope with time-varying noise. The improved version of this algorithm takes into account the abrupt changes in the acoustical environment. The environment change is detected using the Shewart Control Charts detection algorithm that searches for the changes in the means of Gaussian sequence. For each noisy environment a specific mismatch function is estimated. A simple bias is used as mismatch function. After detection of environment change, the bias is reinitialized by the value corresponding to the closest noisy environment previously observed. This technique is general since no assumption is made on the nature, level and occurring time of noise. Our algorithm is evaluated on the VODIS database (speech in moving car). All the test sentences were corrupted by an additive noise occurring at the middle of each sentence. This latest version of our algorithm gives significant improvement compared to classical compensation algorithms.

Article dans revue scientifique avec comité de lecture.; This paper presents a new approach to multi-band automatic speech recognition which has the advantage to overcome many limitations of classical muti-band systems. The principle of this new approach is to build a speech model in the time-frequency domain using the formalism of dynamic Bayesian networks. In contrast to classical multi-band modeling, this formalism leads to a probabilistic speech model which allows communications between the different sub-bands and, consequently, no recombination step is required in recognition. We develop efficient learning and decoding algorithms both for isolated and continuous speech recognition. We present illustrative experiments on isolated and connected digit recognition tasks. These experiments show that the this new approach is very promising in the field of noisy speech recognition.

The phonetic context has a large effect on stop consonants in a continuous speech signal. Therefore, recognition systems that model allophones using context-dependent hidden Markov models have been implemented (Lamel and Gauvain, 1993). HMMs have a great ability for segmentation in the temporal domain but have some difficulties in recognition because the MLE training (maximum likelihood estimation) is not discriminant, whereas discrimination is one of the abilities of artificial neural network models. In the last three years we have developed a new ANN model named OWE (Orthogonal Weight Estimator). The principle of the OWE is an ANN that classifies an input pattern according to the contextual environment. This new ANN architecture tackles the problem of context dependent behaviour training. Roughly, the principle is based on a main MLP (multilayered perceptron) in which each synaptic weight connection value is estimated by another MLP (an OWE) with respect to context representation. In this paper, we present a hierarchical system for phoneme recognition: first the system segments the input signal using 48 context independent HMMs. Then the stop consonants are reordered by an OWE ANN. Experiments on TIMIT show 78% correct recognition rate on the 6 stop consonants (/p, t, k, b, d, g).

We describe a continuous speech recognition system that uses the multi-band paradigm. This principle is based on the recombination of several independent sub-recognizers, each one assigned to a specific frequency band. The major issue of such systems consists of deciding at which time the recombination must be done. Our algorithm lets each band be totally independent from the others, and uses the different solutions to resegment the initial sentence. Finally, the bands are synchronously merged together, according to this new segmentation. The whole system is too complex to be entirely described here, and, in this paper, we concentrate on the synchronous recombination part, which is achieved by a classifier. The system has been tested in clean and noisy environments, and proved to be especially robust to noise.

We introduce SmarTspelL, a new speaker-independent algorithm to recognize continuously spelled names over the telephone. Our method is based on an N-best multi-pass recognition strategy applying costly constraints when the number of possible candidates is low. This strategy outperforms an HMM recognizer using a grammar containing all the possible names. It is also more suitable to real-time implementation. For a 3388 name dictionary, a 95.3% name recognition rate is obtained. A real-time prototype has been implemented on a workstation. We also present comparisons of different feature sets for speech representation, and two speech recognition approaches based on first- and second-order HMMs.

Colloque avec actes et comité de lecture. internationale.; International audience; Support Vector Machines is a new and promising technique in statistical learning theory. Recently, this technique produced very interesting results in pattern recognition. In this paper, one of the first application of Support Vector Machines (SVM) technique for the problem of keyword spotting is presented. It classifies the correct and the incorrect keywords by using linear and Radial Basis Function kernels. This is a first work proposed to use SVM in keyword spotting, in order to improve recognition and rejection accuracy. The obtained results are very promising.

Colloque avec actes et comité de lecture. internationale.; International audience; Using the Bayesian networks framework, we present a new multi-band approach for continuous speech recognition. This new approach has the advantage to overcome all the limitations of the standard multi-band techniques. Moreover, it leads to a higher fidelity speech modeling than HMMs. We provide a preliminary evaluation of the performance of our new approach on a connected digits recognition task.

Colloque avec actes et comité de lecture. internationale.; International audience; In this paper, an algorithm for continuous speech recognition systems based on the Multi-Band principle is proposed. This algorithm allows the bands to be asynchronous and has a practical complexity that is very close to the complexity of the classical Viterbi algorithm. The question of whether the bands should be constrained to be synchronous or not is discussed. We show that it is advantageous to let the bands asynchronous, as the increase of complexity, compared to the Viterbi algorithm, is low with our algorithm. Moreover, the accuracy must be at least as good as when the bands are synchronous, and, more importantly, different models than phones, can be used in the bands. In this paper, an algorithm for continuous speech recognition systems based on the Multi-Band principle is proposed. This algorithm allows the bands to be asynchronous and has a practical complexity that is very close to the complexity of the classical Viterbi algorithm. The question of whether the bands should be constrained to be synchronous or not is discussed. We show that it is advantageous to let the bands asynchronous, as the increase of complexity, compared to the Viterbi algorithm, is low with our algorithm. Moreover, the accuracy must be at least as good as when the bands are synchronous, and, more importantly, different models than phones, can be used in the bands.

It is demonstrated that the STNN (selectively trained neural network) method improves confusable work discrimination. Tests conducted on clean and Lombard-noisy speech show that using only a small part (two frames) of the work where useful information for discrimination is located is more efficient than taking into account the whole word. Recognition scores obtained with a continuous-density HMM (hidden Markov model) are lower than those obtained with the proposed method. The present results show an increase in recognition accuracy for the tests on Lombard-noisy speech when the training is done on clean, Lombard, and Lombard-noisy speech. Furthermore, if the same noise is used for the training and the test, the STNN performances improve far more than those of the HMM. The STNN method does not need any precise detection of word boundaries. This influences the robustness of the method, especially in noisy conditions. >

The acoustic-phonetic decoding of sentences is a major bottleneck in continuous speech recognition. Our group has been working in this area for the past twelve years. In order to improve the accuracy of present phonetic decoders, we are now developing an expert system called APHODEX that should emulate the competence of an experienced spectrogram reader. After a brief description of the methodology used to elucidate the expert's knowledge and strategies, we focus on the expert's approach and results. Finally we explain how this expertise has been implemented; some results from the present experimental version of our system are given.

Colloque avec actes et comité de lecture. internationale.; International audience; In this work, we present a complete speech understanding system based on our speech recognizer: ESPERE. The input signal is processed and the best sentence is then proposed to the understanding module. In our case, the understanding problem is considered as a matching process between two different languages. At the entry, the request expressed in natural language and at the output the corresponding SQL form. The SQL request is obtained after an intermediate step in which the entry is expressed in terms of concepts. A concept represents a given meaning, it is defined by a set of words sharing the same semantic properties. In this paper, we propose a new Bayesian classifier to automatically extract the underlined concepts. We also propose a new approach for vector representation of words. Then, we describe the postprocessing step during which, we label our sentences and we generate the corresponding SQL queries. We conclude our paper by describing the integration step of our understanding module in a complete platform of human-machine oral intercation.

International audience; Rapidly changing social media content calls for robust and generalisable abuse detection models. However, the state-of-the-art supervised models display degraded performance when they are evaluated on abusive comments that differ from the training corpus. We investigate if the performance of supervised models for cross-corpora abuse detection can be improved by incorporating additional information from topic models, as the latter can infer the latent topic mixtures from unseen samples. In particular, we combine topical information with representations from a model tuned for classifying abusive comments. Our performance analysis reveals that topic models are able to capture abuse-related topics that can transfer across corpora, and result in improved generalisability.

International audience; The additional fee must be paid to ACM. This text field is large enough to hold the appropriate release statement assuming it is single spaced. Every submission will be assigned their own unique DOI string to be included here. Abstract The VocADom project aims to provide audio-based interaction technology that lets the users have full control over their home environment and at eases the social inclusion of the elderly and frail population. This paper presents an overview of the project focusing on multimodal corpus acquisition and labelling and on investigated techniques for speech enhancement and understanding.

The proliferation of social media, despite its multitude of benefits, has led to the increased spread of abusive language. Such language, being typically hurtful, toxic, or prejudiced against individuals or groups, requires timely detection and moderation by online platforms. Deep learning models for detecting abusive language have displayed great levels of in-corpus performance but underperform substantially outside the training distribution. Moreover, they require a considerable amount of expensive labeled data for training.This strongly encourages the effective transfer of knowledge from the existing annotated abusive language resources that may have different distributions to low-resource corpora. This thesis studies the problem of transfer learning for abusive language detection and explores various solutions to improve knowledge transfer in cross-corpus scenarios.First, we analyze the cross-corpus generalizability of abusive language detection models without accessing the target during training. We investigate if combining topic model representations with contextual representations can improve generalizability. The association of unseen target comments with abusive language topics in the training corpus is shown to provide complementary information for a better cross-corpus transfer.Secondly, we explore Unsupervised Domain Adaptation (UDA), a type of transductive transfer learning, with access to the unlabeled target corpus. Some popular UDA approaches from sentiment classification are analyzed for cross-corpus abusive language detection. We further adapt a BERT model variant to the unlabeled target using the Masked Language Model (MLM) objective. While the latter improves the cross-corpus performance, the other UDA methods perform sub-optimally. Our analysis reveals their limitations and emphasizes the need for effective adaptation methods suited to this task.As our third contribution, we propose two DA approaches using feature attributions, which are post-hoc model explanations. Particularly, the problem of spurious corpus-specific correlations is studied that restrict the generalizability of classifiers for detecting hate speech, a sub-category of abusive language. While the previous approaches rely on a manually curated list of terms, we automatically extract and penalize the terms causing spurious correlations. Our dynamic approaches improve the cross-corpus performanceover previous works both independently and in combination with pre-defined dictionaries.Finally, we consider transferring knowledge from a resource-rich source to a low-resource target with fewer labeled instances, across different online platforms. A novel training strategy is proposed, which allows flexible modeling of the relative proximity of neighbors retrieved from the resource-rich corpus to learn the amount of transfer. We incorporate neighborhood information with Optimal Transport that permits exploitingthe embedding space geometry. By aligning the joint embedding and label distributions of neighbors, substantial improvements are obtained in low-resource hate speech corpora.; La prolifération des médias sociaux, malgré ses nombreux avantages, a entraîné une augmentation des propos injurieux. Ces propos, qui sont généralement blessants, toxiques ou empreints de préjugés à l'encontre d'individus ou de groupes, doivent être détectés et modérés rapidement par les plateformes en ligne. Les modèles d'apprentissage profond pour la détection de propos abusifs ont montré des niveaux de performance élevé quand ils sont évalués sur des données similaires à celles qui ont servi à entraîner les modèles, mais sont nettement moins performants s'ils sont évalués sur des données dont la distribution est différente. En outre, ils nécessitent une quantité considérable de données étiquetées coûteuses pour l'apprentissage. C'est pour cela qu'il est intéressant d'étudier le transfert efficace de connaissances à partir de corpus annotés existants de propos abusifs. Cette thèse étudie le problème de l'apprentissage par transfert pour la détection de propos abusifs et explore diverses solutions pour améliorer le transfert de connaissances dans des scénarios inter corpus.Tout d'abord, nous analysons la généralisabilité inter-corpus des modules de détection de propos abusifs sans accéder à des données cibles pendant le processus d'apprentissage. Nous examinons si la combinaison des représentations issues du thème (topic) avec des représentations contextuelles peut améliorer la généralisabilité. Nous montrons que l'association de commentaires du corpus cible avec des thèmes du corpus d'entraînement peut fournir des informations complémentaires pour un meilleur transfert inter-corpus.Ensuite, nous explorons l'adaptation au domaine non supervisée (UDA, Unsupervised Domain Adaptation), un type d'apprentissage par transfert transductif, avec accès au corpus cible non étiqueté. Nous explorons certaines approches UDA populaires dans la classification des sentiments pour la détection de propos abusifs dans le cadre de corpus croisés. Nous adaptons ensuite une variante du modèle BERT au corpus cible non étiqueté en utilisant la technique du modèle de langue avec masques (MLM Masked Language Model). Alors que cette dernière améliore les performances inter-corpus, les autres approches UDA ont des performances sous-optimales. Notre analyse révèle leurs limites et souligne le besoin de méthodes d'adaptation efficaces pour cette tâche.Comme troisième contribution, nous proposons deux approches d'adaptation au domaine utilisant les attributions de caractéristiques (feature attributions), qui sont des explications a posteriori du modèle. En particulier, nous étudions le problème des corrélations erronées (spurious correlations) spécifiques à un corpus qui limitent la généralisation pour la détection des discours de haine, un sous-ensemble des propos abusifs. Alors que les approches de la littérature reposent sur une liste de termes établie manuellement, nous extrayons et pénalisons automatiquement les termes qui causent des corrélations erronées. Nos approches dynamiques améliorent les performances dans le cas de corpus croisés par rapport aux travaux précédents, à la fois indépendamment et en combinaison avec des dictionnaires prédéfinis.Enfin, nous considérons le transfert de connaissances d'un domaine source avec beaucoup de données étiquetées vers un domaine cible, où peu d'instances étiquetées sont disponibles. Nous proposons une nouvelle stratégie d'apprentissage, qui permet une modélisation flexible de la proximité relative des voisins récupérés dans le corpus source pour apprendre la quantité de transfert utile. Nous incorporons les informations de voisinage avec une méthode de transport optimal (Optimal Transport ) qui exploite la géométrie de l'espace de représentation (embedding space) . En alignant les distributions conjointes de l'embedding et des étiquettes du voisinage, nous montrons des améliorations substantielles dans des corpus de discours haineux de taille réduite.

The phenomenal increase in internet usage, catering to the dissemination of knowledge and expression, has also led to an increase in online hate speech. Online hate speech is anti-social communicative behavior, which leads to the threat and violence towards an individual or a group. Deep learning-based models have become the state-of-the-art solution in classifying hate speech. However, the performance of these models depends on the amount of labeled training data. In this thesis, we explore various solutions to expand the training data to train a reliable model for hate speech classification. As the first approach, we use a semi-supervised learning approach to combine the huge amount of unlabeled data, easily available on the internet, with a limited amount of labeled data to train the classifier. For this, we use the label-propagation algorithm. The performance of this method depends on the representation space of labeled and unlabeled data. We show that pre-trained sentence embeddings are label agnostic and yield poor results. We propose a simple and effective neural-network-based approach for transforming these pre-trained representations to task-aware ones. This method achieves significant performance improvements in low-resource scenarios. In our second approach, we explore data augmentation, a solution to obtain synthetic samples using the original training data. Our data augmentation technique is based on a single conditional GPT-2 language model fine-tuned on the original training data. Our approach uses a fine-tuned BERT model to select high-quality synthetic data. We study the effect of the quantity of augmented data and show that using a few thousand synthetic samples yields significant performance improvements in hate speech classification. Our qualitative evaluation shows the effectiveness of using BERT for filtering the generated samples. For our final approach, we use multi-task learning as a method to combine several available hate speech datasets and jointly train a single classification model. Our approach leverages the advantages of a pre-trained language model (BERT) as shared layers of our multi-task architecture. We treat one hate speech corpus as one task. Thus, adopting the paradigm of multi-task learning to multi-corpus learning. We show that training a multi-task model with several corpora achieves similar performance as training several corpus-specific models. Nevertheless, fine-tuning the multi-task model for a specific corpus allows improving the results. We demonstrate the effectiveness of our multi-task learning approach for domain adaptation on hate speech corpora. We explore the three proposed approaches in low-resource scenarios and show that they achieve significant performance improvements in very low-resource setups.; L'augmentation phénoménale de l'utilisation d'Internet, qui permet la diffusion d'opinions, a également entraîné une augmentation des discours de haine en ligne. Les discours de haine sont des comportements de communication antisociaux, qui conduisent à des menaces ou à des violences envers un individu ou un groupe. Les modèles basés sur l'apprentissage profond sont devenus la solution état de l'art pour détecter les discours de haine. Cependant, la performance de ces modèles dépend de la quantité de données d'entraînement étiquetées. Dans cette thèse, nous explorons différentes solutions pour augmenter les données d'entraînement afin de d'entrainer un modèle performant pour la classification des discours de haine. Comme première approche, nous proposons d'utiliser apprentissage semi-supervisé pour combiner une grande quantité de données non étiquetées, facilement disponibles sur Internet, avec une quantité limitée de données étiquetées pour entraîner un classifieur. Pour cela, nous utilisons l'algorithme de propagation d'étiquettes. La performance de cette méthode dépend de l'espace de représentation des données. Nous montrons que les plongement (embeddings) de phrases pré-entraînés sont agnostiques et donnent de mauvais résultats. Nous proposons une approche simple et efficace basée sur les réseaux de neurones pour transformer ces représentations pré-entraînées en représentations adaptées à la tache de détection de la haine. Cette méthode permet d'améliorer considérablement les performances dans des scénarios à faibles ressources. Nous explorons les trois approches proposées dans des scénarios à faibles ressources et nous montrons qu'elles permettent d'améliorer considérablement les performances dans des configurations à très faibles ressources. Dans notre deuxième approche proposée, nous explorons une méthode d'augmentation de données (data augmentation), une solution pour générer des échantillons synthétiques en utilisant les données d'entraînement originales. Notre technique d'augmentation des données est basée sur un modèle de langage conditionnel GPT-2 ajusté (fine-funing) sur les données d'entraînement originales. Notre approche utilise un modèle BERT pour sélectionner des données synthétiques de bonne qualité. Nous étudions l'effet de la quantité de données générées et montrons que l'utilisation de quelques milliers d'échantillons synthétiques permet d'améliorer considérablement les performances de la classification des discours haineux. Notre évaluation qualitative montre l'efficacité de l'utilisation de BERT pour filtrer les échantillons générés. Dans notre approche finale, nous utilisons l'apprentissage multi-tâches comme méthode pour combiner plusieurs corpus disponibles de discours haineux et entraîner conjointement un seul modèle de classification. Notre approche exploite les avantages d'un modèle de langage pré-entraîné (BERT) pour les couches partagées de notre architecture multi-tâches. Nous considérons un corpus de discours de haine comme une tâche. Ainsi, nous adaptons le paradigme de l'apprentissage multi-tâches à l'apprentissage multi-corpus. Nous montrons que le réglage fin du modèle multi-tâches pour un corpus spécifique permet d'améliorer les résultats. De plus, notre méthode a obtenu de bonnes performances dans le cadre de l'adaptation au domaine (domain adaptation).

Voice based personal assistants are part of our daily lives. Their performance suffers in the presence of signal distortions, such as noise, reverberation, and competing speakers. This thesis addresses the problem of extracting the signal of interest in such challenging conditions by first localizing the target speaker and using the location to extract the target speech. In a first stage, a common situation is considered when the target speaker utters a known word or sentence such as the wake-up word of a distant-microphone voice command system. A method that exploits this text information in order to improve the speaker localization performance in the presence of competing speakers is proposed. The proposed solution uses a speech recognition system to align the wake-up word to the corrupted speech signal. A model spectrum representing the aligned phones is used to compute an identifier which is then used by a deep neural network to localize the target speaker. Results on simulated data show that the proposed method reduces the localization error rate compared to the classical GCC-PHAT method. Similar improvements are observed on real data. Given the estimated location of the target speaker, speech separation is performed in three stages. In the first stage, a simple delay-and-sum (DS) beamformer is used to enhance the signal impinging from that location which is then used in the second stage to estimate a time-frequency mask corresponding to the localized speaker using a neural network. This mask is used to compute the second-order statistics and to derive an adaptive beamformer in the third stage. A multichannel, multispeaker, reverberated, noisy dataset --- inspired from the famous WSJ0-2mix dataset --- was generated and the performance of the proposed pipeline was investigated in terms of the word error rate (WER). To make the system robust to localization errors, a Speaker LOcalization Guided Deflation (SLOGD) based approach which estimates the sources iteratively is proposed. At each iteration the location of one speaker is estimated and used to estimate a mask corresponding to that speaker. The estimated source is removed from the mixture before estimating the location and mask of the next source. The proposed method is shown to outperform Conv-TasNet. Finally, we consider the problem of explaining the robustness of neural networks used to compute time-frequency masks to mismatched noise conditions. We employ the so-called SHAP method to quantify the contribution of every time-frequency bin in the input signal to the estimated time-frequency mask. We define a metric that summarizes the SHAP values and show that it correlates with the WER achieved on separated speech. To the best of our knowledge, this is the first known study on neural network explainability in the context of speech separation., Les assistants vocaux font partie de notre vie quotidienne. Leurs performances sont mises à l'épreuve en présence de distorsions du signal, telles que le bruit, la réverbération et les locuteurs simultanés. Cette thèse aborde le problème de l'extraction du signal d'intérêt dans de telles conditions acoustiques difficiles en localisant d'abord le locuteur cible puis en utilisant la position spatiale pour extraire le signal de parole correspondant. Dans un premier temps, nous considérons la situation courante où le locuteur cible prononce un mot ou une phrase connue, comme le mot de réveil d'un système de commande vocale mains-libres. Nous proposons une méthode afin d'exploiter cette information textuelle pour améliorer la localisation du locuteur en présence de locuteurs simultanés. La solution proposée utilise un système de reconnaissance vocale pour aligner le mot de réveil au signal vocal corrompu. Un spectre de référence représentant les phones alignés est utilisé pour calculer un identifiant qui est ensuite utilisé par un réseau de neurones profond pour localiser le locuteur cible. Les résultats sur des données simulées montrent que la méthode proposée réduit le taux d'erreur de localisation par rapport à la méthode classique GCC-PHAT. Des améliorations similaires sont constatées sur des données réelles. Étant donnée la position spatiale estimée du locuteur cible, la séparation de la parole est effectuée en trois étapes. Dans la première étape, une simple formation de voie delay-and-sum (DS) est utilisée pour rehausser le signal provenant de cette direction, qui est utilisé dans la deuxième étape par un réseau de neurones pour estimer un masque temps-fréquence. Ce masque est utilisé pour calculer les statistiques du second ordre et pour effectuer une formation de voie adaptative dans la troisième étape. Un ensemble de données réverbéré, bruité avec plusieurs canaux et plusieurs locuteurs --- inspiré du célèbre corpus WSJ0-2mix --- a été généré et la performance de la méthode proposée a été étudiée en terme du taux d'erreur sur les mots (WER). Pour rendre le système plus robuste aux erreurs de localisation, une approche par déflation guidée par la localisation (SLOGD) qui estime les sources de manière itérative est proposée. À chaque itération, la position spatiale d'un locuteur est estimée puis utilisée pour estimer un masque correspondant à ce même locuteur. La source estimée est retirée du mélange avant d'estimer la position et le masque de la source suivante. La méthode proposée surpasse Conv-TasNet. Enfin, le problème d'expliquer la robustesse des réseaux de neurones utilisés pour calculer les masques temps-fréquence à des conditions de bruit différentes. Nous utilisons la méthode dite SHAP pour quantifier la contribution de chaque point temps-fréquence du signal d'entrée au masque temps-fréquence estimé. Nous définissons une métrique qui résume les valeurs SHAP et montrons qu'elle est corrélée au WER obtenu sur la parole séparée. À notre connaissance, il s'agit de la première étude sur l'explicabilité des réseaux de neurones dans le contexte de la séparation de la parole.

The diachronic nature of broadcast news causes frequent variations in the linguisticcontent and vocabulary, leading to the problem of Out-Of-Vocabulary (OOV)words in automatic speech recognition. Most of the OOV words are found tobe proper names whereas proper names are important for automatic indexingof audio-video content as well as for obtaining reliable automatic transcriptions.New proper names missed by the speech recognition system can be recovered by adynamic vocabulary multi-pass recognition approach in which new proper namesare added to the speech recognition vocabulary based on the context of the spokencontent. Existing methods for vocabulary selection rely on web search engines andadaptation corpora and choose the new vocabulary words using term-documentfrequency and co-occurrence based features. Open vocabulary systems based onsub-word units are an interesting solution but they face the problem of producinga reliable text transcription. The goal of this thesis is to model the semantic andtopical context of new proper names in order to retrieve those which are relevantto the spoken content in the audio document. Training semantic/topic models is achallenging problem in this task because (a) several new proper names come witha low amount of data and (b) the context model should be robust to word errorsin the automatic transcription. Probabilistic topic models and word embeddingsfrom neural network models are explored for the task of retrieval of relevantproper names. A thorough evaluation of contextual representations from thesemodels is performed. It is argued that these representations, which are learnedin an unsupervised manner, are not the best for the given retrieval task. Neuralnetwork context models trained with an objective to maximise the retrieval performanceare proposed. A Neural Bag-of-Words (NBOW) model trained to learncontext vector representations at a document level is shown to outperform thegeneric representations. The proposed Neural Bag-of-Weighted-Words (NBOW2)model learns to assign a degree of importance to input words and has the abilityto capture task specic key-words. Experiments on automatic speech recognitionon French broadcast news videos demonstrate the eectiveness of the proposedmodels. Further evaluation of the NBOW2 model on standard text classicationtasks, including movie review sentiment classication and newsgroup topic classication, shows that it learns interesting information about the task and givesthe best classication accuracies among the bag-of-words models.; La nature diachronique des bulletins d'information provoque de fortes variationsdu contenu linguistique et du vocabulaire, conduisant au problème demots hors vocabulaire (Out-Of-Vocabulary OOV) dans le cadre de la reconnaissanceautomatique de la parole. La plupart des mots OOV se trouvent êtredes noms propres; ces noms propres sont importants pour l'indexation automatiquede ces contenus audio-vidéo, ainsi que pour obtenir des transcriptions fiables. Le but de cette these est de retrouver les noms propres manquants enutilisant le contexte an de les intégrer dans le lexique du système de reconnaissancepour effectuer une deuxièeme passe de reconnaissance. Les méthodesexistantes pour la sélection de nouveaux mots a ajouter au vocabulaire utilisentdes documents textuels récuperés sur le internet et choisissent les nouveaux motsde vocabulaire en utilisant des matrices terme-document ou des co-occurrencesde mots. Dans cette these nous allons modéliser le contexte sémantique etutiliser des informations thématiques contenus dans le document audio a transcrirean de récupérer les noms propres pertinents. Des modèles probabilistesde thème (topic model) et des projections dans un espace continu obtenues al'aide de réseaux de neurones (word embeddings) sont explorés pour la tâchede récuperation des noms propres pertinents. Une évaluation approfondie deces représentations contextuelles a été réalisée. Le contexte est estimé a l'aidede réseaux de neurones appris avec l'objectif de maximiser la récuperation desnoms propres pertinents. Un modèle de neurones (Neural Bag-of-Words, NBOW)entra^ne pour apprendre des représentations contextuelles au niveau du documentobtient de meilleures performances que les modèles classiques. Le nouveaumodèle que nous proposons (Bag-of-Weighted-Words, NBOW2) estime un degréd'importance pour chacun des mots du document et a la capacité de capturerdes mots importants spéciques. Des expériences de reconnaissance automatiquede bulletins d'information télévisés démontrent l'efficacité des modèles proposes.Une évaluation plus poussée du modèle NBOW2 sur les tâches de classicationde texte, d'analyse de critique de lm et de classication thématique de texteissus de groupe de discussion, démontre la capacité d'apprentissage du modèle etsurpasse les modèles utilisant des sac-de-mots (Bag-Of-Words, BOW).

The diachronic nature of broadcast news causes frequent variations in the linguisticcontent and vocabulary, leading to the problem of Out-Of-Vocabulary (OOV)words in automatic speech recognition. Most of the OOV words are found tobe proper names whereas proper names are important for automatic indexingof audio-video content as well as for obtaining reliable automatic transcriptions.New proper names missed by the speech recognition system can be recovered by adynamic vocabulary multi-pass recognition approach in which new proper namesare added to the speech recognition vocabulary based on the context of the spokencontent. Existing methods for vocabulary selection rely on web search engines andadaptation corpora and choose the new vocabulary words using term-documentfrequency and co-occurrence based features. Open vocabulary systems based onsub-word units are an interesting solution but they face the problem of producinga reliable text transcription. The goal of this thesis is to model the semantic andtopical context of new proper names in order to retrieve those which are relevantto the spoken content in the audio document. Training semantic/topic models is achallenging problem in this task because (a) several new proper names come witha low amount of data and (b) the context model should be robust to word errorsin the automatic transcription. Probabilistic topic models and word embeddingsfrom neural network models are explored for the task of retrieval of relevantproper names. A thorough evaluation of contextual representations from thesemodels is performed. It is argued that these representations, which are learnedin an unsupervised manner, are not the best for the given retrieval task. Neuralnetwork context models trained with an objective to maximise the retrieval performanceare proposed. A Neural Bag-of-Words (NBOW) model trained to learncontext vector representations at a document level is shown to outperform thegeneric representations. The proposed Neural Bag-of-Weighted-Words (NBOW2)model learns to assign a degree of importance to input words and has the abilityto capture task specic key-words. Experiments on automatic speech recognitionon French broadcast news videos demonstrate the eectiveness of the proposedmodels. Further evaluation of the NBOW2 model on standard text classicationtasks, including movie review sentiment classication and newsgroup topic classication, shows that it learns interesting information about the task and givesthe best classication accuracies among the bag-of-words models.; La nature diachronique des bulletins d'information provoque de fortes variationsdu contenu linguistique et du vocabulaire, conduisant au problème demots hors vocabulaire (Out-Of-Vocabulary OOV) dans le cadre de la reconnaissanceautomatique de la parole. La plupart des mots OOV se trouvent êtredes noms propres; ces noms propres sont importants pour l'indexation automatiquede ces contenus audio-vidéo, ainsi que pour obtenir des transcriptions fiables. Le but de cette these est de retrouver les noms propres manquants enutilisant le contexte an de les intégrer dans le lexique du système de reconnaissancepour effectuer une deuxièeme passe de reconnaissance. Les méthodesexistantes pour la sélection de nouveaux mots a ajouter au vocabulaire utilisentdes documents textuels récuperés sur le internet et choisissent les nouveaux motsde vocabulaire en utilisant des matrices terme-document ou des co-occurrencesde mots. Dans cette these nous allons modéliser le contexte sémantique etutiliser des informations thématiques contenus dans le document audio a transcrirean de récupérer les noms propres pertinents. Des modèles probabilistesde thème (topic model) et des projections dans un espace continu obtenues al'aide de réseaux de neurones (word embeddings) sont explorés pour la tâchede récuperation des noms propres pertinents. Une évaluation approfondie deces représentations contextuelles a été réalisée. Le contexte est estimé a l'aidede réseaux de neurones appris avec l'objectif de maximiser la récuperation desnoms propres pertinents. Un modèle de neurones (Neural Bag-of-Words, NBOW)entra^ne pour apprendre des représentations contextuelles au niveau du documentobtient de meilleures performances que les modèles classiques. Le nouveaumodèle que nous proposons (Bag-of-Weighted-Words, NBOW2) estime un degréd'importance pour chacun des mots du document et a la capacité de capturerdes mots importants spéciques. Des expériences de reconnaissance automatiquede bulletins d'information télévisés démontrent l'efficacité des modèles proposes.Une évaluation plus poussée du modèle NBOW2 sur les tâches de classicationde texte, d'analyse de critique de lm et de classication thématique de texteissus de groupe de discussion, démontre la capacité d'apprentissage du modèle etsurpasse les modèles utilisant des sac-de-mots (Bag-Of-Words, BOW).

Non disponible / Not available, Le travail de recherche présenté dans ce mémoire réalise l'étude d'une nouvelle architecture pour les systèmes de reconnaissance automatique de la parole. Cette architecture est basée sur un découpage du spectre du signal en plusieurs zones fréquentielles, éventuellement recouvrantes, et sur un traitement indépendant de chacune de ces «bandes». Celles-ci sont ensuite recombinées afin de fournir une réponse unique au problème de la reconnaissance. L'utilisation de cette méthode dite « Multi-Bandes » est à l'origine motivée par les travaux du psycho-acousticien H. Fletcher, travaux qui ont été récemment reconsidérés par J. B. Allen et qui aboutissent à un modèle de l'audition humaine proche de ce principe. L'application de celui-ci à une tâche de reconnaissance automatique de la parole est généralement motivée par sa robustesse aux bruits limités fréquentiellement. Nous montrons dans ce mémoire qu'il possède d'autres avantages, moins attendus, comme la résistance à tous les types de bruits stationnaires, et qu'il peut également surpasser le système de référence dans des environnements non bruités.Ce mémoire commence par présenter les travaux existant dans le domaine du « Multi-Bandes », puis réalise une étude préliminaire du comportement de chacune des bandes. Ensuite, le problème du choix du module de recombinaison est posé, et plusieurs solutions sont proposées et testées. De même, nous montrons qu'il n'est pas possible d'utiliser l'algorithme classique de Viterbi en reconnaissance continue lorsque les bandes sont asynchrones, et différentes autres possibilités sont étudiées. Nous proposons ainsi deux algorithmes permettant de recombiner les bandes soit en fin de phrase, soit après des segments temporels associés à des unités de parole, comme les phonèmes.