Search

Recently, Speech Emotion Recognition (SER) has become an important research topic of affective computing. It is a difficult problem, where some of the greatest challenges lie in the feature selection and representation tasks. A good feature representation should be able to reflect global trends as well as temporal structure of the signal, since emotions naturally evolve in time; it has become possible with the advent of Recurrent Neural Networks (RNN), which are actively used today for various sequence modeling tasks. This paper proposes a hybrid approach to feature representation, which combines traditionally engineered statistical features with Long Short-Term Memory (LSTM) sequence representation in order to take advantage of both short-term and long-term acoustic characteristics of the signal, therefore capturing not only the general trends but also temporal structure of the signal. The evaluation of the proposed method is done on three publicly available acted emotional speech corpora in three different languages, namely RUSLANA (Russian speech), BUEMODB (Turkish speech) and EMODB (German speech). Compared to the traditional approach, the results of our experiments show an absolute improvement of 2.3% and 2.8% for two out of three databases, and a comparative performance on the third. Therefore, provided enough training data, the proposed method proves effective in modelling emotional content of speech utterances. © 2019 St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences. All rights reserved. Russian Science Foundation, RSF: 18-11-00145 This research is supported by the Russian Science Foundation (project ? 18-11-00145). This research is supported by the Russian Science Foundation (project

This paper presents a framework for estimating the apparent age of a subject from their face image. To learn the age estimation model, we used a set of visual descriptors and their feature-level fusion to obtain a single feature vector for apparent age. For model learning, we used regression with Extreme Learning Machines (ELM) with Gaussian (RBF) kernels. We tested the proposed system with k-fold cross-validation on the dataset provided by ChaLearn Looking at People 2015 - Apparent Age Estimation challenge. By combining visual descriptors from multiple grids, we obtained a Mean Absolute Error (MAE) of 5.20.

İnsan-makina iletişimini insan-insan iletişimine yaklaştırmak için, insan-makina etkileşim alanında duygu durum (örn. duygu, ruh hali), özellik (örn. kişilik) ve sosyal işaretler (örn. düş kırıklığı, fikir ayrılığı) analizine artan ilgi söz konusudur.Bunun akıllı eğitim sistemlerinden duyguları anlayabilen robotlara, akıllı çağrı merkezlerinden uzaktan hastaları takip eden sistemlere kadar çeşitli uygulamaları vardır. Konuşmacı durum ve özelliklerini kapsayan hesaplamasal paralinguistik çalışma alanı, konuşmacı ve veritabanı değişkenliği gibi gerçek hayat problemleriyle yüzleşmektedir. Bu tezde, bu problemleri çözmek için çeşitli yapay öğrenme yöntemleri geliştirilmesi hedeflenmiştir. Yüksek boyutlu paralinguistik verilerin modellenmesi için otomatik model seçim yöntemleri geliştirilmiştir. Bu yaklaşımlar farklı değişkenlik kaynaklarını parametrik bir şekilde ele alabilmektedir. İstatistiksel modeller ve sınıflayıcılara özlü, potansiyeli yüksek öznitelikler sağlamak için ayrımsayıcı izdüşüm tabanlı yeni değişken seçim yöntemleri tanıtılmıştır. Ek olarak, zorlu koşullarda gürbüz duyuşsal hesaplama için çok-kipli tümleştirme teknikleri irdelenmiştir. Önerilen yöntem ve yaklaşımlar INTERSPEECH Computational Paralinguistics Challenge (2013-2015), Audio-Visual Emotion Challenge (2013/2014), ve Emotion Recognition in the Wild Challenge 2014 gibi bir dizi yakın tarihli yarışma veri kümelerinde geçerlenmiştir. Bu tezde önerilen yöntemler sadelik ve hesaplamasal verimlilik özelliklerini taşımakla beraber, bu veri kümelerinin çoğunda problem üzerinde raporlanmış en iyi çözümlere çok yakın veya daha yüksek başarı elde etmiştir. The analysis of affect (e.g. emotions or mood), traits (e.g. personality), and social signals (e.g. frustration, disagreement) are of increasing interest in human computer interaction, in order to drive human-machine communication to become closer to human-human communication. It has manifold applications ranging from intelligent tutoring systems to affect sensitive robots, from smart call centers to patient telemonitoring. The study of computational paralinguistics, which covers the analysis of speaker states and traits, faces with real life challenges of inter-speaker and inter-corpus variability. In this thesis, machine learning methods addressing these challenges are targeted. Automatic model selection methods are explored for modeling high dimensional paralinguistics data. These approaches can deal with different sources of variability in a parametric manner. To provide statistical models and classifiers with a compact set of potent features, novel feature selection methods based on discriminative projections are introduced. In addition, multimodal fusion techniques are sought for robust affective computing in the wild. The proposed methods and approaches are validated over a set of recent challenge corpora, including INTERSPEECH Computational Paralinguistics Challenge (2013-2015), Audio-Visual Emotion Challenge (2013/2014), and Emotion Recognition in the Wild Challenge 2014. The methods proposed in this thesis advance the state-of-the-art in most of these corpora and yield competitive results in others, while enjoying the properties of parsimony and computational efficiency. 175

Örüntü tanımada, mevcut bütün değişkenlerin bir sınıflandırıcıya tek bir girdi vektörü olarak verilmesi öğrenme algoritmasının genelleştirme yeteneğini boyutsallığın laneti olarak bilinen olgudan dolayı zayıflatır ki bu olgu değişken kümesinin büyüklüğü arttıkça, değişken uzayının sabit sayıda veri noktasıyla daha az karşılanmasını ifade eder. Şu ana kadarki çoğu çalışma değişkenler ile bireysel olarak ilgilendi, ancak bazı yüksek boyutlu verikümeleri literatürde ?bakış? olarak bilinen çeşitli doğal gruplara ayrılmış değişkenler içerir. Çok-bakışlı öğrenmedeki teknikler veri örneklerinin farklı bakışlarından, ki bir insan konuşmasının görüntü ve sesi buna tipik bir örnektir, en üst düzeyde faydalanır. Görüntü ve ses gibi farklı boyutlar eğer kararları birleştirilirse birbirine daha iyi sınıflandırma yapmak için yardımcı olabilir. Çok-bakışlı yöntemler her bakışın bağımsız değişkenlerinden yararlanabilmeleri ve karmaşık dağılımları daha etkin bir şekilde öğrenmeleri noktalarında tek bakışlı yöntemlerden daha faydalıdır. Bir bakış içindeki değişkenler doğal bir kombinasyon olduğundan değişken seçim teknikleri bu tür verikümelerine doğrudan uygulanamaz çünkü her bakıştan bazı değişkenleri seçip bunları tek bir değişken vektörü içinde birleştirmek önceden bahsedilen boyutsallığın laneti hususu ile aşırı öğrenme hususundan dolayı verimsiz olabilir. Bu tezde, değişken seçimi için kullanılan çeşitli yöntemler yüksek girdi boyutsallığının lanetinden sakınmak amacıyla çok-bakışlı sınıflandırma bağlamına uyarlanmıştır. Bu çalışmanın amacı, birarada olduğunda en az verikümesinin tek bakışlı hali (verikümesindeki her örnek için bütün değişkenlerin tek bir değişken vektörü teşkil edecek şekilde birleştirilmesi) kadar iyi bakışları seçmek ve bunun yanında bir sonraki öğrenme sürecinde kullanılmak üzere bu bakışlardan değişken özütlemektir. Bu yöntemlerin sonuçları çok-bakışlı sınıflandırma problemlerinde bir yol haritası çizmek için karşılaştırılmıştır. In pattern recognition, using all the available features as a single input vector to a classifier is known to worsen the generalization of the learning algorithm due to the phenomenon known as the curse of dimensionality, which stands for the diminishing coverage of the feature space with fixed number of data points as the feature set size increases. Most studies so far concerned with features individually, however some high dimensional datasets do contain features naturally organized into several groups, which are known as ?views? in the literature. Techniques in multi-view learning exploit multiple views of the data samples, one of the typical examples of which is the audio versus video of a human speaking. Such different modalities as audio and video could help each other in making improved classification if their decisions are fused. Multi-view methods can be more successful than single view learning techniques in that they can exploit independent properties of each view and more effectively learn complex distributions. As the features in a view is a natural combination, feature selection techniques are not directly applicable to such datasets because that would involve picking some features from each view and fusing them into a single feature vector, resulting in the aforementioned curse of dimensionality or over-learning considerations. In this thesis, several methods for feature selection are tailored to fit to the context of multi-view classification so as to avoid the curse of high input dimensionality. Aim of the study was to find efficient methods for selecting those views, which cooperatively perform as well as or better than the single-view counterpart (i.e. the whole set of features fused into a single feature vector for each sample of the dataset) and besides, extracting features from those views to enhance subsequent learning process. The results of these methods are compared to draw a road map in multi-view classification problems. 62