Search

Proceedings of the ICA 2019 and EAA Euroregio : 23rd International Congress on Acoustics, integrating 4th EAA Euroregio 2019 : 9-13 September 2019, Aachen, Germany / proceedings editor: Martin Ochmann, Michael Vorländer, Janina Fels 23rd International Congress on Acoustics, integrating 4th EAA Euroregio 2019, ICA 2019, Aachen, Germany, 9 Sep 2019 - 13 Sep 2019; Aachen (2019)., Published by Aachen

Proceedings of the ICA 2019 and EAA Euroregio : 23rd International Congress on Acoustics, integrating 4th EAA Euroregio 2019 : 9-13 September 2019, Aachen, Germany / proceedings editor: Martin Ochmann, Michael Vorländer, Janina Fels 23rd International Congress on Acoustics, integrating 4th EAA Euroregio 2019, ICA 2019, Aachen, Germany, 9 Sep 2019 - 13 Sep 2019; Aachen (2019)., Published by Aachen

Proceedings of the EAA Joint Symposium on Auralization and Ambisonics : Berlin, 03th–05th April, 2014 / Eds: Stefan Weinzierl, Michael Vorländer, Franz Zotter, Hans-Joachim Maempel, Alexander Lindau EAA Joint Symposium on Auralization and Ambisonics, Berlin, Germany, 201-04-03 - 5 Apr 2014; Berlin : Universitätsverlag der TU Berlin 182-188 (2014). doi:10.14279/depositonce-33, Published by Universitätsverlag der TU Berlin, Berlin

In this work the importance of individualization in binaural technique is investigated. The results extend the present knowledge on the efficient measurement of individual head-related transfer functions (HRTFs) and highlight the importance of individual equalization filters in binaural re-production, both via loudspeakers and headphones. Moreover, an integrated framework for the calculation of such equalization filters is presented. An innovative measurement setup was developed to allow the fast acquisition of individual HRTFs. The hardware was designed to be compatible with the range extrapolation technique, which makes the description of the HRTF's distance-dependence possible. Major speedup was obtained by optimizing the multiple exponential sweep method. An individual HRTF dataset with approximately 4000 directions can be measured in less than 6 minutes with this new setup. Crosstalk cancellation (CTC) filters are required when playing back binaural signals via loud-speakers. To allow listeners to freely move their heads, switching between multiple loudspeakers is required and the CTC filters must be continuously updated according to the tracked head posi-tion. Filter calculations are carried out in the frequency domain for speed reasons. To impose causality constraints to the regularized frequency domain calculations, a CTC filter calculation framework is proposed, which incorporates a new approach for the multi-channel minimum-phase regularization. This framework also addresses the switching between active loudspeakers through the use of a weighted filter calculation. A sound localization test showed that individualized CTC systems provide performance similar to that of binaural listening while nonindividualized CTC systems provide a significantly lower localization performance. To deliver an authentic auditory impression without additional spectral coloration, binaural re-production via headphones must be adequately equalized. Such equalization filters are obtained by inverting the headphone transfer function, which varies among listeners and individual fitting. To cope with these variations, a robust individual headphone equalization method was proposed. Perceptual tests showed that, in all but one of the tested situations, no audible differences be-tween the original sound source and its binaural auditory display could be perceived.

Orientadores: Bruno Sanches Masiero, Felipe Leonel Grijalva Arévalo Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O sistema auditivo humano tem a capacidade de extrair significado do som, ajudan-do-nos a identificar e localizar sons em um ambiente acústico. O desenvolvimento de métodos computacionais inspirados nas capacidades e comportamentos humanos estabeleceu oportunidades para melhorar a escuta de máquina. Estudos recentes baseados em aprendizado profundo mostram que o uso de redes neurais convolucionais e recorrentes é uma abordagem promissora para a tarefa de detecção e localização de eventos sonoros (SELD). Mas, dependendo do ambiente sonoro, o desempenho dos sistemas ainda está longe de atingir métricas satisfatórias, apesar de já ter superado o desempenho humano para algumas tarefas. Portanto, este projeto pretende aumentar o desempenho dos sistemas SELD estudados, melhorando diferentes etapas do processo. É proposto o uso de filtros auditivos Gammatone para a extração de características acústicas, e contempla-se a implementação de um bloco de convoluções temporais numa arquitetura de rede convolucional recorrente. O sistema suportará a detecção e localização de até três eventos sonoros que podem ser da mesma classe ou não. Além disso, devido à quantidade limitada de amostras de áudio contidas nos conjuntos de dados, também exploramos o uso de técnicas adequadas de aumento de dados. O sistema é avaliado em bases de dados que representam ambientes com diferentes níveis de dificuldade. Os resultados do trabalho mostram que os filtros Gammatone são uma ótima alternativa para modificar a resolução linear de frequência do espectrograma, pois modelam a distribuição da tonotopia produzida na cóclea. Em relação à arquitetura da rede, o bloco de convoluções temporais captura dependências de longo prazo dos dados, gerando uma extração de características mais profunda e que produz um número maior de parâmetros treináveis, sem aumentar muito a complexidade da arquitetura do sistema. Por fim, dentre as técnicas de aumento de dados avaliadas, as que mostraram os melhores resultados foram mascaramento de frequência, magnitude aleatória e troca dos canais Ambisônicos. A avaliação do sistema proposto superou todas as métricas do estado da arte obtidas nas quatro bases de dados utilizadas, mantendo um desempenho aceitável em ambientes reverberantes e com múltiplas fontes sonoras, e um desempenho quase perfeito em um ambiente anecoico Abstract: The human auditory system has the ability to extract meaning from sound, helping us to identify and localize sounds in an acoustical environment. The development of computational methods inspired in human capacities and behaviors has established opportunities for improving machine hearing. Recent studies based on deep learning show that the use of convolutional neural networks (CNN) and recurrent neural networks (RNN) is a promising approach for the sound event detection and localization (SELD) task. Even though, depending on the sound environment, the performance of these systems is still far from reaching perfect metrics, in some aspects they have already surpassed the human performance. Therefore, this project intends to boost the performance of the studied SELD systems by improving different stages of the process. We propose the use of Gammatone auditory filters for the acoustic feature extraction stage, and the implementation of a temporal convolutional network (TCN) along with CNN and RNN layers is contemplated as an improvement for the traditional SELD architecture. The system will support the detection and localization of up to three sound events that could be class-coincident or not. Furthermore, due to the limited quantity of audio samples contained in the datasets, we also explore the use of suitable data augmentation techniques. The system is evaluated on databases that represent environments with different levels of difficulty. The results of this work show that the Gammatone filters are a great alternative to modify the linear frequency resolution of the spectrogram, since they model the tonotopic distribution produced in the cochlea. Regarding the network architecture, the TCN block captures long-term dependencies on data, generating a deeper feature extraction that produces a greater number of trainable parameters, without adding much complexity to the system architecture. Lastly, the data augmentation techniques that showed the best results were frequency masking, random magnitude, and swapping of Ambisonics channels. The evaluation of the proposed system surpassed all the state of the art metrics obtained for four different datasets, maintaining an acceptable performance in reverberant environments and audio scenes with multiple sound sources, and an almost perfect performance in an anechoic environment Mestrado Telecomunicações e Telemática Mestra em Engenharia Elétrica FAPESP 2019/22945-3

Orientador: José Eduardo Fornari Novo Junior Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Artes Resumo: Este trabalho propõe o desenvolvimento de um novo método de mixagem de áudio digital que visa automatizar dois principais processos comuns à tarefa de mistura de sons de instrumentos musicais. O propósito prático desta automatização computacional é facilitar o trabalho do engenheiro de som no equilíbrio dos instrumentos musicais individuais, melhorando a sonoridade da música gravada e o equilíbrio geral da gravação. Primeiramente, discutimos os aspectos perceptuais do áudio, os equipamentos de manipulação sonora usualmente encontrados em estúdios de gravação, e também alguns aspectos estético-musicais. Como uma contribuição original á área, descrevemos este novo método de mixagem automática que visa à otimização da dinâmica musical e distribuição espectral do áudio digital. Nosso modelo é baseado na aproximação do espectro da mixagem a um espectro de referência via matrizes de volume e equalização para cada instrumento individualmente. Alguns tipos de espectros de referência propostos são baseados no princípio das curvas isofônicas de Fletcher & Munson. O modelo, com todos os seus módulos, foi implementado computacionalmente em MATLAB e, potencialmente, pode futuramente vir a ser exportado como um programa standalone (independente) para ser utilizado por músicos, técnicos e engenheiros de som. O modelo computacional apresentado tem o propósito de validar nosso método de atingir o equilíbrio sonoro da mixagem pela automatização de três processos: a) otimização da dinâmica instrumental no domínio do tempo, b) correção tonal/espectral do áudio de cada instrumento gravado, c) melhoria de balanço tonal/espectral da soma final resultante da mixagem. Por fim, um exemplo completo da aplicação deste processo de mixagem automática é aqui apresentado e descrito Abstract: In this work we propose the development of a new method of digital audio mixing that aims to automate two main usual processes for the task of mixing musical instrument sounds. The practical purpose of this computational automation is to facilitate the sound engineer's work for the balance of individual musical instruments, improving the sound of the recorded music and the overall balance of the recording. Firstly, we discuss the perceptual aspects of audio, the sound manipulation equipment usually found in recording studios, as well as some aesthetic-musical aspects. As an original contribution to the field, we describe a new method of automatic mixing that aims the optimization of the musical dynamics and spectral distribution of digital audio. Our model is based on the approximation of the mixing spectrum to a reference spectrum via sound volume matrices and individual equalization for each instrument. Some proposed types of reference spectra are based on Fletcher & Munson's equal-loudness contours. The model, with all its modules was computationally implemented in MATLAB and eventually can be exported as a stand-alone program for use by musicians, technicians and sound engineers. This software achieves our propose of sound balance through the automation of three processes: a) optimization of the instrumental dynamics in the time domain, b) tonal / spectral correction of each recorded instrument, c) improvement of tonal / spectral balance of the final sum resulting from the mixing Mestrado Música, Teoria, Criação e Prática Mestre em Música

Orientadores: Bruno Sanches Masiero, Rosângela Fernandes Coelho Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Nessa Dissertação, é estudado o impacto do efeito da reverberação em sistemas de identificação de locutor com casamento e descasamento de reverberações entre treinamento e teste. No desenvolvimento do trabalho, uma análise do efeito é realizada a partir das medidas espectrograma, cocleograma, INS (índice de não-estacionariedade) e distância Bhattacharyya do sinal de voz reverberado em diferentes condições. O estudo mostrou que o aumento do valor de RT60 em uma sala causa uma diminuição da não-estacionariedade do sinal de voz reverberado. Em seguida, experimentos com medidas objetivas indicam como a reverberação é capaz de degradar a inteligibilidade do sinal de voz e que a utilização de máscaras acústicas pode atenuar estes efeitos. Por fim, é proposto o emprego de máscaras acústicas para identificação de locutor em ambientes com reverberação. Experimentos de identificação de locutor indicaram que o uso de máscaras acústicas melhora os resultados de identificação para casamento de reverberação entre treinamento e teste. Também foi proposta a utilização do atributo acústico GFCC (Gammatone Frequency Cepstral Coefficients) e do classificador alfa-GMM para a identificação de locutor com reverberação. Estas técnicas se mostraram eficazes em recuperar as taxas de acerto em casos de descasamento de reverberação em uma mesma sala Abstract: This work presents a study about the effect of reverberation in speaker identification systems with mismatch between training and testing phases. Spectrograms, cochleograms INS (Index of Non-Stationarity) and the Bhattacharyya distance are used to analyze the reverberated speech signal under several conditions. This study show that an improvent in RT60 in a room can reduce the non-stationarity of the reverberated speech. Also, objective measures indicate that reverberation degrades speech intelligibility, that can be improved by binary masks, that are are proposed to improve speaker identification systems under reverberant conditions. Results show that the technique improved the identification rates for reverberation matches between training and testing. The classifier alfa-GMM and the acoustic feature GFCC (Gammatone Frequency Cepstral Coefficients) are also proposed in this work for speaker identification in reverberant conditions. Those techniques were capable of improve the correct rates under reverberation mismatch in a room Mestrado Telecomunicações e Telemática Mestre em Engenharia Elétrica CPqD/Campinas

Orientador: Tiago Fernandes Tavares Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O crescente interesse pelo desenvolvimento de jogos digitais traz uma maior demanda de criação de trilhas sonoras. O esforço exigido para a criação de tais recursos estimula a adoção de técnicas para a geração de conteúdo através de algoritmos. Dado o atual progresso do estudo de algoritmos para gerar músicas, capazes de influenciar uma variedade de sensações nos ouvintes, o presente trabalho visa estudar o impacto da utilização de tais músicas, geradas através de algoritmos e em tempo real, na sensação de imersão do jogador. Tem como hipótese que a utilização de músicas geradas em tempo real através de algoritmos pode proporcionar uma maior sensação de imersão no jogador, quando comparada à utilização de músicas pré-compostas. Os objetivos são o estudo dos conceitos de imersão e engajamento, bem como sua relação com os jogos digitais; o estudo de métodos para composição musical algorítmica; a implementação de jogo com músicas geradas em tempo real, para a etapa de teste; coleta de dados dos jogadores através do registro de ações durante as sessões de jogo e aplicação de questionários. Para os grupos de controle e teste foi realizado um teste A/B, com duas versões do mesmo jogo. Uma delas com música escrita por um ser humano, e a outra versão com melodias produzidas em tempo real por Cadeias de Markov. Os resultados dessa coleta foram analisados, buscando determinar se há relação entre o tipo de música (pré-composta ou algorítmica) e parâmetros que possam sugerir um aumento da imersão do usuário, como as respostas a um questionário de imersão e o desempenho na resolução de quebra-cabeças. O grupo de controle apresentou uma pontuação de imersão média superior (50%, contra 40% no grupo de teste). Também observou-se que uma maior pontuação de imersão não se relacionou a um ganho inferior no desempenho ao resolver quebra-cabeças do tipo tangram. Contudo, não foram encontradas diferenças significativas na pontuação de imersão, avaliada por questionários, entre os dois grupos. Isto indica que a música gerada através de algoritmos pode ser uma alternativa viável para a produção de conteúdo musical em jogos digitais Abstract: The growing interest in developing digital games brings a greater demand for creating soundtracks. The effort required to create such resources stimulates the adoption of techniques for generating content through algorithms. Given the current progress in studies regarding algorithms for generating music, capable of influencing a variety of feelings in the listeners, the present study aims to study the impact of using such music, generated by algorithms and in real-time, on the player's feeling of immersion. It has the hypothesis that the usage of music generated in real-time through algorithms can provide a greater feeling of immersion on the player, when compared to the usage of pre-composed music. The objectives are the study of the concepts of immersion and engagement, as well as their relationship with digital games; the study of methods for algorithmic music composition; the development of a game with music generated in real-time, for the test procedure; the collection of data from players through logging their actions during the gameplay sessions and the questionnaire procedure. For the control and test groups we did A/B tests, employing two versions of the same game. One of them had music written by a human being, and the other version had melodies produced in real-time by Markov Chains. The results from this data collection were analyzed, aiming to determine, through A/B tests, if there is a relationship between the type of music (pre-composed or algorithmic) and the parameters which could suggest a greater player immersion, such as the answers to the immersion questionnaire and the performance solving a puzzle. The control group presented a higher average immersion score (50%, against 40% in the test group). Also observed that a higher score in immersion was not related to a smaller gain in performance solving the tangram type puzzle. However, no significant differences were found in the immersion score, evaluated by questionnaires, between the two groups. This indicates that music generated through algorithms can be a viable alternative for producing musical content in digital games Mestrado Engenharia de Computação Mestre em Engenharia Elétrica FAEPEX

Orientador: Bruno Sanches Masiero Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Ao realizar o processamento do áudio espacial de cenas sonoras, costuma ser necessário detectar primeiro as fontes sonoras presentes na cena, o que é comumente feito com o auxílio de um arranjo de microfones e um algoritmo detector de direção de chegada (DOA). Caso o sistema deva analisar o som vindo de todas as direções possíveis, é comum o uso de um arranjo esférico de microfones. Algoritmos clássicos de estimação de DOA, como a decomposição em ondas planas e o beamforming esférico, apresentam baixa precisão para localizar fontes. Para melhorar a estimação da DOA, foi proposto o algoritmo compressive beamforming (CB). O CB aplica a regularização promotora de esparsidade ao problema de localização através do uso da minimização da norma L1 assumindo, portanto, que cenas sonoras são compostas por um pequeno número de fontes. Neste trabalho, é comparada a performance de três algoritmos de regularização promotora de esparsidade em um modelo de decomposição em ondas planas: a minimização da norma L1 via Disciplined Convex Program (DCP), o método Least Absolute Shrinkage and Selection Operator (LASSO) e o Orthogonal Matching Pursuit (OMP). Verifica-se que os três algoritmos foram capazes de determinar de forma acurada o número de fontes e suas direções para uma cena simulada, tanto com quanto sem ruído aditivo. A performance de todos algoritmos degradou quando aplicados a uma situação real com uma fonte gravada em ambiente anecoico. Neste caso, houve uma melhora da performance ao se combinar o LASSO para determinar o número de fontes com o OMP para refinar a estimativa da amplitude da onda Abstract: When doing spatial audio processing of sound scenes it is often necessary to first detect the sound sources present in the scene, which is commonly done with the aid of a microphone array and a direction of arrival (DOA) estimation algorithm. If the system should be able to analyze sound coming from all possible directions, then spherical microphone arrays are most commonly used. Classical DOA algorithms, such as plane-wave decomposition or spherical beamforming, suffer from low localization accuracy. In an attempt to improve DOA estimation, the compressive beamforming (CB) algorithm has been proposed. CB applies sparsity regularization to the localization problem through the use of L1-norm minimization, therefore taking into account the assumption that common sound scenes are usually composed of only a handful of sound sources. In this thesis, the performance of three sparsity regularization algorithms on a plane-wave decomposition model is compared: the $\ell_1$-norm minimization via Disciplined Convex Program (DCP), the Least Absolute Shrinkage and Selection Operator (LASSO) method and the Orthogonal Matching Pursuit (OMP). It is shown that the three algorithms were able to accurately estimate the number of sources and its directions for an artificial sound scene, both with and without noise. However, the performance was shown to deteriorated when applied at a practical situation with a sound source recorded in an anechoic chamber. In this case, there was an improvement with the combination of the LASSO to estimate the number of sound sources and the OMP to refine the wave amplitude Mestrado Telecomunicações e Telemática Mestra em Engenharia Elétrica FAPESP 2018/26531-6

This thesis aims at measuring room impulse responses with a spherical microphone array. The array consists of 32 microphones distributed throughout the surface of a rigid sphere. The text brings the methodology used to design the spherical microphone array and its application in real case scenarios. Impulsive responses were simulated for some room configurations and measured in two real rooms. The signals acquired with the spherical array were processed with conventional beamforming an energy analysis of directional impulsive responses. The results show the array’s capacity to detect the sound sources and wall reflections in both simulated and measured environments. An energy analysis shows, through a spherical grid, what are the directions of the remaining energy in the room. Este trabalho tem como objetivo a medição de respostas impulsivas de salas utilizando um arranjo esférico de microfones. O arranjo é composto por 32 microfones distribuídos ao longo da superfície de uma esfera rígida. O texto traz a metodologia utilizada para a confecção da esfera de microfone. As respostas impulsivas foram simuladas para algumas configurações de salas e medidas em dois ambientes. O processamento dos sinais foi realizado através da técnica de beamforming e análise energética das respostas impulsivas direcionais. Os resultados mostram a capacidade do arranjo em detectar as fontes sonoras e as reflexões que ocorrem nos ambientes medidos e simulados. A análise energética mostra através de um grid esférico quais as direções de chegada da energ

Orientador: Prof. Dr. Ricardo Suyama Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Engenharia da Informação, Santo André, 2020. Neste trabalho serão abordados aspectos inerentes a sinais de áudio, bem como critérios de avaliação de desempenho acompanhados de algumas métricas, e também algumas técnicas de melhoramento. Também serão abordadas as redes neurais artificiais, que são a base do que hoje se conhece por Deep Learning, e que deu início à Generative Adversarial Network, que é a abordagem de destaque deste trabalho. Ao final, são explorados dois problemas. O primeiro almeja melhorar a qualidade e a inteligibilidade de vozes em diversos cenários de ruído. Aqui foram utilizados o filtro de Wiener, que apresentou o melhor desempenho geral, exceto em casos muito ruidosos; o estimador Log-MMSE, que se saiu quase tão bem quanto Wiener, mas com variância levemente menor, e a SEGAN, que se saiu bem apenas nos cenários de baixa SNR, mas apresentou baixíssima variância no geral. O segundo problema busca conferir ganhos de desempenho a um algoritmo de localização de fontes sonoras para encontrar a direção de chegada de gritos de socorro captados por um arranjo de microfones em um Drone em cenários de ruído extremo, de ?21 dB a 24 dB. Foram explorados a SEGAN e o Log-MMSE, e o melhor desempenho foi o da combinação serial de ambos, nessa ordem, o que permitiu 100 % de acerto. This work will address aspects inherent to audio signals, as well as performance evaluation criteria accompanied by some metrics, as well as some enhancement techniques. It will also discuss the artificial neural networks, the basis of what is now known as Deep Learning, and which originated the Generative Adversarial Network, the focus of this work. In the end, two problems are investigated. The first aims to enhance voice quality and intelligibility in various noise scenarios. Here we used the Wiener filter, which showed the best overall performance except in very noisy cases; the Log-MMSE estimator, which performed almost as well as Wiener, but with slightly smaller variance; and SEGAN, which did well only in low SNR scenarios, but had very low overall variance. The second problem seeks to give performance gains to a sound source localization algorithm to find the direction of arrival of distress cries detected from a microphone array on a drone in extreme noise scenarios, from ?21 dB to 24 dB. SEGAN and Log-MMSE were explored, and the best performance was the serial combination of both in this order, which allowed 100 % accuracy.

Orientador: Bruno Sanches Masiero Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Atualmente, os microfones digitais modulados por densidade de pulso (PDM) são amplamente utilizados em aplicações comerciais, já que esta é uma maneira eficiente de transmitir informação de áudio para processadores digitais em dispositivos móveis. No entanto, como o estado-da-arte em algoritmos de processamento digital de arranjos assume que todos os sinais recebidos dos microfones estão em uma representação em banda-base, estes microfones digitais requerem custosos filtros de decimação de alta ordem para converter o fluxo PDM para a modulação por código de pulso (PCM) em banda base. Assim, a implementação destes algoritmos em sistemas embarcados, onde os recursos de processamento são críticos, ou em circuitos integrados (VLSI), onde a energia consumida e área também são críticas, pode se tornar muito dispendiosa devido ao uso de dezenas de filtros de decimação para converter os sinais de PDM para PCM. Essa dissertação explora e propõe métodos eficientes em recursos para a implementação de arranjo de microfones. Com esse intuito, primeiro explora os atuais métodos de design de filtros de decimação e, baseado neles, propõe um algoritmo para fazer o seu design otimizando área e consumo de potência. Também são discutidas as vantagens e desvantagens de se realizar o processamento de arranjo de microfones diretamente nos sinais PDM ao invés dos sinais em PCM. Finalmente propõe um método eficiente para implementação de arranjos de microfones baseado em filtros maximamente planos (MAXFLAT). Como resultado, um novo método para o design de filtros de decimação que optimiza o número de somas por segundo é proposto, assim como demonstra-se que que um filtro espacial implementado no domínio PDM precisa de menos recursos que outras implementação no domínio do tempo. Conclui-se, portanto, que a implementação baseada em filtros MAXFLAT tem um melhor compromiso entre requisitos de armazenamento e poder de computação que o estado-da-arte e os métodos no domínio do PDM Abstract: Nowadays, pulse-density modulated (PDM) digital microphones are widely used on commercial applications as they have become a popular way to deliver audio to digital processors on mobile applications. However, as state-of-the-art array processing algorithms assume that all microphone signals are available in pulse-code modulated (PCM) representation, these digital microphones require costly high-order decimation filters to translate PDM bitstreams to baseband multi-bit PCM signals. In that manner, the implementation of microphone array algorithms in embedded systems, where processing resources are critical, or in very large-scale integration (VLSI) circuits, where power and area are critical, may become very expensive because of the use of the tens of decimation filters required to convert PDM bitstreams into PCM signals. This thesis explores and proposes resource-efficient methods to implement microphone array beamforming. For this purpose, it first reviews the state-of-the-art decimation filter design methods and proposes an algorithm to design decimation filters optimizing area and power consumption. Then it discusses the trade-offs of doing the beamforming calculations at the PDM bitstreams instead of PCM signals and proposes an architecture to implement beamformers without decimation filters. Finally it proposes an efficient approach to implement beamformers based on maximally flat (MAXFLAT) filters. As a result, a new generalized method to design decimation filters optimizing the number of addition per second is proposed, and it is shown that a beamformer implemented in PDM domain requires less resources for its implementation in time domain than other methods. It is concluded that the proposed MAXFLAT-based approach has better storage versus computation efficiency than state-of-the-art and PDM domain implementation approaches Mestrado Telecomunicações e Telemática Mestre em Engenharia Elétrica

Orientador: Tiago Fernandes Tavares Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: A conversão de áudio para MIDI pode ser usada para permitir o controle musical digital por meio de um instrumento analógico. Os conversores de áudio para MIDI dependem de estimadores de frequência fundamental que são frequentemente restritos a um atraso mínimo de dois períodos da frequência fundamental. Este atraso é perceptível no caso de notas graves, pois as frequências fundamentais tem períodos mais longos. Nesta dissertação, propõe-se um método de estimativa da frequência fundamental de baixa latência que se baseia em características específicas do baixo elétrico. Por meio de modelagem física e aquisição de sinais, mostramos que o método se baseia na generalização para todos os baixos elétricos. Avaliamos nosso método em um conjunto de dados com notas musicais tocadas por diversos baixistas. Os resultados mostram que nosso método supera o método Yin em configurações de baixa latência, o que indica sua adequação à conversão de baixa latência de áudio em MIDI do som de baixo elétrico Abstract: Audio-to-MIDI conversion can be used to allow digital musical control through an analog instrument. Audio-to-MIDI converters rely on fundamental frequency estimators that are usually restricted to a minimum delay of two fundamental periods. This delay is perceptible for the case of bass notes. In this dissertation, we propose a low-latency fundamental frequency estimation method that relies on specific characteristics of the electric bass guitar. By means of physical modeling and signal acquisition, we show that the assumptions of this method are based on the generalization of all electric basses. We evaluated our method in a dataset with musical notes played by diverse bassists. Results show that our method outperforms the Yin method in low-latency settings, which indicates its suitability for low-latency audio-to-MIDI conversion of the electric bass sound Mestrado Engenharia de Computação Mestre em Engenharia Elétrica

Orientador: Stelamaris Rolla Bertoli Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Civil, Arquitetura e Urbanismo Resumo: No comportamento acústico de salas está presente, como em qualquer espaço enclausurado, o fenômeno das ondas estacionárias, também conhecidas por modos acústicos. Quando em salas pequenas (volumes inferiores a 60 m³), esse fenômeno produz heterogeneidades espectral e espacial suficientes para desqualificar a acústica do ambiente, principalmente nas primeiras oitavas do espectro audível (25 a 280 Hz, aproximadamente). A alternativa mais adequada para contornar este problema é a implementação de absorção sonora, para a qual destaca-se o absorvedor de Helmholtz, dispositivo cuja produção e instalação são simples e de baixo custo. Esse tipo de absorvedor atua em faixas estreitas do espectro, com valores que dependem da respectiva configuração geométrica. O campo modal, por sua vez, possui uma gama de frequências que depende da geometria da sala onde foi formado. Dessa forma, para se controlar os modos acústicos via absorvedor de Helmholtz, são necessários dispositivos de variadas configurações, cada qual projetado para atuar em uma frequência específica do campo modal relativo à sala de aplicação. Julga-se que tal especificidade poderia ser minimizada com o desenvolvimento de uma solução variável, passível de sofrer ajustes nas configurações e, consequentemente, modificar a frequência de atuação perante a demanda. A presente pesquisa tem como objetivo testar essa hipótese. Estudos teóricos e experimentais foram conduzidos para caracterizar o absorvedor de Helmholtz na faixa de frequência desejada. Mostrou-se que, ao variar dois dos cinco parâmetros do sistema que são passíveis de modificações, é possível obter configurações do absorvedor que apresentam absorção sintonizada ao longo da faixa de interesse com magnitude elevada (coeficientes de absorção sonora em torno de 0.7). Dos resultados obtidos, foi desenvolvida uma proposta de absorvedor de Helmholtz variável para ser aplicado no controle modal de salas pequenas Abstract: As in any enclosed space, the phenomenon of stationary sound waves, also known as acoustic modes, is observed in the acoustic behavior of rooms. In the case of rooms with volumes less than 60 m³ (small rooms), this phenomenon produces spectral and spatial heterogeneities enough to disqualify the acoustics of the environment, especially for the first octaves of the audible spectrum (25 to 280 Hz, approximately). The most adequate alternative to control this problem is the implementation of sound absorption, to which stands out the Helmholtz absorber, a device whose production and installation are simple and of low cost. This type of absorber acts in narrow bands of the spectrum, tuned according to the respective geometric configuration. On other hand, the frequency range of the modal field depends on the geometry of the room where it was generated. Thus, to control the acoustic modes via the Helmholtz absorber, devices of various configurations are required, each one designed to operate at a specific frequency of the modal field relative to the application room. It is judged that such specificity could be minimized by the development of a single solution that allows variations in the respective configuration, thus being able to be tuned according to the needs. The present research aims to test this hypothesis. Theoretical and experimental studies were conducted to characterize the Helmholtz absorber in the desired frequency range. It has been shown that it is possible to obtain absorber configurations tuned over the range of interest with high magnitude (sound absorption coefficients around 0.7) by varying two of the five parameters of the system that are amenable to modification. From the results, a proposal of variable Helmholtz absorber was developed to be applied in the modal control of small rooms Doutorado Construção Doutor em Engenharia Civil CAPES

Orientadores: Luiz César Martini, Bruno Sanches Masiero Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O objetivo do áudio espacial gerado com a técnica binaural é simular uma fonte sonora em localizações espaciais arbitrarias através das Funções de Transferência Relativas à Cabeça (HRTFs) ou também chamadas de Funções de Transferência Anatômicas. As HRTFs modelam a interação entre uma fonte sonora e a antropometria de uma pessoa (e.g., cabeça, torso e orelhas). Se filtrarmos uma fonte de áudio através de um par de HRTFs (uma para cada orelha), o som virtual resultante parece originar-se de uma localização espacial específica. Inspirados em nossos resultados bem sucedidos construindo uma aplicação prática de reconhecimento facial voltada para pessoas com deficiência visual que usa uma interface de usuário baseada em áudio espacial, neste trabalho aprofundamos nossa pesquisa para abordar vários aspectos científicos do áudio espacial. Neste contexto, esta tese analisa como incorporar conhecimentos prévios do áudio espacial usando uma nova representação não-linear das HRTFs baseada no aprendizado de variedades para enfrentar vários desafios de amplo interesse na comunidade do áudio espacial, como a personalização de HRTFs, a interpolação de HRTFs e a melhoria da localização de fontes sonoras. O uso do aprendizado de variedades para áudio espacial baseia-se no pressuposto de que os dados (i.e., as HRTFs) situam-se em uma variedade de baixa dimensão. Esta suposição também tem sido de grande interesse entre pesquisadores em neurociência computacional, que argumentam que as variedades são cruciais para entender as relações não lineares subjacentes à percepção no cérebro. Para todas as nossas contribuições usando o aprendizado de variedades, a construção de uma única variedade entre os sujeitos através de um grafo Inter-sujeito (Inter-subject graph, ISG) revelou-se como uma poderosa representação das HRTFs capaz de incorporar conhecimento prévio destas e capturar seus fatores subjacentes. Além disso, a vantagem de construir uma única variedade usando o nosso ISG e o uso de informações de outros indivíduos para melhorar o desempenho geral das técnicas aqui propostas. Os resultados mostram que nossas técnicas baseadas no ISG superam outros métodos lineares e não-lineares nos desafios de áudio espacial abordados por esta tese Abstract: The objective of binaurally rendered spatial audio is to simulate a sound source in arbitrary spatial locations through the Head-Related Transfer Functions (HRTFs). HRTFs model the direction-dependent influence of ears, head, and torso on the incident sound field. When an audio source is filtered through a pair of HRTFs (one for each ear), a listener is capable of perceiving a sound as though it were reproduced at a specific location in space. Inspired by our successful results building a practical face recognition application aimed at visually impaired people that uses a spatial audio user interface, in this work we have deepened our research to address several scientific aspects of spatial audio. In this context, this thesis explores the incorporation of spatial audio prior knowledge using a novel nonlinear HRTF representation based on manifold learning, which tackles three major challenges of broad interest among the spatial audio community: HRTF personalization, HRTF interpolation, and human sound localization improvement. Exploring manifold learning for spatial audio is based on the assumption that the data (i.e. the HRTFs) lies on a low-dimensional manifold. This assumption has also been of interest among researchers in computational neuroscience, who argue that manifolds are crucial for understanding the underlying nonlinear relationships of perception in the brain. For all of our contributions using manifold learning, the construction of a single manifold across subjects through an Inter-subject Graph (ISG) has proven to lead to a powerful HRTF representation capable of incorporating prior knowledge of HRTFs and capturing the underlying factors of spatial hearing. Moreover, the use of our ISG to construct a single manifold offers the advantage of employing information from other individuals to improve the overall performance of the techniques herein proposed. The results show that our ISG-based techniques outperform other linear and nonlinear methods in tackling the spatial audio challenges addressed by this thesis Doutorado Engenharia de Computação Doutor em Engenharia Elétrica FAPESP 2014/14630-9 CAPES

Orientador: Bruno Sanches Masiero Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: Imageamento acústico é uma técnica que mapeia os níveis acústicos em uma dada porção do espaço. Neste contexto um arranjo de microfones é utilizado para captar o sinal das fontes e filtros espaciais processam o sinal para obter os níveis acústicos em diferentes direções do espaço. Ao longo do tempo diversas técnicas foram propostas com o objetivo de melhorar a resolução das imagens acústicas, haja vista que o beamforming clássico sofre de alguns problemas, como má resolução em baixas frequências e o efeito dos lóbulos laterais em altas frequências. Recentemente, técnicas de recuperação de sinais esparsos têm despertado interesse por sua aplicabilidade na área de localização de fontes acústicas. Uma dentre estas técnicas é a Sparse Learning via Iterative Minimization (SLIM), uma técnica de aprendizado esparso através de minimização iterativa. Entretanto, grande parte das técnicas propostas partem do pressuposto de que os sinais emitidos pelas fontes são de banda estreita, o que na prática não condiz com aplicações usuais em acústica. Surge então sua extensão para sinais de banda larga, a Wideband SLIM (WB-SLIM), capaz de lidar com fontes de banda larga e que promove a esparsidade espacial dos resultados. Esta dissertação busca avaliar o desempenho do WB-SLIM em diferentes cenários de imageamento acústico. Foram realizadas análises em duas regiões de varredura 2D, uma paralela e outra perpendicular ao arranjo de microfones. Verificou-se que a qualidade das imagens acústicas obtidas nos diferentes cenários propostos, avaliada através da taxa de erro de localização e pela comparação do sinal recuperado no tempo com o sinal original, diminui com o aumento do número de fontes geradoras e a com a redução da relação sinal-ruído presente nos sensores Abstract: Acoustic imaging is a technique that maps acoustic levels in a given portion of space. In this context, a microphone array is used to acquire the source's signal, and spatial filters process the information to obtain the acoustic levels at different locations. Over time many techniques have been proposed to improve the resolution of acoustic images, since classical beamforming algorithms suffers from some problems, such as poor resolution at low frequencies and the influence of side lobes at high frequencies. In recent years, many techniques for sparse signal recovery have aroused interest due to their applicability in the area of acoustic source localization. Among them is the Sparse Learning via Iterative Minimization (SLIM) method. However, most of these techniques assume that the signals emitted by the sources have narrow band, which in practice does not fit usual acoustical applications. The wideband extension of SLIM (WB-SLIM) is able to handle broadband sources and promotes the spatial sparseness of the results. This paper aims to evaluate the performance of WB-SLIM in different acoustic imaging scenarios. We analyzed the performance of WB-SLIM in a 2D scanning region, both parallel and perpendicular to the microphone array. The results illustrate how the quality of the acoustic images in both proposed scenarios, evaluated as the source localization error rate and through the comparison between recovered and original time signals, decreases as the number of sources composing the sound field increases and the signal-to-noise ratio decrease Mestrado Telecomunicações e Telemática Mestre em Engenharia Elétrica CAPES

Orientadores: Bruno Sanches Masiero, Eric Brandão Carneiro Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação Resumo: O comportamento acústico dentro de teatros, salas de aula, aviões ou carros, por exemplo, é de suma importância para um melhor adequação sonora desejada, como em concertos de movimentos músicas específicos (e.g. barroco e romantismo) e para o conforto acústico das pessoas dentro desses ambientes. A modelagem desses ambientes é objeto de constante pesquisa e melhoria. Para podermos simular e prever o comportamento acústicos nestes espaços é necessário conhecer sua geometria e a impedância acústica dos materiais que o compõem. Esta dissertação tem como objetivo caracterizar a impedância acústica de materiais utilizando um arranjo de microfones e técnicas de processamento de sinais promotoras de esparsidade. Inicialmente, foi elaborado um modelo computacional para simular a reflexão de uma onda por um material poroso finito, material que é comumente usado como fono absorvedor, e assim, avaliar a viabilidade do uso da técnica proposta. Verifica-se que a técnica promotora de esparsidade estudada sparse learning via iterative minimization (SLIM) foi capaz de localizar e segregar o som direto do som refletido, para posterior cálculo da impedância acústica. Em um segundo momento, as técnicas foram avaliadas com medidas reais. Para tanto, foi utilizado um arranjo linear com quatro microfones e três materiais diferentes foram medidos: lã de vidro (material poroso), lã de rocha (material poroso) e madeira (material rígido). As medições indicam que o método é viável para uma banda limitada de frequência (de 1 kHz até 16 kHz). Mostrando que há viabilidade no uso de técnicas esparsas junto de arranjo de microfones na determinação da impedância ácustica de superfície de um determinado material poroso Abstract: The acoustic behavior of theatres, classrooms, airplanes, and cars is of great importance and subject of constant research and improvement. In order to simulate and predict the behavior of these spaces it is necessary to know its geometry and the acoustic impedance of its building materials. This dissertation aims to characterize the acoustic impedance of materials using an array of microphones and sparsity promoting signal processing techniques. Initially, a computational model was developed to simulate the wave reflection by a limited porous material and, thus, evaluate the feasibility of using the proposed technique. It could be verified that the sparse learning via iterative minimization (SLIM) algorithm was able to separate direct and reflected sound, thus allowing the calculation of the reflection coefficient. In a second moment, the techniques were also evaluated with real measurements. For that, a linear array with four microphones was used and three different materials were tested: glass wool (porous material), rock wool (porous material) and wood (rigid material). Measurements indicate that the method is feasible for a limited frequency band (from 1 kHz up to 16 kHz). Showing that there is feasibility in the use of sparse techniques in microphone arrangement in determining the surface acoustical impedance of a given porous material Mestrado Telecomunicações e Telemática Mestre em Engenharia Elétrica

Orientador: Alberto Luiz Serpa Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Mecânica Resumo: O controle de ruído passivo é umas das formas mais comuns de se controlar o ruído em diversos campos de aplicação, devido ao menor custo e simplicidade quando comparado ao controle ativo de ruído. Materiais porosos são amplamente usados no controle de ruído passivo, e nos últimos anos, diferentes conceitos de materiais acústicos têm sido criados. O uso de macroperforações em um material poroso leva à formação de materiais de dupla porosidade, que são materiais com duas redes de poros que são interconectadas. Nesse estudo, materiais de dupla porosidades feitos de lã de rocha e lã de vidro foram avaliados. Diversas configurações de macroperfurações ou mesoporos foram testados em termos de absorção e perda por transmissão sonora. As amostras de dupla porosidade foram confeccionadas com mesoporos sem preenchimento ou com mesoporos preenchidos com outro material poroso. Estes testes foram realizados usando dois tubos de impedância distintos, um com seção transversal circular de 60 mm (125 - 2500 Hz) e outro com seção transversal retangular de 240x160 mm (20 - 717 Hz). Os resultados de absorção sonora indicaram um ganho em absorção para as amostras de lã de rocha, com os mesoporos preenchidos ou não, acima dos 1000 Hz (amostras circulares). Já para a lã de vidro foram observados ganho para algumas amostras ao redor de 250 Hz e 2000 Hz. Para os ensaios de absorção sonora no tubo retangular ganhos foram encontrados para quatros tipos de amostras de lã de vidro em torno de 250 Hz e todos os tipos de amostra de lã de rocha com mesoporos preenchidos em torno de 500 Hz. Para a perda por transmissão sonora, somente testes no tubo de impedância de seção circular foram realizados e mostraram a possibilidade de aumentar o isolamento sonoro adicionando uma proporção de outro material poroso em comparação com a amostra de porosidade única. Além disso, a porosidade e tortuosidade da lã de rocha e lã de vidro de porosidade única foram estimadas. Este parâmetros foram usados como dados de entrada para um modelo de predição de absorção sonora para dupla porosidade, que foi comparado com os dados experimentais do tubo de impedância de seção transversal retangular Abstract: Passive noise control is one of the most common forms for noise control at different fields of applications, because of the lower cost and simplicity compared to the active noise control. Porous materials are widely used in passive noise control, and different concepts of acoustical materials have been created in the past years. The use of macroperforations in a porous material lead to double porosity materials, which are materials with two different networks of interconnected pores. In this study, double porosity materials made by rockwool and glasswool are evaluated. Different configurations of macroperforations or mesopores were tested in terms of sound absorption and sound transmission loss. The double porosity samples were made with mesopores not filled or with mesopores filled with another porous material. These tests were performed using two different impedance tubes, one with a circular cross-section of 60 mm (125 - 2500 Hz) and other with a rectangular cross-section of 240x160 mm (20 - 717 Hz). Results of sound absorption indicated gains for rockwool samples, with mesopores filled and not filled, above 1000 Hz (circular samples). For glasswool, gains were observed for some samples around 250 Hz and 2000 Hz (circular samples). In the sound absorption tests at the rectangular tube, gains were found for four types of glasswool samples around 250 Hz and for all rockwool samples with mesopores filled around 500 Hz. For sound transmission loss, only the tests in the circular cross-section tube were made and they showed the possibility to enhance sound insulation by adding a proportion of other porous material in comparison to the pure case. Also, porosity and tortuosity were estimated for single porosity rockwool and glasswool. These parameters were used as input data for a double porosity sound absorption prediction model, that was compared with the experimental data of sound absorption test at the impedance tube of rectangular cross-section Mestrado Mecânica dos Sólidos e Projeto Mecânico Mestra em Engenharia Mecânica CAPES 33003017