Search

An exact solution to a family of parity check error-correcting codes is provided by mapping the problem onto a Husimi cactus. The solution obtained in the thermodynamic limit recovers the replica symmetric theory results and provides a very good approximation to finite systems of moderate size. The probability propagation decoding algorithm emerges naturally from the analysis. A phase transition between decoding success and failure phases is found to coincide with an information-theoretic upper bound. The method is employed to compare Gallager and MN codes., Comment: 7 pages, 3 figures, with minor corrections

We investigate the performance of parity check codes using the mapping onto Ising spin systems proposed by Sourlas. We study codes where each parity check comprises products of K bits selected from the original digital message with exactly C checks per message bit. We show, using the replica method, that these codes saturate Shannon's coding bound for $K\to\infty$ when the code rate K/C is finite. We then examine the finite temperature case to asses the use of simulated annealing methods for decoding, study the performance of the finite K case and extend the analysis to accommodate different types of noisy channels. The connection between statistical physics and belief propagation decoders is discussed and the dynamics of the decoding itself is analyzed. Further insight into new approaches for improving the code performance is given., Comment: 32 pages, 12 figures, to appear in PRE

We study the online dynamics of learning in fully connected soft committee machines in the student-teacher scenario. The locally optimal modulation function, which determines the learning algorithm, is obtained from a variational argument in such a manner as to maximise the average generalisation error decay per example. Simulations results for the resulting algorithm are presented for a few cases. The symmetric phase plateaux are found to be vastly reduced in comparison to those found when online backpropagation algorithms are used. A discussion of the implementation of these ideas as practical algorithms is given.

The ways in which natural selection can allow the proliferation of cooperative behavior have long been seen as a central problem in evolutionary biology. Most of the literature has focused on interactions between pairs of individuals and on linear public goods games. This emphasis has led to the conclusion that even modest levels of migration would pose a serious problem to the spread of altruism through population viscosity in group structured populations. Here we challenge this conclusion, by analyzing evolution in a framework which allows for complex group interactions and random migration among groups. We conclude that contingent forms of strong altruism that benefits equally all group members, regardless of kinship and without greenbeard effects, can spread when rare under realistic group sizes and levels of migration, due to the assortment of genes resulting only from population viscosity. Our analysis combines group-centric and gene-centric perspectives, allows for arbitrary strength of selection, and leads to extensions of Hamilton's rule for the spread of altruistic alleles, applicable under broad conditions.

In this study we have used fluorescence spectroscopy to determine the post-mortem interval. Conventional methods in forensic medicine involve tissue or body fluids sampling and laboratory tests, which are often time demanding and may depend on expensive analysis. The presented method consists in using time-dependent variations on the fluorescence spectrum and its correlation with the time elapsed after regular metabolic activity cessation. This new approach addresses unmet needs for post-mortem interval determination in forensic medicine, by providing rapid and in situ measurements that shows improved time resolution relative to existing methods.

This thesis presents three main contributions to the understanding of machine learning models by making use of statistical physics tools. First, we investigate the possible relation between the renormalisation group and restricted Boltzmann machines trained with two-dimensional ferromagnetic Ising data, pointing out possible misleadings in preliminary proposals to explicitly construct this bridge. Secondly, we examine the convergence behaviour of stochastic gradient descent in high-dimensional two-layer neural networks. By building up on classic statistical physics approaches and extending them to a broad range of learning rate, time scales, and hidden layer width, we construct a phase diagram describing the various learning scenarios arising in the high-dimensional setting. We also discuss the trade-off between learning rate and hidden layer width, which has been crucial in the recent mean-field theories. Thirdly, we study both Bayes-optimal and empirical risk minimization generalisation errors of the multi-class teacher-student perceptron. We characterise a first-order phase transition arising in the Bayes-optimal performance for Rademacher teacher weights and observe that, for Gaussian teachers, regularised cross-entropy minimisation can yield to close-to-optimal performance. Esta tese apresenta três contribuições principais para a compreensão de modelos de aprendizado de máquina por meio de ferramentas de física estatística. Primeiramente, investigamos a possível relação entre o grupo de renormalização e máquinas de Boltzmann restritas treinadas com dados amostrados do modelo de Ising ferromagnético bidimensional, apontando problemas em propostas preliminares para construir explicitamente essa ponte. Em segundo lugar, examinamos o comportamento da convergência do algoritmo de descida do gradiente estocástico em redes neurais de duas camadas no limite de alta dimensão. Com base nas abordagens clássicas da física estatística e estendendo-as para uma ampla faixa de taxa de aprendizado, escalas de tempo e tamanho da camada oculta, construímos um diagrama de fase descrevendo os vários cenários de aprendizado que surgem no limite de alta dimensionalidade. Também discutimos a relação entre a taxa de aprendizado e o tamanho da camada oculta, o que tem sido crucial nas recentes teorias de campo médio. Em terceiro lugar, estudamos os erros de generalização Bayes-ótimo e empírico do perceptron multi-classe no cenário professor-aluno. Caracterizamos uma transição de fase de primeira ordem na performance Bayes-ótimo para professores com acoplamentos Rademacher e observamos que, para professores com acoplamentos gaussianos, a minimização de entropia cruzada com regularização pode resultar em desempenho próximo ao Bayes-ótimo.

O risco de crédito é a incerteza envolvendo a capacidade de uma firma de honrar seus compromissos financeiros e suas dívidas. Apesar da relevância deste tipo de risco, apenas recentemente as instituições financeiras passaram a se preocupar em testar modelos mais rigorosos e sofisticados para a correta apuração do risco de crédito que provem de desenvolvimento do tema de modelagem do risco de default, essa dissertação propõe um modelo para quantificar este risco em um nível agregado. A abordagem utilizada e baseada no modelo de Merton [1974] para o apreçamento de títulos corporativos e utiliza técnicas de otimização de forma a estimar o risco de um portfólio composto por debêntures. Como resultado, encontra-se uma medida de risco mais conservadora que o value at risk (VaR), usando um modelo simples e de baixo custo computacional. Neste trabalho, também e resolvido o problema de alocação ótima para a carteira de debêntures citada. Credit risk is the uncertainty surrounding a firm\'s ability to accomplish its financial obligations. Despite the historical relevance of this kind of risk, only recently the financial institutions are more concerned about implementing sophisticated systems in an attempt to model correctly the credit risk arising from their business lines. In order to collaborate with the recent development of credit risk modeling, this dissertation proposes a methodology to quantify default risk in a cross-section of corporate bonds. The approach is based both on the Merton\'s corporate bond pricing model [1974] and on optimization techniques in order to calculate the risk of a portfolio composed by corporate bonds. As a result, we find a risk measure that is more conservative than value at risk (VaR), using a simple and low-cost model. In this work, we also solve the problem of optimal portfolio allocation under default risk.

O objetivo desta dissertação é apresentar um modelo de inferência não linear para alocação de carteira baseado em redes neurais multicamada. A primeira parte do modelo concentra-se na predição dos retornos dos ativos. As redes neurais utilizam os preços de mercado observados para extrair informações sobre as expectativas dos participantes do mercado ou sobre a distribuição implícita dos retornos ou o mecanismo de apreçamento do mercado, tornando um poderoso modelo de predição dos retornos. Com base nos retornos esperados, a alocação das proporções de investimentos é feita por um algoritmo de otimização com controle de risco implícito. Para implementação do modelo é utilizada uma carteira contendo ações negociadas na Bolsa de Valores de São Paulo e os resultados são comparados com o tradicional modelo de média-variância elaborado por Markowitz (1952) This work proposes a non-linear inference model for optimal asset allocation based on multilayer neural networks . The first part focuses on the expected assets returns prediction model. Based on the historical market prices, the neural networks extract valuable information about the participant\'s expectation or the implicit returns distributions or even the market pricing mechanism, becoming a powerful prediction model. An optimization algorithm makes the investment proportional allocations with implicit risk control based on the expected returns. The model is implemented using a portfolio made by stocks traded at the São Paulo Stock Exchange and the results are compared against the tradicional mean-variance model written by Markowitz (1952)

Mensurar risco operacional é um grande desafio para as instituições financeiras hoje. À medida que a data de publicação do Novo Acordo de Capital da Basiléia se aproxima, a modelagem de risco operacional está se tornando cada vez mais importante para as instituições financeiras e órgãos reguladores. Os bancos e as empresas financeiras estão em busca de metodologias adequadas para mensuração e proteção contra as perdas de risco operacional. Neste estudo nós implementamos o Método de Distribuição de Perdas como base para mensuração do risco operacional. Adicionalmente à abordagem clássica, nós introduzimos um modelo de distribuição de perdas com recuperações como uma extensão ao modelo padrão. Os resultados obtidos neste estudo foram bastantes motivadores e abrem caminho para futuras pesquisas Measuring operacional risk is a major challenge in running financial institutions. As the publication date of the New Basel Capital Accord sets closer, modeling operacional risk is becoming increasingly important for financial institutions and regulators. Banks and financial institutions are looking for adequate methodologies to measure and protect against losses from operacional risk. In this work we implement a Loss Distribution Approach (LDA) as plataform for measuring operacional risk. In addition to the classical model, we introduce a loss distribution model with recoveries as an extension to standard model. The results achieved in this work are promissing and motivate future research

Neste trabalho avaliamos a habilidade de um modelo conexionista no reconhecimento de possíveis padrões apresentados em séries financeiras. Através da abordagem de um problema de divisão em classes, utilizamos uma rede multicamada do tipo Êeed-6orward tendo como algoritmo de aprendizado back-propagation otimizado pelo método gradiente conjugado escalonado. Tomando como entrada os retornos diários das séries de lbovespa, Telemar PN e Petrobrás PN em períodos semanais, diversas topologias coram treinadas, variando pelo número de unidades ocultas e o número de iterações no critério de parada, gerando como saída ordens de compra e venda dadas pela previsão do movimento do preço do ativo para a semana seguinte. As arquiteturas treinadas foram avaliadas com base na taxa de classificação e lucratividade, e os resultados obtidos confirmaram a validação do modelo proposto. This work presents the performance valuation of a conexionist model for the pattern recognition of financial series. We adopted the approach of classification problem for a back-propagation feed-forward multi-layer network optimized by the scaled conjugated gradient method, applied to the lbovespa, Telemar PN and Petrobrás PN daily retums series, grouped in weekly periods, as input. Several topologies were trained with different number of hidden units and iterations, which was the stop criterion. The output was the buy or self predicted order of the specinic asset for next week. We evaluated the trained architectures based on the classification and pronitability values. The results provided the validation of the proposed modal.

In supervised learning, we often have access to a limited sample, in size or quality (e.g., lack of labels), of the population/distribution of interest, for which we want to create predictive models. However, it is possible that we have less limited access to data sampled from another population, more or less similar to the one of interest. Training models using only data from the population of interest may be impossible or result in sub-optimal models, so it would be interesting to use data from the other population in order to get better results or make training possible. In these situations, as the distributions of interest and the one that we can sample with few restrictions are different, we say that there is dataset shift. In dataset shift situations, employing domain adaptation techniques when training supervised models is essential for theoretical guarantees of good results in the population of interest. The two kinds of dataset shift we will discuss about in this work are covariate shift and concept drift/shift. The main objectives of this work are: (i) to review the main concepts and methods related to covariate shift and covariate shift adaptation; (ii) propose contributions to the covariate shift adaptation literature, connecting concepts present in modern literature; (iii) propose the decomposition of the dataset shift into covariate shift and expected concept drift/shift as a new approach to better understand situations in which we deal with dataset shift. No aprendizado supervisionado, muitas vezes temos acesso a uma amostra limitada, em tamanho ou qualidade (e.g., falta de rotulos), de dados da populacao/distribuicao de interesse, para a qual queremos criar modelos preditivos. No entanto, e possivel que tenhamos acesso pouco limitado a dados amostrados de outra populacao, mais ou menos parecida com a de interesse. Treinar modelos utilizando somente dados da populacao de interesse pode ser impossivel ou resultar em modelos sub-otimos, entao seria interessante utilizar os dados provenientes da outra populacao a fim de obter melhores resultados ou tornar o treinamento possivel. Nessas situacoes, como as distribuicoes de interesse e aquela que podemos amostrar com poucas restricoes sao diferentes, dizemos que ha dataset shift. Em situacoes de dataset shift, empregar tecnicas de adaptacao de dominio ao treinar modelos supervisionados e essencial para garantias teoricas de bons resultados na populacao de interesse. Os dois tipos de dataset shift que discutiremos neste trabalho sao covariate shift e concept drift/shift. Os objetivos principais deste trabalho sao: (i) revisar principais conceitos e metodos relacionados ao covariate shift e covariate shift adaptation; (ii) propor contribuicoes para a literatura de covariate shift adaptation, conectando conceitos presentes em discussoes atuais; (iii) propor a decomposicao do dataset Shift em covariate shift e concept drift/shift esperado como uma nova abordagem para melhor entendimento de situacoes em que lidamos com dataset shift.

The essence of Machine Learning modelling may be summarized as: to unravel the implicit pattern in the data by having access to only a finite number of samples. The theory which studies this process is rich, and two quantities are of particular importance: the performance errors inside and outside the sample. The error inside the sample is called the training error, and is calculated over the set used to optimize the models parameters. The outside error is the average error amongst all samples, and may be understood as the true error. Although the final objective is to construct a model with low true error, we only have access to the training error, which is an empirical estimation. Thus, in order to deduce the general pattern in the data, is necessary that both are similar.The distance between those errors is called the generalization gap, and much of the theory is dedicated to study its properties and upper bounds, so that we may understand under what circumstances it is controlled. The gap is a measure of the models ability to properly induce the global pattern, and is a major topic in all applied instances of Machine Learning.The classical view of statistics correlates the generalization property with the model capacity to fit patterns in the data. The reasoning behind this is that, being capable of fitting many configurations, the model is prone to read noise in the sample, and thus perform poorly in general. However, the definition of a models complexity is loose, and while it usually translates to the number of parameters, there is one hypothesis space which seemingly escapes this intuition. That is the case of Neural Networks. Using Neural Networks with many layers (Deep learning) is proving to be the best modelling paradigm for many benchmark problems, and many of the advances in the industry are due to their success. However, this seemingly goes against what classical Statistical Learning theory states about generalization and complexity, since Deep networks are capable offitting many patterns. Indeed, there has been experiments showing that networks may fit even random labels.This apparent paradox is an open question in the field and the main topic of this work.After a introduction and overview of the classical understanding of generalization, we introduce the work of [20], which is the central to our contributions. In it a new approach named Analytical Learning is proposed, aiming to complement the classical one, hopefully bringingsome insights about the apparent contradiction emerged from Deep Learning. Instead of analyzing probabilistic bounds, in this paper the generalization gap is studied in a context where the predictor and the dataset are fixed. By doing so, we prevent the pessimistic cases, and a tighter bound is hopefully achieved. Additionally, it provides a more real scenario, since in practice usually the data is given. The main result of [20] bounds the gap involving a term related to the data and another related to the loss function\'s Hardy-Kruase Variation. Our main contribution revolves around tracing similarities between this variation term with the stability concept studied in the classical approach of generalization, making parallels with what may be understood in the Analytical case as information.The main idea is that the loss function variation decreases if the partial derivatives of the predictor, according to the instance space, are close to the oracles. The derivatives in this sense may be understood as how much information the function is reading, since it measures the impact of a certain dimension in a local prediction. Thus, if the predictor reads information similarly to the oracle, then we guarantee a low gap. With this, we argue that the partial derivatives of the predictor are the main measure of regularization in the analytical sense. One of the advantages of this is simplicity: rewriting the SGD (Stochastic Gradient Descent) optimization step in the function space, we have an easy way to investigate the evolution of the models complexity during training.Furthermore, we use this interpretation to develop on relative recent papers trying to tackle the generalization paradox in deep learning, [28] and [37]. In the former we make an extensive analysis. while in the latter we make a more brief qualitative approach, showing how our interpretation relates with their result. In [28], the complexity of networks is studied through the lens of Fourier Theory. There is shown that the space of ReLU (Rectifier Linear Unit) networks has a high spectral decay:during optimization, the increments in the k-th harmonic caused by the weights updates decreases with at least k^2. This means that high frequencies magnitudes in this space are naturally damped during training, suggesting an inherent regularization property. However,at no moment in [28] the generalization gap is mentioned, and so it is not clear if the spectral decay is enough to guarantee a good estimation of the true error. Motivated by this, we show a bound using the Hardy-Krause Variation on splines which decreases with the degree, justifying the special properties of ReLU activation functions.In [37] the main theorem shows that if the architecture of the network follows a funnel pattern (when the number of neurons in the network decreases as we go deeper), then increasing the number of layers actually reduces the generalization gap, thus supporting the deep learning approach. This happens because the funnel like architecture forces a nontrivial kernel in the linear transformations, which translates into a loss of information. This implies that as the number of layers increases, the information shared between the final layerand the dataset decreases, making the prediction less data dependant and thus regularized.This result relates closely to our interpretation of information in the analytical sense.Having a non trivial kernel means that in some cases the prediction is constant with respect to disruptions in certain dimensions. This means that the overall variation (in the sense ofderivatives) will be smaller, which according to Analytical Learning translates to a smaller generalization gap. A essência do Aprendizado de Máquina pode ser resumida como: revelar padrões implícitos nos dados tendo em posse apenas uma amostra finita. A Teoria que estuda essa questão é vasta, e duas quantidades são de particular importância: os erros do modelo dentro e fora da amostra. O primeiro é chamado de erro de treinamento, e mede a performance dentro do conjunto usado para otimizar. O segundo é a média do erro em todas as amostras, e pode ser compreendido como o erro real. Apesar do verdadeiro indicador de performance ser o erro real, podemos calcular apenas a performance dentro da amostra, que é uma estimativa empírica. Portanto, para deduzir o padrão geral, é necessário que tais erros sejam similares. A distância entre estes erros é chamada de generalization gap, e grande parte da teoria se dedica a estudar as suas propriedades e limites superiores. Ele é uma medida da habilidade do modelo de induzir corretamente o comportamento global, e é um tópico central em todas as aplicações de Aprendizagem de Máquina. A visão clássica da Estatística correlaciona a propriedade de generalização com a capacidade do modelo de ajustar os dados. A ideia é de que, se o modelo é capaz de performar em diversas configurações, então ele será sensível a ruídos presentes, e então performará mal fora da amostra. Entretanto, a definição de complexidade de um modelo é vaga, e apesar de muitas vezes ser caracterizado pelo número de parâmetros, existe um espaço de hipóteses que aparentemente escapa essa intuição. É o caso das redes neurais profundas. Fazer uso de redes com muitas camadas (aprendizado profundo) está provando ser um dos melhores paradigmas de modelagem em diversos problemas de referência, e os avanços da indústria se devem em grande parte ao seu grande sucesso. Entretanto, isso aparentemente contradiz o que a teoria de Aprendizado Estatístico nos fala sobre complexidade e generalização, já que redes profundas são capazes de ajustar diversos padrões. De fato, existem experimentos que mostram que elas podem ajustar até variáveis respostas aleatórias. Esse possível paradoxo é uma questão em aberto na área e é o principal tópico neste estudo. Após uma introdução e revisão sobre a teoria clássica de generalização, nós introduzir o trabalho de [20], que é central para as nossas contribuições. Nele é proposta uma nova abordagem chamada de Analytical Learning com o intuito de complementar o entendimento clássico, almejando trazer uma nova visão sobre essa aparente contradição revelada pelo aprendizado profundo. Neste artigo, ao invés de analisar limites de natureza probabilística, o generalization gap é estudado em um contexto onde o preditor e o conjunto de dados é fixo. Assim, desconsideramos os casos pessimistas, e uma majoração mais precisa poderia ser alcançada. Além disso, essa proposta considera um cenário mais real, pois na prática a amostra é dada. O principal resultado de [20] é uma majoração que envolve um termo relacionado aos dados, e um outro relacionado à Variação de Hardy-Krause da função perda. Nossa principal contribuição envolve traçar similaridades entre esse termo de variação com a noção de estabilidade estudada na abordagem estatística da generalização, fazendo paralelos com o que pode ser entendido no caso Analítico como informação. A ideia principal é que a variação da função perda decresce se as derivadas parciais do preditor são próximas das do oráculo. Dessa forma, as derivadas nesse sentido podem ser compreendidas como a quantidade de informação que está sendo usada, já que ela mede o impacto de uma certa dimensão na predição local. Portanto, se o preditor lê a informação da mesma forma que a função que gerou os dados, então podemos garantir uma aproximação do erro de treinamento com o erro real. Com isso, argumentamos que a derivada parcial é a principal forma de medir a regularização de um modelo no sentido analítico. Uma das vantagens dessa abordagem é simplicidade: reescrevendo o passo de otimização do DGE (descida pelo gradiente estocástico) no espaço das funções, adquirimos uma forma simples de investigar a evolução da complexidade do modelo durante o treinamento. Ademais, usamos essa interpretação para elaborar em recentes artigos abordando o problema da generalização em aprendizado profundo, [28] e [37]. No primeiro fazemos uma análise extensiva, enquanto no segundo fazemos uma análise qualitativa mais abreviada, mostrando como nossa interpretação se relaciona com os resultados neles presentes. Em [28], a complexidade das redes neurais é estudada sob a lente da Teoria de Fourier. Nele é mostrado que o espaço de redes ReLU (Rectifier Linear Unit) apresenta um decaimento espectral particularmente intenso: durante a otimização, os incrementos no k-ésimo harmônico decorrente da atualização dos pesos decresce com pelo menos k². Isso significa que as magnitudes de frequências mais altas são naturalmente amortecidas durante o treinamento, sugerindo uma propriedade regularizadora intrínseca no espaço. Apesar disso, em momento algum [28] menciona o generalization gap, e portanto não é claro se o decaimento espectral é suficiente para garantir que o erro de treinamento seja uma boa estimativa do erro real. Motivados por isso, mostramos um limite superior usando a Variação de Hardy-Krause em splines que decresce com o grau, justificando as propriedades especiais da função de ligação ReLU. O principal teorema em [37] mostra que, para arquiteturas com um formato de funil (quando o número de neurônios decresce à medida que nos aprofundamos na rede), aumentar o número de camadas implica em uma redução no generalization gap, fundamentando portanto o aprendizado profundo nesses casos. Isso ocorre pois uma arquitetura com tal formato força núcleos não triviais nas transformações lineares, o que implica em uma perda de informação. Ou seja, ao aumentar o número de camadas, a quantidade de informação nos dados usada pelo preditor diminui, tornando a predição menos dependente da amostra, e portanto regularizada. Esse resultado se relaciona muito com a nossa interpretação de informação no sentido analítico. Ter um núcleo não trivial na arquitetura significa que em alguns casos a predição vai permanecer inalterada com relação à mudanças em certas dimensões. Isso implica que a variação geral (no sentido de derivadas) será menor, o que de acordo com a teoria do Aprendizado Analítico, acarreta em uma melhor estimativa do erro real.

In this work we present an agent based model for community for- mation on societies from the dynamics for opinion exchange and dis- trust between agents. The development framework relies on Proba- bility Theory, Machine Learning and MaxEnt principles, from which we derive a new form of Entropic Dynamics for Information Process- ing Systems, in particular for simple Neural Networks, the Entropic Learning Dynamics. The resulting theory and model for agents interactions are an- alyzed in a few scenarios, chosen due to their intuitive nature and connection with possible real scenarios. We started the analysis with the properties of systems with 2 agents interacting under different trust and opinion initial conditions, and showed that the dynamics is not trivial nor leads to results with absurd interpretations. Then, we analyzed the properties of societies with many agents, varying the distribution of opinions and distrust, as well as the subjects they could discuss, and found different situations leading to consensus, polarization and even frustrated state like a spin glass. Finally, we applied the model to study the behavior of judges due the availability of data regarding the influence of political party ideology in the voting patterns of judges in the U.S Court of Appeals. In this application, although just a caricature aiming just to provide a quantitative tool for experts in the field, we tried to mimic the typical situations a panel of three judges would be submitted, attributing to agents representing judges a common knowledge of the Law, a Party bias, a Personality and exposing them to different distrust scenarios. The only scenario capable of reproducing the available data had to consider similar contributions of the Law, Party bias and Personality, as well as having Courteous and Certain judges, who extended the courtesy of attributing low distrust to agents of the opposing political party. Neste trabalho apresentamos um modelo para a formação de comu- nidades em sociedades a partir da dinâmica de trocas de opinião e de- sconfiança entre agentes. A teoria é desnvolvida com base na Teoria de Probabilidades, Aprendizado de Máquina no princípio de Máx- ima Entropia (MaxEnt), dos quais deduzimos uma nova forma de Dinâmica Entrópica para Sistemas de Processamento de Informação, em particular para Redes Neurais simples, a Dinâmica Entrópica de Aprendizado. A teoria e o modelo para a interação de agentes foram analisa- dos em alguns cenários, escolhidos pela natureza intuitiva e de pos- sível associação com circunstâncias reais. Começamos com a análise de sistemas com 2 agentes interagindo em diferentes condições de opinião e desconfiança iniciais, mostrando que a dinâmica deduzina não apresenta apenas fases triviais e não leva a interpretações ab- surdas. Em seguida, analisamos as propriedades de sociedades com muitos agentes, variando a distribuição de opiniões e desconfianças iniciais, bem como os assuntos que poderiam ser discutidos pelos agentes, mostrando que diferentes condições levam a consenso, po- larização ou até mesmo a uma fase frustrada como um video de spin. Finalizamos com uma aplicação do modelo para o comporta- mento dos juízes, dada a disponibilidade de dados a respeito da influência ideológico-partidária nos padrões de decisão judicial da Corte de Apelações dos EUA. Nesta aplicação, apesar de se apresen- tar como uma caricatura com o objetivo de dispor uma ferramenta quantitativa para especialistas na área, tentamos imitar as situações típicas às quais um colégio judicial composto por três juízes estaria submetido, atribuindo aos agentes representantes dos juízes um con- hecimento da Lei, um viés do Partido, uma Personalidade e os ex- pondo a diferentes cenários de desconfiança. O único cenárioi capaz de reproduzir o padrão empírico de votações requer que os juízes se- jam representados por agentes que atribuem pesos similares à Lei, ao viés Paridário e à Pesonalidade, bem como que extendam a Cortesia Certeira de confiar em juízes com vieses políticos opostos.

A concepção e operação de estratégias de compra e venda de ações por mecanismos de inteligência artificial ganharam escala na última década visando resultados acima da média do mercado para seus usuários, em geral, hedge funds, investidores institucionais e grandes bancos de investimentos. O aprendizado de máquina se tornou o arcabouço central no desenvolvimento desses processos, em função de sua extraordinária capacidade de revelação de padrões escondidos em um universo obscuro de dados, que até então apenas dificultava o processo de tomada de decisão tradicional, realizado pelos agentes do mercado de capitais. Em particular, este trabalho visa compreender se no mercado acionário brasileiro é possível tomar decisões consistentes, em um processo diário de seleção de ações, com auxílio de redes neurais recorrentes do tipo Long Short-Term Memory (LSTM), que em determinados níveis de profundidade e conectividade são conhecidas como deep learning. Os modelos baseados na arquitetura LSTM são propícios para a extração de informações relevantes de longas sequências de dados, portanto, são naturalmente aplicáveis ao problema de previsão do retorno futuro de ações a partir de séries temporais financeiras históricas, como os preços diários das próprias ações, os índices gerais de mercado, a cotação do dólar, entre outras. Assim, foi proposta uma metodologia que utiliza redes neurais LSTM, em conjunto com tais séries temporais, como modelos preditivos para apoiar a tomada de decisão no mercado acionário brasileiro. Com isso, diversos experimentos foram realizados para encontrar a melhor arquitetura e verificar seu potencial econômico, compreendendo as ações constituintes do Índice Bovespa (Ibovespa) no período entre 2007 e 2018. Em linha com as evidências apontadas em estudos prévios, os modelos apresentaram ótimos resultados, mesmo em configurações relativamente simples. Grandes estruturas LSTM tiveram performance ligeiramente inferior às arquiteturas menores. Além disso, observou-se que o conjunto de informações complementares aos preços das ações melhoraram o aprendizado e a acurácia dos modelos, sobretudo os índices de mercado e a taxa de câmbio. Em termos econômicos, o retorno médio anual bruto de uma carteira que simula compras diárias de 10 ações atingiu a marca de 22,3%. Esse resultado supera em mais de 100% o retorno médio das ações constituintes do Ibovespa, no mesmo período. Sobretudo, a curva de rentabilidade dessa carteira foi consistentemente maior que a curva referente ao Ibovespa. As evidências encontradas sugerem, portanto, que a metodologia proposta é capaz de revelar fortes variáveis preditivas e proporcionar ganhos de capital relevantes, através da aplicação das redes neurais LSTM no mercado brasileiro. The design and operation of stock buying and selling strategies by artificial intelligence mechanisms has gained scale over the past decade aiming at above-average market outcomes for its users, generally hedge funds, institutional investors and large investment banks. Machine learning has become the central framework in the development of these processes, due to its extraordinary ability to reveal patterns hidden in a dark universe of data, which until then only hindered the traditional decision-making process undertaken by market players. In particular, this work aims to understand if in the Brazilian stock market it is possible to make consistent decisions, in a daily stock selection process, with the aid of some type of recurrent neural networks called Long Short-Term Memory (LSTM), which at certain depth levels and connectivity are known as deep learning. Models based on the LSTM architecture are lucky to extracting relevant information from long data strings, so they are naturally applicable to the problem of predicting future stock returns from historical financial time series, such as daily stock prices, the general market indexes, the dollar quotation, among others. Thus, a methodology was proposed that uses LSTM neural networks, together with such time series, as predictive models to support decision making in the Brazilian stock market. Several experiments were performed to find the best architecture and verify its economic potential, including the actions that composed the Bovespa Index (Ibovespa) in years between 2007 and 2018. In line with the evidences pointed out in previous studies, the models presented excellent results, even in relatively simple configurations. Large LSTM structures performed slightly lower than smaller architectures. In addition, it was observed that the complementary set of stock price information improved the learning and accuracy of the models, especially the market indexes and the exchanges rates. In economic terms, the average annual return on a portfolio that simulates daily purchases of 10 shares reached 22.3% annually, excluding fees and taxes. This result exceeds by more than 100% the average return of Ibovespa\'s constituent shares in the same period. Withal, the portfolio yield curve was consistently higher than the Ibovespa curve. Therefore, there is positive evidence on the temporal consistency of the proposed methodology, on its ability to reveal strong predictive variables, and thereafter potential application of LSTM neural networks in the Brazilian market.

While most statistical learning methods are designed to work with data stored in a single table, many large datasets are stored in relational database systems. Probabilistic Relational Models (PRM) extend Bayesian networks by introducing relations and individuals, thus making it possible to represent information in a relational database. However, learning a PRM from relational data is a more complex task than learning a Bayesian Network from \"flat\" data. The main difficulties that arise while learning a PRM are establishing what are the legal dependency structures, searching for possible structures, and scoring them. This thesis focuses on the development of a novel approach to learn the structure of a PRM, describes a package in the R language to support the learning framework, and applies it to a real, large scale scenario of a city named Atibaia, in the state of São Paulo, Brazil. The research is based on a database combining three different tables, each representing one class in the domain of study. The first table contains 27 attributes from 110,816 citizens of Atibaia. The second table contains 9 attributes from 20,162 companies located in the city. And finally, the third table has 8 attributes from 327 census sectors (small territorial units that comprise the city of Atibaia). The proposed framework is applied to learn a PRM structure and parameters from the database. The model is used to verify if the Social Class of a person can be explained by the location where they live, their neighbors, and the companies nearby. Preliminary experiments have been conducted and a paper published in the 2017 Symposium on Knowledge Discovery, Mining and Learning (KDMiLe). The algorithm performance was further evaluated by extensive experimentation, and a broader study using Serasa Experian data was conducted. Finally, the package in the R language that supports our method was refined along with proper documentation and a tutorial. Embora a maioria dos métodos de aprendizado estatístico tenha sido desenvolvida para se trabalhar com dados armazenados em uma única tabela, muitas bases de dados estão armazenadas em bancos de dados relacionais. Modelos Probabilísticos Relacionai (PRM) estendem Redes Bayesianas introduzindo relações e indivíduos, tornando possível a representação de informação em uma base de dados relacional. Entretanto, aprender um PRM através de dados relacionais é uma tarefa mais complexa que aprender uma Rede Bayesiana de uma única tabela. As maiores dificuldades que se impõe enquanto se aprende um PRM são estabelecer quais são as estruturas de dependência legais, procurar por possíveis estruturas, e avalia-las. Esta tese foca em desenvolver um novo método de aprendizado de estruturas de PRM, descrever um pacote na linguagem R que suporte este método e aplica-lo a um cenário real e de grande escala, a cidade de Atibaia, no estado de São Paulo, Brasil. Esta pesquisa está baseada em uma base de dados combinando três tabelas distintas, cada uma representando uma classe no domínio de estudo. A primeira tabela contém 27 atributos de 110.816 habitantes de Atibaia, e a segunda tabela contém 9 atributos de 20.162 empresas da cidade. Por fim, a terceira tabela possui 8 atributos para 327 setores censitários (pequenas unidades territoriais que formam a cidade de Atibaia). A proposta é aplicada para aprender-se a estrutura de um PRM e seus parâmetros através desta base de dados. O modelo foi utilizado para verificar se a classe social de uma pessoa pode ser explicada pelo local onde ela vive, seus vizinhos e as companhias próximas. Experimentos preliminares foram conduzidos e um artigo foi publicado no Symposium on Knowledge Discovery, Mining and Learning (KDMiLe). O desempenho do algoritmo foi reavaliada através de extensiva experimentação, e um estudo mais amplo foi conduzido com os dados da Serasa Experian. Por fim, o pacote em R que suporta o método proposto foi refinado, e documentação e tutorial apropriado foram descritos.

Neste trabalho, Compressed Sensing é introduzido do ponto de vista da Física Estatística. Após uma introdução sucinta onde os conceitos básicos da teoria são apresentados, incluindo condições necessárias para as medições e métodos básicos de reconstrução do sinal, a performance típica do esquema Bayesiano de reconstrução é analisada através de um cálculo de réplicas exposto em detalhe pedagógico. Em seguida, a principal contribuição original do trabalho é introduzida --- o algoritmo Bayesiano de Compressed Sensing Online faz uso de uma aproximação de campo médio para simplificar cálculos e reduzir os requisitos de memória e computação, enquanto mantém a acurácia de reconstrução do esquema offline na presença de ruído aditivo. A última parte deste trabalho contém duas extensões do algoritmo online que permitem reconstrução otimizada do sinal no cenário mais realista onde conhecimento perfeito da distribuição geradora não está disponível. In this work, Compressed Sensing is introduced from a Statistical Physics point of view. Following a succinct introduction where the basic concepts of the framework are presented, including necessary measurement conditions and basic signal reconstruction methods, the typical performance of the Bayesian reconstruction scheme is analyzed through a replica calculation shown in pedagogical detail. Thereafter, the main original contribution of this work is introduced --- the Bayesian Online Compressed Sensing algorithm makes use of a mean-field approximation to simplify calculations and reduce memory and computation requirements, while maintaining the asymptotic reconstruction accuracy of the offline scheme in the presence of additive noise. The last part of this work are two extensions of the online algorithm that allow for optimized signal reconstruction in the more realistic scenarios where perfect knowledge of the generating distribution is unavailable.

No contexto dos sistemas complexos, o presente trabalho investiga 3 estratégias de precificação:(1)desnatação,(2) penetração e (3)aprendizado, na difusão de carros elétricos em diferentes contextos.Por meio da modelagem baseada em agentes com 100.000 entidades autônomas, o primeiro modelo testa três situações relacionados à demanda energética:(1)desabastecimento,(2)estabilidade e (3)crescimento moderado da demanda.A forte escassez de energia estimulou a rápida migração dos agentes aos carros elétricos. As três estratégias de precificação exibiram resultados similares em termos de faturamento e % na participação do mercado, no entanto a estratégia de penetração foi capaz de capturar uma parcela maior do mercado em menor tempo.No segundo modelo,3 diferentes comportamentos sociais são aplicadas aos agentes: (1)conservador,(2)racional e (3) social,em diferentes proporções afim de avaliar a influência da composição social na dinâmica difusora.No que concerne ao faturamento e % na participação do mercado, o segundo modelo detectou diferenças estatisticamente significativas para cada estratégia de precificação.Em sociedades proeminentemente conservadoras, as três estratégias não apresentaram indícios de diferença significativa no tocante relação ao faturamento,% na participação final do mercado e taxa de adoção média.Sociedades compostas majoritariamente por agentes racionais, apresentaram a mais rápida convergência aos carros elétricos,sendo este, o veículo mais caro.Isto se deve à percepção positiva do custo/benefício ao longo prazo.O maior faturamento é proveniente das sociedades compostas preponderantemente por agentes com atitudes sociais dado à compra e troca mais recorrente entre diferentes veículos no decorrer das interações.A estratégia de desnatação demonstrou maior versatilidade ao exibir performance superior com maior regularidade no que tange em faturamento em todas as composições sociais testadas.A estratégia de penetração exibiu índices maiores em taxa de adoção e faturamento em redes compostas integralmente por agentes com comportamentos sociais iguais,mas não foi possível detectar este padrão em redes parciais. Por fim, a estratégia de aprendizado apresentou o menor faturamento em todos os cenários, no entanto, sua taxa de adoção similar à estratégia de penetração, pode ser a estratégia de precificação mais crível e eficiente para empresas iniciantes In the context of complex systems,the following research investigated 3 pricing strategies:(1)skimming,(2)penetration and (3)learning, at electric car diffusion in several different scenarios. Through the agent-based modelling with 100.000 autonomous entities, the first model tested 3 situations related to energy demand:(1)severe shortage,(2)stability and (3)moderate growing of demand. The strong shortage of energy forced an fast-paced migration of agents towards the electric cars. The 3 strategies showed up similar results in terms revenues and market share, however the penetration strategy was able to capture a large part of the market faster than others. At the second model, 3 different social behaviors were implemented in each agent:(1)conservative,(2)rational and (3)social,in different proportions in order to assess social composition and its influence in the innovation diffusion process. Revenue and market share as concerned,the second model detected significant statistic difference for each pricing strategy. For societies predominantly conservative, all strategies did not show significant differences evidences regarding to revenue,market share and average adoption rate. Societies comprised mostly of rational agents presented the quickest convergence to electric cars, which it is the most expensive car. This is because a positive perception of benefits over cost in the long term.The largest revenue were derived from societies primarily composed of agents with social behaviors due to recurrent purchase and exchange between different vehicles over the interactions. Skimming strategy demonstrated greater versatility by displaying superior performance more regularly in terms of revenue in every social composition simulated. Penetration strategy exhibited highest rates of adoption and revenue in social networks composed entirely of agents with same social behavior, but it was not possible to detect such pattern at partial social networks. Finally, the learning strategy reported the lowest revenues at every scenario, none the less, its rate of adoption was equivalent to penetrations strategy rates, this strategy could be the most feasible and efficient to startups and small companies

O estudo de sistemas complexos nos ajuda a entender como regras locais simples podem gerar padrões agregados complexos e muitas vezes inesperados. Quando as regras são bem definidas e os padrões observáveis, o sistema pode ser modelado e seus resultados comparados. Um dos maiores desafios para a modelagem de sistemas complexos é definir a regra de interação responsável pelo comportamento complexo. Em dinâmica de opiniões, padrão complexo e inesperado pode ser o súbito consenso ou até mesmo a polarização, e objetivo, então, se torna verificar em que circunstâncias podemos observar pessoas concordarem ou descordarem. Embora haja uma série de modelos de dinâmica de opiniões para descrever como as pessoas interagem, cada um define a regra de formação da opinião de forma ad hoc. O modelo CODA (Continuous opinions and Discret Actions) propõe uma fundamentação teórica para os modelos de dinâmica de opiniões baseada em teoria de probabilidade. Suas aplicações se estendem desde estudos sobre inovação à epistemologia. Nesta dissertação, aprofundamos os estudos de epistemologia que envolvem o CODA, investigando principalmente o efeito da confiança no processo de confirmação cientifica. Nossas simulações corroboram investigações sociológicas e históricas sobre o papel fundamental da confiança no processo de aquisição e geração do conhecimento The study of complex systems helps us understand how simple local rules can generate complex and often unexpected aggregate patterns. When the rules are well defined and patterns observed, the system can be modeled and its results compared. One of the major challenges for modeling complex systems is to define a rule of interaction responsible for complex behavior. In opinion dynamics, complex and unexpected pattern may be the sudden consensus or even a polarization, so the aim it is to verify under what circumstances we can observe agreement or disagreement. Although there are a number of models of opinion dynamics to describe how people should interact with each other, each one defines an ad hoc opinion formation rule. The model of opinion dynamics CODA (Continuous Opinions and Discret Actions) proposes a theoretical framework for the models of opinion dynamics, based on probability theory. Their applications range from studies on innovation to epistemology. In this dissertation, we deepen the studies of epistemology that involve the CODA, investigating mainly the effect of the trust in the process of scientific confirmation. Our simulations corroborates sociological and historical researches on the role of trust in the process of acquisition and generation of knowledge

A desigualdade material hereditária teria surgido no registro arqueológico pela primeira vez por volta de 6.500 A.C. na região da Mesopotâmia, tendo posteriormente emergido de maneira independente em diferentes localidades e contextos, dentro de um intervalo de tempo relativamente curto. Muitas teorias foram propostas para explicar os fenômenos, porém sua compreensão permanece em aberto. Buscou-se, aqui, abordar a questão sob a perspectiva dos Sistemas Adaptativos Complexos, construindo um Modelo Baseado em Agentes que teve como base teórica a literatura que trata da questão, focada nos últimos vinte anos do debate, aprofundada em dois estudos de caso: a Mesopotâmia e a Costa Noroeste da América do Norte. Dos nove parâmetros testados oito apresentaram relação direta com a assimetria material dos indivíduos podendo colaborar com a emergência da desigualdade material hereditária, de forma que fomos levados a considerar a igualdade material e a cooperação presente entre os caçadores e coletores como propriedades decorrentes de uma estrutura social de criticalidade auto-organizada The hereditary material inequality would have emerged for the first time in the archaeological record around 6.500 BC in Mesopotamia, emerging after it repeatedly and independently in different localities and contexts, in a small time period. Many theories have been proposed but the complete understanding of the issue remains open to debate. Thus, we have proposed here an approach of the phenomenon under the Complex Adaptive Systems perspective, through which an agent-based model have been built. Constitutes the background of the model the working papers and text books written in the last two decades, which were later checked agains two case studies: Mesopotamia and Northwest Coast, in North America. Among the nine parameters tested in the model eight presented direct relation to the material asymmetry of individuals, potentially participating of the precesses involved in the emergence of material inequality. This results leads us to consider the possibility of the egalitarian and cooperative social structures of huntergatherers to be one of self-organized criticality

In this thesis, we explore the potential of employing Statistical Mechanics techniques to study economic systems, showing how such an approach could greatly contribute by allowing the study of very complex systems, exhibiting rich behavior such as phase transitions, criticality and glassy phases, which are not found in the usual economic models. We exemplify this potential via three specific problems: (i) a Statistical Mechanics framework for dealing with irrational consumers, in which the rationality is set by a parameter akin to a temperature which controls deviations from the maximum of his utility function. We show that an irrational consumer increases the economic activity while decreasing his own utility; (ii) an analysis using Information Theory of real world Input-Output matrices, showing that the aggregation methods used to build them most likely underestimated the dependency of the production chain on a few crucial sectors, having important consequences for the analysis of these data; (iii) a zero intelligence model in which agents with a power law distributed initial wealth randomly trade goods of different prices. We show that this initial inequality generates a higher inequality in free cash, reducing the overall liquidity in the economy and slowing down the number of trades. We discuss the insights obtained with these three problems, along with their relevance for the larger picture in Economics. Nesta tese, exploramos o potencial de ser usar técnicas de Mecânica Estatística para o estudo de sistemas econômicos, mostrando como tal abordagem pode contribuir significativamente ao permitir o estudo de sistemas complexos que exibem comportamentos ricos como transições de fase, criticalidade e fases vítreas, não encontradas normalmente em modelos econômicos tradicionais. Exemplificamos este potencial através de três problemas específicos: (i) um framework de Mecânica Estatística para lidar com consumidores irracionais, no qual a racionalidade é controlada pela temperatura do sistema, que define o tamanho dos desvios do estado de máxima utilidade. Mostramos que um consumidor irracional aumenta a atividade econômica ao mesmo tempo que diminui seu próprio bem estar; (ii) uma anáise usando Teoria da Informação de matrizes Input-Output de economias reais, mostrando que os métodos de agregação utilizados para construí-las provavelmente subestima a dependência das cadeias de produção em certos setores cruciais, com consequências importantes para a analíse destes dados; (iii) um modelo em que agentes com uma riqueza inicial distributida como lei de potências trocam aleatoriamente objetos com preços distintos. Mostramos que esta desigualdade inicial gera uma desigualdade ainda maior em dinheiro livre, reduzindo a liquidez total na economia e diminuindo a quantidade de trocas. Discutimos as consequências dos resultados destes três problemas, bem como sua relevância na perspectiva geral em Economia.

This thesis is divided into two parts. In the first part, we show how problems of statistical inference and combinatorial optimization may be approached within a unified framework that employs tools from fields as diverse as machine learning, statistical physics and information theory, allowing us to i) design algorithms to solve the problems, ii) analyze the performance of these algorithms both empirically and analytically, and iii) to compare the results obtained with the optimal achievable ones. In the second part, we use this framework to study two specific problems, one of inference (compressed sensing) and the other of optimization (information hiding). In both cases, we review current approaches, identify their flaws, and propose new schemes to address these flaws, building on the use of message-passing algorithms, variational inference techniques, and spin glass models from statistical physics. Esta tese está dividida em duas partes. Na primeira delas, mostramos como problemas de inferência estatística e de otimização combinatória podem ser abordados sob um framework unificado que usa ferramentas de áreas tão diversas quanto o aprendizado de máquina, a física estatística e a teoria de informação, permitindo que i) projetemos algoritmos para resolver os problemas, ii) analisemos a performance destes algoritmos tanto empiricamente como analiticamente, e iii) comparemos os resultados obtidos com os limites teóricos. Na segunda parte, este framework é usado no estudo de dois problemas específicos, um de inferência (compressed sensing) e outro de otimização (ocultação de dados). Em ambos os casos, revisamos abordagens recentes, identificamos suas falhas, e propomos novos esquemas que visam corrigir estas falhas, baseando-nos sobretudo em algoritmos de troca de mensagens, técnicas de inferência variacional, e modelos de vidro de spin da física estatística.

Nesta dissertação de mestrado aplicamos métodos de mecânica estatística a dois problemas relacionados à interação e evolução cultural. O primeiro diz respeito à evolução e manutenção da cooperação altruística. Apresent amos a dinâmica Fisher-Wright em dois níveis, desenvolvida em [49], descreve a evolução do comportamento altruísta através de uma estruturada em grupos com migrac;ao e, assim, contorna algumas das limitações de outros mecanismos propostos ao longo do último século. Neste trabalho, aplicamos este mecanismo ao modelo desenvolvido por Boyd, Gintis e Bowles [12], que explica a manutenção da cooperação através da punição altruística, mostrando que o processo Fisher-Wright em dois níveis permite uma abordagem mais robusta e natural, obtendo viabilidade para o altruísmo mesmo com taxas de migração significativas. 0 segundo problema descrito nesta dissertação consiste de um modelo, proposto em [16], para certos resultados quantitativos em suporte à Teoria de Fundamentos Morais obtidos por Jonathan Haidt [32]. Nestre trabalho estudamos a influencia da rede topológica nos resultados deste modelo de agentes, em particular utilizando a rede do Facebook como exemplo de rede realista. In this dissertation we apply statistical mechanics methods to two problems involving social interaction and cultural evolution. The first problem concerns the evolution and maintenance of altruistic cooperation. We discuss the two level Fisher-Wright mecanism proposed in [49] which deals with the question of evolutionary viability of altruistic behavior in a group structured population with migration, and is capable of circumventing certain limitations of other mecanisms proposed in the last century. We use this framework to analyse Boyd, Gintis and Bowles\' model [12] for the maintenance and proliferation of cooperation through altruistic punishment, showing that the two level Fisher-Wright process allows for a more robust and natural approach, showing altruism to be viable even at significantly high migration rates. The second problem deals with a model for explaining certain quantitative data obtained by Jonathan Haidt [32] in his Moral Foundation Theory. We study the agent based interaction model proposed in [16] in a scenario where the influcence graph consists of the Facebook social network to understand the network\'s influence in the results.

O dilema do prisioneiro (DP) é um dos principais jogos da teoria dos jogos. No dilema do prisioneiro discreto (DPD), dois prisioneiros têm as opções de cooperar ou desertar. Um jogador cooperador não delata seu comparsa, já um desertor delata. Se um cooperar e o outro desertar, o cooperador fica preso por cinco anos e o desertor fica livre. Se ambos cooperarem, ficam presos por um ano e, se ambos desertarem, ficam presos por três anos. Quando o DP é repetido, a cooperação pode emergir entre agentes egoístas. Realizamos um estudo analítico para o DPD, que produziu uma formulação da evolução do nível médio de cooperação e da tentação crítica (valor de tentação que causa mudança abrupta do nível de cooperação). No dilema do prisioneiro contínuo (DPC), cada jogador apresenta um nível de cooperação que define o grau de cooperação. Utilizamos o DPC para estudar o efeito da personalidade dos jogadores sobre a emergência da cooperação. Para isso, propusemos novas estratégias: uma baseada na personalidade dos jogadores e outras duas baseadas na comparação entre o ganho obtido e a aspiração do jogador. Todas as estratégias apresentavam algum mecanismo de cópia do estado do vizinho com maior ganho na vizinhança, mecanismo este, herdado da estratégia darwiniana. Os resultados mostraram que o DPC aumenta o nível médio de cooperação do sistema, quando comparado ao DPD. No entanto, as diferentes estratégias não aumentaram a cooperação comparado à cooperação obtida com a estratégia darwiniana. Então propusemos o uso do coeficiente de agrupamentos, coeficiente de Gini e entropias de Shannon, Tsallis e Kullback-Leibler para classificar os sistemas, em que os agentes jogam o DPD com a estratégia darwiniana, quanto ao nível de cooperação. Como analisamos valores de médias configuracionais, tais classificadores não foram eficientes ao classificar os sistemas. Isso é consequência da existência de distribuições de extremos nos resultados que compõem as médias. As distribuições de extremos suscitaram uma discussão acerca da definição do regime de cooperação no dilema do prisioneiro. Discutimos também as consequências de utilizar apenas valores médios nos resultados ignorando seus desvios e as distribuições. Prisoner\'s dilemma (PD) is one of the main games of game theory. In discrete prisoner\'s dilemma (DPD), two prisoners have the options to cooperate or to defect. A cooperator player does not defect his accomplice, while a defector does. If one player cooperates and the other defects, the cooperator gets jailed for five years and the defector goes free. If both cooperate, they get jailed during one year and if both defect, they get jailed during three years. When this game is repeated, cooperation may emerge among selfish individuals. We perform an analytical study for the DPD, that produced a formulation for the evolution of the mean cooperation level and for the critical temptation values (temptation values that promote abrupt modifications in the cooperation level). In continuous prisoner\'s dilemma (CPD), each player has a level of cooperation that defines his/her degree of cooperation. We used the CPD to study the effect of the players\' personality on the emergence of cooperation. For this, we propose new strategies: one based on the players\' personality and two others based on the comparison between the player\'s obtained payoff and the desire one. All strategies present some mechanism that copies the state of the neighbor with the highest payoff in the neighborhood, mechanism inherited from the Darwinian strategy. The results showed that the CPD increases the average cooperation level of the system when compared to DPD. However, different strategies do not increased the cooperation compared to cooperation obtained with the Darwinian strategy. So, we propose the use of cluster coefficient, Gini coefficient and entropy of Shannon, Tsallis and Kullback-Leibler as classifiers to classify systems, in which the individuals play DPD with Darwinian strategy, by the cooperation level. As configurational averages were analyzed, such classifiers were not efficient in classifying the systems. This is due to the existence of distributions with extreme values of the results that compose the means. Distributions with extremes values emerged a discussion about the definition of the cooperation state in the prisoner\'s dilemma. We also discussed the consequences of using only average results in the analysis ignoring their deviations and distributions.

O dilema do prisioneiro é geralmente visto como o ponto de partida para entender o problema da cooperação. Em comparação com o dilema do prisioneiro discreto e iterado, poucos estudos existem sobre o dilema do prisioneiro contínuo e iterado. A maioria dos trabalhos que investigaram o dilema do prisioneiro contínuo e iterado concentrou-se no período de 1990 a 2000, não obtendo resultados conclusivos sobre a melhor estratégia a ser adotada neste tipo de jogo. Duas estratégias diferentes se destacam neste tipo de dilema. A primeira é a estratégia RTS (Raise-the-Stakes) de Roberts e Sherrat (1998) que testa o terreno antes de aumentar os investimentos na relação. A segunda deriva do modelo LRS (Linear Reactive Strategies) de Wahl e Nowak (1999a). Esta última estratégia estando em equilíbrio de Nash cooperativo apresenta três características: (i) generosidade, i.e., investir o máximo possível no início da relação de cooperação; (ii) otimismo, i.e., contar com o melhor cenário para as próximas rodadas, e (iii) intransigência. Esta pesquisa tem como objetivo principal contrapor as estratégias RTS e LRS num dilema do prisioneiro contínuo e iterado, na presença e ausência de ruído, com jogadas simultâneas e alternadas e para diferentes valores do parâmetro w (probabilidade de interagir novamente). Restringimos a nossa análise a um conjunto de seis estratégias: ALLC, ALLD, TFT, RTS, LRS e RTSM. O método utilizado foi o da simulação baseada em agente (ABM) no formato de torneios, semelhante ao de Axelrod (2006), Roberts & Sherratt (1998), Nowak & Sigmund (1992) e Nowak & Sigmund (1993). Utilizamos o software Netlogo e documentamos todo o processo da concepção e construção do modelo por meio da ferramenta TRACE (TRAnsparent and Comprehensive model Evaludation). Os resultados mostram que as estratégias mais cooperativas são mais favorecidas quando o jogo consiste em jogadas alternadas ao invés de simultâneas. A estratégia RTS teve melhor desempenho em jogos simultâneos para valores intermediários de w, na presença ou ausência de ruído. Por sua vez, a estratégia LRS teve melhor desempenho nos jogos simultâneos, na presença ou ausência de ruído, ou alternados e na presença de ruído, em ambos os casos para valores grandes de w The prisoner\'s dilemma is generally seen as the starting point for understanding the problem of cooperation. In comparison with the discreet and iterated prisoner\'s dilemma, few studies exist on the continuous iterated prisoner\'s dilemma. Most of the works that have investigated the continuous iterated prisoner\'s dilemma has concentrated in the period from 1990 to 2000, not getting conclusive results on the best strategy to be adopted in this type of game. Two different strategies stand out in this kind of dilemma. The first is the RTS strategy (Raise-the-Stakes) of Roberts and Sherrat (1998) that tests the ground before increasing investment in the relationship. The second is the model deriva LRS (Linear Reactive Strategies) de Wahl and Nowak (1999a). This last strategy being in Nash equilibrium cooperative presents three characteristics: (i) generosity, i.e., investing as much as possible at the beginning of the cooperation relationship; (ii) optimism, i.e., rely on the best scenario for the next rounds, and (iii) intransigence. This research has as main goal to reconcile opposing RTS strategies and LRS in a continuous iterated prisoner\'s dilemma, in the presence and absence of noise, with simultaneous moves and alternate and for different values of the parameter w (probability of interacting again). We restrict our analysis to a set of six strategies: ALLC, ALLD, TFT, RTS, LRS and RTSM (halfway between RTS and LRS). The method used was the agent-based simulation (ABM) in tournament format, similar to that of Axelrod (2006), Roberts (1998), Sherratt & Nowak & Sigmund (1992) and Nowak & Sigmund (1993). We use the NetLogo software and document the whole process of design and construction of the tool model TRACE (TRAnsparent and Comprehensive model Evaludation). The results show that most strategies are more favoured unions when the game consists of alternating plays rather than simultaneous. The RTS strategy had better performance in simultaneous games for intermediate values of w, in the presence or absence of noise. In turn, the IRS strategy had better performance when simultaneous games, in the presence or absence of noise, or switched, and in the presence of noise, in both cases, for large values of w

Entendimento de processos que levem ao surgimento de opiniões extremas é valioso na prevenção de atos de violência. Os modelos são ferramentas úteis para identificar possíveis padrões relacionados a estes processos. No entanto, modelos discretos ou contínuos com confiança limitada não se mostram adequados para estudar dinâmicas caracterizadas pela divergência de opiniões. É proposta uma extensão cultural do modelo de Opiniões Contínuas e Ações Discretas (CODA) com múltiplos assuntos alternados por um mecanismo de ligação preferencial. Os agentes são influenciados não só em suas opiniões, mas também nas importâncias que atribuem aos diferentes assuntos. As principais características do modelo são o surgimento de preferências e consensos locais, aos quais estão associadas as opiniões mais extremas. Há, em contrapartida, persistência de opiniões brandas nos temas menos preferidos. O estudo do espaço paramétrico do modelo revelou que modificações diminuindo a localidade das interações aumentam maiorias e amenizam opiniões. Duas estratégias distintas de debate foram testadas. Zelotes têm poder de conversão aumentado quando dispersos. Evitadores minimizam o número de interações indesejável se agrupados. Foram esboçadas abordagens para inserção de efeitos da mídia na dinâmica Understanding processes leading to extremism is invaluable to prevent violence outbursts. Models are useful tools that allow for identifying patterns related to those processes. Nevertheless, discrete models and bounded-confidence continuous models are unfit for studying diversion-based dynamics. We present a cultural extension of CODA model, with multiple subjects selected through a preferential attachment rule. Agents are influenced in their opinions and relevance attributed to different subjects. The most notable results of the dynamics are the establishment of local subject preferences and consensus, associated with more extreme opinions. On the other hand, there is persistence of immature undeveloped opinion in the locally less regarded subjects. The study of parametric space has shown that settings reducing the locality of interactions both increase the majority size and make opinions less extreme. Two distinct debate strategies were simulated. Zealots increase conversions when spread throughout the network. In contrast, subject avoiders decrease the number of unwanted interactions by grouping together. Some ideas for introducing media influence to the model were outlined

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR PROGRAMA DE SUPORTE À PÓS-GRADUAÇÃO DE INSTS. DE ENSINO Medida da magnitude de flutuação dos preços, a volatilidade é uma métrica importante para definir as estratégias de negociação e de controle de risco mais adequadas. Esse trabalho desenvolve um modelo de volatilidade fenomenológico baseado na rede microscópica heterogenea na qual os agentes especuladores respondem à chegada das informações. A dinâmica das características da volatilidade, modeladas por processos estocásticos, é governada por assimetrias no fluxo de informação através de diferentes resoluções temporais de análise. Entre essas características, destacamos os fatos estilizados de memória longa, clustering e efeito de alavancagem. Essas propostas são elucidadas através da análise empírica das séries de preço de um minuto do índice Ibovespa no período de dez anos. Volatility, as a metric for price uncertainty, is an important quantity for suitable trade strategy and risk control. This work develops a phenomenological volatility model based on a heterogeneous microstructure framework in which the market agents of speculative activity respond to information arrivals. The dynamic features of volatility, modeled as a stochastic process, is governed by asymmetries in the informational flow across different time resolutions. Among these features, we highlight the stylized facts of long memory, clustering and leverage effect. These proposals are contrasted with our empirical analysis of a ten-year time series of one-minute Brazilian market Index.

Nesta dissertação aplicamos conceitos de Teoria de Jogos Evolucionária ao jogo Hawk-Dove introduzido originalmente por Maynard Smith como um modelo para lutas convencionais [37]. Estudamos então a competição entre estratégias puras (consistentes) e mistas/aleatórias (inconsistentes) em uma extensão deste jogo que, sujeita a efeitos estocásticos, apresenta um mecanismo de drift que leva à população a um equilíbrio monomórfico da estratégia inconsistente. Também estudamos o problema do altruísmo forte e os efeitos de uma demografia de grupos em sua evolução, baseado no framework 2LFW de Schonman, Vicente e Caticha [58]. Elaboramos uma fórmula para a probabilidade de extinção do processo em seus estágios iniciais e calculamos e simulamos os equilíbrios estáveis do framework no regime de seleção fraca em t ! 1 para alguns jogos de interesse. In this dissertation we have applied Evolutionary Game Theory concepts to the Hawk-Dove game that has been originally introduced by Maynard Smith as a model for conventional aggression [37]. We then studied the competition between pure (consistent) and mixed/random (inconsistent) strategies in an extension of this game which, subject to stochastic effects, presents a drift mechanism that drives the population to a monomorphic equilibrium of the inconsistente strategy. We have also studied the problem of Strong Altruism and the effects of a group demography in its evolution, based on Schonman, Vicente and Catichas 2LFW framework [58]. We have elaborated a formula for the processs extinction probability in its initial stages and calculated and simulated the stable equilibriums of the framework under weak selection for t ! 1 for some games of interest.

Estômatos são poros responsáveis pela troca gasosa entre a folha e o meio externo. A partir da década de 80, experimentos revelaram um complexo padrão espaço temporal na abertura e fechamento dos estômatos. As experiências apontam para uma possível coordenação entre estômatos em algumas áreas da folha chamada de patches. Esse fenômeno é conhecido na literatura como patchy stomatal conductance. Frequentemente a coordenação dinâmica dos estômatos está associada à oscilações temporais na condutãncia estomática (média especial da abertura dos estômatos). Em 1997 Haefner, Buckley e Mott (HBM) publicaram uma análise numérica de um modelo dinâmico para explorar o comportamento complexo dos estômatos. O modelo é baseado em algumas características conhecidas dos estômatos e assume transporte hídrico em uma rede definida por uma geometria simples e bastante restritiva. De acordo com os autores, o modelo reproduz qualitativamente os dados experimentais. Recentemente, Ferraz e Prado mostraram que esse modelo não é capaz de reproduzir os resultados experimentais. Usando ingredientes do modelo sugerido por HBM, Ferraz e Prado sugeriram uma geometria realística de distribuição reservatórios hídricos. Embora essa configuração reproduza os patches, eles permanecem estáticos e nenhuma oscilação é observada. Sem explorar detalhes significativos, Ferraz e Prado afirmaram que a histerese na abertura estomatal poderia explicar vários aspectos dos resultados experimentais. No presente estudo comprovamos, através de uma abordagem computacional baseada em transdutores histeréticos, que a hipótese de histerese na abertura dos estômatos de fato reproduz qualitativamente os dados experimentais. Em nossa abordagem a histerese na abertura dos estômatos é emulada através de operadores chamados de histerons. A robustez da hipótese é testada usando diferentes tipos de histerons. Analisamos a correlação entre os estômatos na rede que simula a superfície da folha. Observamos que a correlação entre estômatos depende da geometria da veia. Uma análise detalhada dos parâmetros envolvidos revela uma dependência entre o período de oscilação na condutância estomática e o déficit de vapor d\'água entre a folha e o meio ambiente. Esta característica subjacente ao modelo pode inspirar novas experiências para testar a hipótese da histerese na abertura dos estômatos. Stomata are pores on the surface of leaves responsible for controlling the exchange of gas between the plant and the environment. Experiments revealed a complex spatial-temporal pattern in the opening and closing mechanism of stomata. The main feature of the phenomenon is that stomata appear to be synchronized into clusters, known as patches. The dynamical coordination of stomata often involves oscillations in stomatal conductance. In 1997 Haefner, Buckley, and Mott (HBM) published a numerical analysis of a dynamic model to explore the complex behavior of stomata. The model is based on some known features of the stomata, and assumes that water diffuses within the leaves according to a simple geometric arrangement. According to the authors, the model reproduces qualitatively the experimental data. Recently, Ferraz and Prado showed that the computational approach of HBM is not able to reproduce the experimental results. Inspired by this model, Ferraz and Prado introduced a new geometric features that leads to static patches of stomata; however no oscillation was observed and the patches remained static. The authors suggested that hysteresis in stomatal aperture could explain several experimental aspects. We now report a further investigation of the changes suggested by Ferraz and Prado in the original model of HBM. The theoretical approach confirmed that hysteresis in the aperture mechanism of pores reproduces a variety of behaviors of stomatal conductance described in experiments. We explore the hysteresis feature through the formalism of hysteretic transducer. The robustness of the hysteretic assumption is tested by different kinds of hysteresis operators. We analyzed the correlation among stomata in the lattice. We observed that the correlation depends on the geometry of the veins. Finally, the analysis of the model reveals a dependence between the period of oscillation in the stomatal conductance time series and water vapor pressure deficits Δω - an external parameter. Further experiments might explore this underlying feature of the model.

Sistemas morfológicos quantitativos são descritos por medidas contínuas. A relação genética entre essas características dos indivíduos é representada pela matriz de covariância genética aditiva, a matriz G. Entender a evolução da matriz G, portanto, é de suma importância para compreender os padrões de diversificação encontrados na natureza. Neste trabalho estudamos modelos computacionais para a evolução de traços contínuos em populações naturais, sujeitas a variados tipos de seleção e condições internas, focando no problema da evolução dos padrões de integração e modularidade nessas populações. Testamos dois modelos com diferentes combinações de parâmetros em sua capacidade de reproduzir e elucidar padrões naturais. Seleção direcional correlacionada se mostrou uma força importante na criação desses padrões de covariação e a seleção estabilizadora correlacionada se mostrou fundamental para a manutenção desses padrões Quantitative morphological systems are described by continuous measurements. The genetic relation between these characteristics of the individuals is represented by the genetic additive co-variance matrix, the G matrix. Understanding the evolution of the G matrix is, therefore, of paramount importance for proper interpretation of the patterns of diversification we observe in nature. In this work we study computational models for the evolution of quantitative traits in natural populations, subject to different natural selection and internal conditions, focusing on the problem of the evolution of the pattern of morphological integration and modularity. We test two models with different sets of parameters in their ability to reproduce and elucidate natural patterns. Directional correlated selection was necessary for the shaping of the patterns of morphological integration, and correlated stabilizing selection was fundamental to the maintenance of these patterns

Dá-se o nome de sistemas de reputação a mecanismos em que membros de uma comunidade emitem avaliações sobre os demais e a partir destas se inferem quais dos membros podem ou não ser considerados confiáveis. Apresentamos, nesta dissertação de mestrado, um estudo sobre estes sistemas. Modela-se o problema de calcular reputações a partir de avaliações não-confiáveis como um problema de inferência estatística, que é então analisado com o uso de uma técnica conhecida como propagação de crenças, permitindo que obtenhamos estimativas. Em seguida, utilizamo-nos da relação existente entre problemas de inferência e mecânica estatística para realizar um estudo analítico mais profundo, por meio de uma generalização do método de cavidade. São traçados diagramas de fase, em que se observam regiões de parâmetros para as quais o problema torna-se mais difícil de resolver; esta análise nos dá alguma intuição sobre o problema, possibilitando que sejam propostas melhorias aos métodos existentes para tratá-lo. It\'s given the name of reputation system to mechanisms in which members of a community issue each other ratings and from these it is inferred which can be trusted and which can\'t. We present, in this master\'s dissertation, a study on these systems. The problem of calculating reputations from unreliable ratings is modeled as one of statistical inference, and then analyzed with the use of a technique known as belief propagation, allowing us to obtain estimatives. Next, we use the existing relation between inference problems and statistical mechanics to motivate a deeper study, by means of a generalization of the cavity method. Phase diagrams are drawn, making possible to identify regions of parameters for which the problem is harder to solve; this analysis brings insight to the problem, allowing one to propose improvements to the methods available for it\'s treatment.

Esta tese apresenta um estudo de modelos de crescimento e contágio em redes, relacionando propriedades topológicas das redes com propriedades dinâmicas da evolução. Dos modelos de crescimento, desenvolve-se uma extensão do conceito de coeficiente de aglomeração para melhor determinar a validade desses modelos, demonstrando-se a utilidade de tal extensão em informar o papel não trivial da topologia dos ciclos entre modelos e redes reais. Dos modelos de contágio, utiliza-se uma modificação do modelo generalizado de Dodds e Watts para investigar o problema prático de planejar estratégias para difusão proposital de uma epidemia, em que se busca contaminar uma fração significativa de uma população a partir da inseminação de um grupo menor de indivíduos. Mostra-se que a modificação introduzida, a variabilidade da razão entre o tempo investido por influenciante e influenciável, determina o sentido e intensidade da relação entre o grau das sementes e o sucesso das estratégias. Esse problema também pode ser interpretado como um estudo de estabilidade com respeito a condições iniciais em que a variável em questão, o conjunto infectado, assume valores nos subconjuntos dos vértices do grafo. This thesis presents a study of models of network contagion and network growth, relating topological properties of the network with dynamical properties of the evolution. Of network growth models, an extension to the concept of clustering coefficient was applied to better determine the validity of some models, demonstrating the practical use of this extension and revealing the non-trivial role of the cycle topology between real-world networks and models. Of the network contagion models, an extension of Dodds-Watts generalized model of contagion was used to approach the practical problem of planning seeding strategies for large-scale interventions, where one wishes to infect some population through diffusion from a smaller initially infected group. It is shown that the extension introduced, which parametrizes the ratio between the time invested by the influential and the influenced, determines the direction and intensity of the relationship between the degree of the seeds and the success of strategies. This second problem can also be interpreted as a study of the stability with respect to initial conditions, where the relevant variable, the infected set, takes values on the subsets of the graphs vertices.

Apresenta-se nesta tese os resultados de aplicações do formalismo da Mecânica Estatística em dois problemas independentes. O primeiro diz respeito a um modelo para Evolução do Acasalamento Preferencial no processo de Especiação Simpátrica; enquanto que o segundo refere-se ao desenvolvimento de um algoritmo de aprendizado por meio de Inferência Aproximativa. No problema biológico estudado, cada indivíduo em um modelo de agentes é composto por dois traços. Enquanto um é responsável pela ecologia do indivíduo, o outro dita uma aparência física descorrelacionada com a adaptabilidade. Esses traços são expressos por diferentes loci que estão ligados entre si por uma taxa de recombinação. O modelo inclui também a possibilidade de evolução da preferência sexual dos indivíduos. Foi construído para esse modelo um diagrama de fases no espaço dos parâmetros que descrevem o ambiente como, por exemplo, quantidades de recursos e deficiência do indivíduo híbrido. Foram encontradas três fases de equilíbrio: (i) emergência de Acasalamento Preferencial; (ii) extinção de um dos alelos do locus responsável pela ecologia e (iii) equilíbrio Hardy-Weinberg. Foi verificado que o acasalamento preferencial pode emergir ou mesmo ser perdido (e vice-versa) em resposta a mudanças no ambiente. Além disso, o sistema apresenta memória característica típica de transições de primeira ordem, o que permitiu a descrição desse sistema biológico por meio do arcabouço da Mecânica Estatística. Em relação à Inferência Aproximativa, está-se interessado na construção de um algoritmo de aprendizado supervisionado por meio da técnica de Propagação de Expectativas. Mais especificamente, pretende-se inferir os parâmetros que compõem um Perceptron Professor a partir do conjunto de pares - entradas e saídas - que formam o conjunto de dados disponíveis. A estimativa desses parâmetros será feita pela substituição de uma distribuição Posterior original, geralmente intratável, por uma distribuição aproximativa tratável. o algoritmo Propagação de Expectativas foi adotado para a atualização, passo a passo, dos termos que compõem essa distribuição aproximativa. Essa atualização deve ser repetida até que a convergência seja atingida. Utilizando o Teorema do Limite Central e o método de Cavidade, foi possível obter um algoritmo genérico e que apresentou desempenho bastante evidente em dois modelos estudados: o modelo do Perceptron Binário e o modelo do Perceptron Gaussiano, com desempenho ótimo em ambos os casos. This thesis presents applications of the framework of Statistical Mechanics to two independent problems. The first corresponds to a computational model for the evolution of Assortative Mating in the Sympatric Speciation process; and the second a learning algorithm built by means of a Bayesian Inference approach. In the biological problem each individual in an agent-based model is composed of two traits. One trait, called the ecological trait, is directly related with the fitness; the other, called the marker trait, has no bearing on the fitness. The traits are determined by different loci which are linked by a recombination rate. There is also the possibility of evolution of mating preferences, which are inherited from the mother and subject to random variations. The study of the phase diagram in the spa e of parameters describing the environment (like carrying capacity and disruptive selection) reveals the existence of three phases: (i) assortative mating; (ii) extinction of one allele from ecological loci; and (iii) Hardy-Weinberg equilibrium. It was verifed that the assortative mating an emerge or even be lost (and vice-versa) acording with the environmental hanges. Moreover, the system shows memory of the initial condition, characterising a hysteresis. Hysteresis is the signature of first order phase transition, which allows the description of the system by means of the Statistical Mechanics framework. In relation to the Bayesian Inference, a supervised learning algorithm was constructed by means of the Expectation Propagation approach. The idea is to estimate the parameters which compose a Teacher Perceptron by the substitution of the original posterior distribution, intra table, by a tractable approximative distribution. The step-by-step update of the terms composing the approximative distribution was performed by using the Expectation Propagation algorithm. The update must be repeated until the convergence ocurrs. Using the Central Limit Theorem and the Cavity Approah, it was possible to get a generic algorithm that has shown a very good performance in two application scenarios: The Binary Perceptron Model and the Gaussian Perceptron Model.

Neste trabalho estudamos o aprendizado em uma classe específica de modelos probabilísticos conhecidos como modelos de Markov com variáveis de estado escondidas (em inglês, Hidden Markov Models ou HMMs). Primeiramente discutimos sua teoria básica e em seguida fazemos um estudo detalhado do comportamento de cinco diferentes algoritmos de aprendizado, dois deles já conhecidos na literatura e os outros três propostos por nós neste trabalho. Os cinco algoritmos estão descritos abaixo e são estudados na seqüência apresentada: Algoritmo de Baum-Welch (BW): consiste em um célebre algoritmo off-line obtido através da aplicação do algoritmo EM ao caso particular dos HMMs. Na literatura, é comum referir-se a ele pelo nome de Fórmulas de Reestimação de BaumWelch. Algoritmo de Baum-Welch On-line (BWO): versão on-line de BW proposta por nós. Algoritmo de Baldi-Chauvin (BC): algoritmo on-line proposto por Baldi e Chauvin em [5] onde uma representação do tipo softma:x é utilizada para as probabilidades dos HMMs e cujo objetivo é, a cada passo de iteração, maximizar a verossimilhança do modelo. Algoritmo Bayesiano On-line (BKL): algoritmo desenvolvido por nós baseado numa proposta de Opper [74], onde, após a atualização da distribuição de probabilidades do modelo a cada novo dado, projeta-se a densidade obtida em uma família paramétrica de distribuições tratáveis minimizando-se a distância de KullbackLeibler entre as duas. Algoritmo Posterior Média (PM): uma simplificação de BKL onde a projeção após a atualização é feita na distribuição posterior média. Para cada um dos algoritmos acima, obtemos curvas de aprendizado através de simulações onde utilizamos duas medidas distintas de erro de generalização: a distância de Kullback-Leibler (dKL) e a distância euclideana (d IND. E). Com exceção do algoritmo BW, que só pode ser utilizado em situações de aprendizado off-line, estudamos para todos os outros algoritmos as curvas de aprendizado tanto para a situação on-line quanto para a off-line. Comparamos as performances dos algoritmos entre si e discutimos os resultados obtidos mostrando que, apesar de um tempo de computação maior, o algoritmo bayesiano PM, proposto por nós, é superior aos outros algoritmos não-bayesianos quanto à generalização em situações de aprendizado estáticas e possui uma performance muito próxima do algoritmo bayesiano BKL. Fazemos, também, uma comparação entre os algoritmos PM e BC em situações de aprendizado variáveis com o tempo, com dados gerados artificialmente e em uma situação com dados reais, porém com um cenário simplificado, onde os utilizamos para prever o comportamento do índice da bolsa de valores de São Paulo (IBOVESPA), mostrando que, embora necessitem de um período longo de aprendizado, após essa fase inicial as previsões obtidas por esses algoritmos são surpreendentemente boas. Por fim, apresentamos uma discussão sobre aprendizado e quebra de simetria baseada nos estudos feitos. In this work we study learning in a specific class of probabilistic models known as Hidden Markov Models (HMMs). First we discuss its basic theory and after we make a detailed study of the behavior of five different learning algorithms, two of them already known in the literature and the other three proposed by us in this work. The five algorithms are described below in the sequence they are presented in the thesis: Baum-Welch Algorithm(BW): consists of a renowed offline algorithm obtained by applying the EM-algorithm to the particular case of HMMs. Through the literature it is common to refer to it by the name Baum-Welch Reestimation Formulas. Baum-Welch Online Algorithm (BWO): online version of BW proposed by us. Baldi-Chauvin Algorithm (BC): online algorithm proposed by Baldi and Chauvin in [5] where a softmax representation for the probabilities of the HMMs is used and where the aim is to maximize the model likelihood at each iteration step. Online Bayesian Algorithm (BKL): an algorithm developed by us based on the work of Opper [74] where, after updating the probability distribution of the model with each new data, the obtained density is projected into a parametric family of tractable distributions minimizing the Kullback-Leibler distance between both. Mean Posterior Algorithm (PM): a simplification of BKL where the projection after the update is made on the mean posterior distribution. For each one of the above algorithms, we obtain learning curves by means of simulations where we use two distinct measures of generalization error: the Kullback-Leibler distance (dKL) and the Euclidian distance (dE). With exception of the BW algorithm, which can be used only in offline learning situations, we study for all the other algorithms the learning curves for both learning situations: online and offiine. We compare the performance of the algorithms with one another and discuss the results showing that, besides its larger computation time, the bayesian algorithm PM, proposed by us, is superior to the other non-bayesian algorithms with respect to the generalization in static learning situations and that it has a performance that is very close to the bayesian algorithm BKL. We also make a comparison between algorithms PM and BC in learning situations that change with time using artificially generated data and in one situation with real data, with a simplified scenario, where we use them to predict the behavior of the São Paulo Stock Market Index (BOVESPA) showing that, although they need a large learning period, after that initial phase the predictions obtained by both algorithms are surprisingly good. Finally, we present a discussion about learning and symmetry breaking based on the presented studies.

Com a publicação do novo acordo de capital da Basiléia, as instituições financeiras incluíram no seu processo de gerenciamento e mensuração de riscos um novo componente importante : o risco operacional. As instituições financeiras têm despendido nos últimos anos um esforço considerável na modelagem do risco operacional, tanto em termos de cálculo de capital quanto em modelos quantitativos de controle e gestão desse tipo de risco específico. Neste estudo, será implementada a técnica de redes neurais sobre uma importante categoria de evento de risco operacional denominada práticas empregatícias, que tem como efeito as perdas trabalhistas. A análise discriminante baseada em redes neurais a ser tratada neste estudo tem o intuito de modelar a probabilidade que um indivíduo possui de gerar perdas trabalhistas, dado um conjunto de características dele. Além disso, o modelo deve apresentar um boa performance de classificação desse indivíduo nas duas classes disponíveis (gerar ou não perda trabalhista). Os resultados deste estudo motivam futuras pesquisas a utilizarem modelos quantitativos para controle, mensuração e gerenciamento de risco operacional. With the publishing of the new basel capital accord, the financial institutions have included an important new component in their process of management and measurement of risks: operational risk. In the last few years, financial institutions have devoted tremendous efforts towards modeling operational risk both in terms of calculation of capital and of quantitative models of control and management regarding this type of specific risk. In this study the technique of artificial neural networks will be applied to an important category of operational risk event called employment practices, whose one of effects are labor losses. The discriminating analysis based on artificial neural networks addressed in this study is designed to model the probability an individual has of generating labor losses given a set of individual features. In addition, the model should have a good classification performance of the individuals in to the two classes available (generating or not generating labor losses). The results of this study encourage future research in using quantitative models to control, measure and manage operational risk.

O trabalho é um estudo baseado no modelo de volatilidade estocástica de Heston (também conhecido como Cox-Ingersoll-Ross ou Feller). Adotamos a solução semi-analítica proposta por Dragulescu e Yakovenko para explicar as distribuições condicionais de retornos do Ibovespa (índice Bovespa). Verificamos que a distribuição resultante do modelo se ajusta muito bem à distribuição observada, de escalas que vão de 1 minuto a 100 dias. Os resultados têm relevância para as áreas de gerenciamento de risco e para a prática de negociação no mercado acionário e derivativos The work is a study based on the stochastic volatility model of Heston (also known as Cox-lngersoll-Rosé or Feller model). We use the semi-analytic solution developed by Dragulescu and Yakovenko to explain the condicional distribution of the returns of the lbovespa (Bovespa index). We verify that the resulting distribution of the model fits very well the observed distribution, in scales that go from l minute to 100 days. The results are relevant for risk management and for the practice of the stock market and derivatives trading