Search

Nos últimos anos o mundo se deparou com a pandemia do COVID-19 e consequentemente com o avanço de tecnologias e campos de estudo em relação a doenças infecciosas. Com isso, a área de Inteligência Artificial, especificamente dentro da medicina, ganhou mais visibilidade e trouxe avanços e novos estudos, como sobre classificação de pacientes, a partir dos seus dados e exames clínicos, estarem potencialmente infectados pela doença. Isso pode ser explorada para melhorar as tomadas de decisões médicas, principalmente em situações em que os exames específicos para a doença não estejam disponíveis. Neste trabalho, é proposto o desenvolvimento de uma solução de Aprendizado de Máquina que visa realizar essa classificação entre paciente infectados e não infectados. Para isso, foram utilizados para treino e avaliação os dados disponibilizados por instituições de saúde em parceria com a (FAPESP, 2020). O processo de modelagem estatística passa por todas etapas do seu desenvolvimento, tendo o foco na métrica de sensibilidade, dando maior importância nos resultados dos exames para as pessoas que realmente estão infectadas. Os resultados obtidos mostraram que esse campo de estudo tem um potencial promissor e que com a presença de um exame de hemograma completo e outros exames complementares é possível alcançar até 80% de sensibilidade, indicando que a cada 100 pacientes realmente infectados, 80 deles seriam diagnosticados como positivos. Com isto, a medicina pode se beneficiar dessas metodologias para auxiliar no combate em situações de surtos, epidemias ou até outras pandemias

Estudos científicos recentemente realizados comprovam que existe relação das informações divulgadas nas Redes Sociais com as variações dos preços dos ativos negociados na Bolsa de Valores Brasileira (BOVESPA). Nesses estudos são utilizadas técnicas de Processamento de Linguagem Natural (PLN) para o tratamento de dados textuais que possibilitam a compreensão da linguagem humana pelas máquinas que, enriquecida com as informações históricas dos ativos, geram indicações para tomada de decisão nas negociações da Bolsa. Os relacionamentos entre a Rede Social Twitter e a Bovespa são abordados através do uso de PLN na base de dados da Rede Social com Word Embedding, realizando uma classificação dicotômica para tomadas de decisões, não se atendo para as práticas de maiores retornos com os ganhos das variações dos ativos nos pequenos intervalos entre o dia. A proposta deste trabalho é a criação de um modelo para tomada de decisão no mercado financeiro apoiada nas mensagens relativas à BOVESPA na Rede Social Twitter, tratadas por técnicas de Processamento de Linguagem Natural (PLN). Neste ponto é usado frases completas para vetorização do Word Embedding e classificadas com uma Rede Neural Recorrente (LSTM) para indicar negociações do ativo mini-índice da BOVESPA com atuação regida pela tendência do mercado acrescida da classificação do Word Embedding, agregadas em 5, 15 e 30 minutos, para atuações nos minutos sequências de operações day trade. Os experimentos realizados neste trabalho demonstraram a validade da hipótese de que mensagens de uma rede social podem apoiar decisões no mercado financeiro, permitindo obter lucros neste domínio. Recently conducted scientific studies prove that there is a relationship between the information published on Social Networks and the variations in the prices of assets traded on the Brazilian Stock Exchange (BOVESPA). In these studies, Natural Language Processing (PLN) techniques are used for the treatment of textual data that enable the understanding of human language by machines, which, enriched with the historical information of the assets, generate indications for decision-making in the stock market negotiations. The relationships between the Social Network Twitter and Bovespa are approached through the use of PLN in the Social Network database with Word Embedding, performing a dichotomous classification for decision making, not taking into account the practices of greater returns with the earnings of the variations of asset in the small intervals between the day. The purpose of this work is to create a model for decision making in the financial market supported by messages related to BOVESPA on the Twitter, handled by Natural Language Processing (PLN) techniques. At this point, complete sentences are used for Word Embedding vectorization and classified with a Recurrent Neural Network (LSTM) to indicate trades in the BOVESPA mini-index asset with performance governed by the market trend plus the Word Embedding classification, aggregated into 5, 15 and 30 minutes, for actions in the sequence of minutes of day trade operations. The experiments carried out in this work demonstrated the validity of the hypothesis that messages from a social network can support decisions in the financial market, allowing to obtain profits in this domain.

Operar no mercado de ações sempre trás consigo o desafio de escolher a melhor decisão a ser tomada a cada passo no tempo. O problema é intensificado pela teoria de que não é possível prever uma série temporal do mercado financeiro uma vez que toda informação relacionada ao preço da ação já está contida em si, teoria conhecida como Hipótese dos Mercados Eficientes - Efficient Market Hypothesis (EMH). Embora o mercado em geral não tenha tendências distinguíveis, portanto sendo consistente com a EMH, existem várias janelas de tempo onde há alguma previsibilidade de certa extensão nos dados caso consideremos o uso de indicadores técnicos. Neste trabalho é proposto um novo modelo que busca se beneficiar de tais períodos operando para escolher suas decisões e aguardando o melhor momento para executá-las. Este modelo, chamado Rede de Transformada Discreta de Ondaletas e Unidade Recorrente Chaveada - Discrete Wavelet Transform Gated Recurrent Unit Network (DWT-GRU), é dividido em três módulos, sendo eles, o pré processamento dos dados pela transformada de wavelets, o treinamento e a predição do preço de fechamento da ação para dois dias no futuro e a tomada da decisão baseada na avaliação do gradiente do preço de fechamento. O modelo proposto foi comparado com outras arquiteturas de Rede Neural Recorrente - Recurrent Neural Network (RNN), com e sem o uso de pré processamento de ondaletas, e a estratégia de "comprar e segurar". Os resultados mostraram que o modelo proposto superou todos as métricas estatísticas, de acurácia, precisão, revocação e F1, e retorno financeiro de todos os modelos de comparação estabelecidos nas ações analisadas do mercado financeiro brasileiro. As ações analisadas como base para o estudo foram as blue-chips do índice do IBOVESPA sendo elas a PETR4, VALE3, ITUB4, ABEV3, e a Fundo de Índice Negociado em Bolsa - Exchange-Traded Fund (ETF) que espelha o próprio índice, BOVA11. Para dados de treinamento foram utilizados dados desde 2001 para as ações e desde 2008 para a Fundo de Índice Negociado em Bolsa - Exchange-Traded Fund (ETF) BOVA11. Por fim é apresentado o resultado financeiro da aplicação do algoritmo em operações em tempo real de swing-trade comprovando sua eficácia e vencendo a estratégia de "comprar e segurar". Trading in the stock market always comes with the challenge of choosing the best decision to take on each time step. The problem is intensified by the theory that it is not possible to predict stock market time series as all information related to the stock price is already contained in it, which theory is known as Efficient Market Hypotesis. Although the market, in general, has no distinguishable tendencies, thus being consistent to the EMH, there are several time windows where there is some predictability, to some extent in the data, if we consider the use of technical indicators. In this work, a novel model is proposed to seek benefit from said periods operating to choose its actions and waiting for the best moment to execute them. This model, called Discrete Wavelet Transform Gated Recurrent Unit Network) (DWT-GRU), is divided in three modules, them being, the preprocessing of the data by the wavelet transform, the training and prediction of the closing price two days in the future and the decision making based on the evaluation of the gradient of the closing price. The proposed model was compared to other RNN architectures, with and without the use of wavelet preprocessing, and the "buy-and-hold" strategy. The results shown that the proposed model surpassed all the statistical metrics of accuracy, precision, recall, F1 and financial return of all the estabilshed comparisson models in the analysed stocks of the Brazilian Stock Market. The analysed stocks as the base for the study were the blue-chips of the IBOVESPA index, them being, PETR4, VALE3, ITUB4, ABEV3, and the ETF that mirrors the index itself, BOVA11. As training data the analysed period was since 2001 for the stocks and 2008 for the Fundo de Índice Negociado em Bolsa - ExchangeTraded Fund (ETF) BOVA11. At last, it is presented the financial results of the application of the algorithm in real time swing-trade operations validating its efficiency and winning over the buy-and-hold strategy.

Previsão do mercado financeiro tem sido um desafio bastante popular nas pesquisas de Aprendizado de Máquina (AM). O desejo da maioria dos investidores é tomar decisões com base em critérios objetivos que venham a proporcionar maior retorno nas operações. Recentemente, estudos têm usado técnicas de Aprendizado Profundo (AP), como Redes Neurais Convolucionais (Convolutional Neural Networks - CNN), para realizar regressão nos preços ou classificação de sinal de negociação em ativos do mercado financeiro. Neste trabalho, é proposta uma arquitetura de sistema que utilizada uma CNN a fim de realizar a indicação da melhor operação para cada momento no mercado de ações, este sistema foi chamado CNN Trading Classifier (CNN-TC). Este sistema é composto por pré-processamento dos dados, classificação pelo modelo CNN e tomada de decisão no mercado. O mesmo foi avaliado com base em dados das bolsas de valores brasileira e americana em três períodos diferentes, para isto foram feitas avaliação estatística, utilizando as métricas de classificação acurácia, precisão, revocação e F1, e financeira com base nas classificações realizadas pelo modelo. Além disso foi realizado um teste em ambiente simulado utilizando o software MetaTrader a fim de atestar a eficácia desta abordagem. Os resultados mostram que o sistema teve resultados estatísticos e financeiros melhores na maioria das avaliações em comparação com o uso de outros modelos de AP e superou a estratégia Buy and Hold (BH) e retornos da renda fixa. Stock market forecasting has been a quite popular challenge in machine learning researches. Most investors want to make decisions based on criteria that will provide greater returns in their operations. Recently, studies have been using Deep Learning techniques, such as Convolutional Neural Networks (CNN), to perform price regression or trade signal classification in financial market. In this work, a system architecture that uses a CNN model is proposed to perform the indication of the best operation for each moment in the stock market, this system was called CNN Trading Classifier (CNN-TC). This system consists of data pre-processing, classification by the model and decision making in the market. It was evaluated based on data from the Brazilian and American stock market in three different periods. For this, statistical evaluation was performed, using the metrics of accuracy, precision, recall and F1 classification, and financial based on the classifications performed by the model. In addition, a test on a simulated environment using the MetaTrader software was evaluated in order to attest to the effectiveness of this approach. The results show that the system had better statistical and financial results in most evaluations compared to the use of other Deep Learning models and overcame the strategy Buy and Hold (BH) and fixed income returns.

A RoboCup é uma das maiores iniciativas no ramo de pesquisa em robótica. Essa iniciativa considera o futebol como um dos maiores desafios para robôs e tem o intuito de promover e ganhar um jogo de futebol entre humanos e robôs até o ano de 2050. O módulo de visão dos robôs é um sistema crítico, pois precisa localizar e classificar objetos de interesse ao robô em tempo real, com o objetivo de tomar a melhor ação dado o ambiente a sua volta. Este trabalho avalia redes neurais convolucionais profundas para detecção da bola de futebol e de robôs. Para tal tarefa, cinco arquiteturas da literatura foram escolhidas e treinadas utilizando conceitos de transferência de aprendizado e aumento de dados. Os modelos foram avaliados em um conjunto de dados de teste, gerando resultados promissores em termos de precisão e quadros por segundo. O melhor modelo atingiu um mAP de 0.98 com 50% de interseção a uma taxa de 14.7 quadros por segundo, sendo executado em uma CPU. The RoboCup Soccer is one of the largest initiatives in the robotics field of research. This initiative considers the soccer match as a challenge for the robots and aims to win a match between humans versus robots by the year of 2050. The vision module is a critical system for the robots because it needs to quickly locate and classify objects of interest for the robot in order to generate the next best action. This work evaluates deep neural networks for the detection of the ball and robots. For such task, five convolutional neural networks architectures were trained for the experiment using data augmentation and transfer learning techniques. The models were evaluated in a test set, yielding promising results in precision and frames per second. The best model achieved an mAP of 0.98 and 14.7 frames per second, running on CPU.

As tecnologias 5G possibilitaram novas aplicações em uma infraestrutura de computação de borda que visa atender uma demanda heterogênea e distribuída que unifica hardware, rede e software voltados para habilitação digital. Baseada nos requisitos da Indústria 4.0, esta infraestrutura habilitadora introduz o conceito de fatiamento da rede (Network Slicing), um recurso fundamental que transforma a rede de um paradigma estático em um novo paradigma onde as redes são lógicas, utilizando o modelo de compartilhamento de computação em nuvem e névoa, que deve atender às necessidades de acordos de nível de serviço de forma conveniente e otimizada, exigindo um mecanismo de orquestração para a alocação dinâmica de recursos. Entre esses mecanismos, a incorporação de redes virtuais (VNE) e o gerenciamento dinâmico de recursos (DRM) têm mostrado uma maneira de definir onde e como a tecnologia de computação em névoa deve ser usada. Este trabalho propõe um algoritmo de alocação de recursos, o VNE_CRS, que utiliza uma técnica de inteligência artificial chamada aprendizado por reforço para orquestrar múltiplos domínios da infraestrutura de uma rede 5G, beneficiandose de sua característica de considerar todo o problema, fim a fim, utilizando diferentes aspectos do Indice de Qualidade de Serviço 5G (5QIs). Experimentos foram realizados em simulação comparando o VNE_CRS com algoritmos do estado da arte para alocação VNE em ambiente Edge de múltiplos domínios. Os resultados mostraram que o uso de técnicas de aprendizado por reforço para alocação de recursos de VNE apresentou ganhos de desempenho. Ele pode não apenas simplificar a arquitetura VNE, mas também atuar como um sistema de orquestração completo que visa os resultados estratégicos de longo prazo 5G technologies have enabled new applications on a heterogeneous and distributed Edge infrastructure which unifies hardware, network and software aimed at digital enabling. Based on requirements of Industry 4.0, this infrastructure introduces the concept of network slicing, a fundamental resource that transforms the network from a static paradigm into a new paradigm where networks are logical, developed using Cloud and fog computing sharing model, which should meet the needs of service level agreements in a convenient and optimized way, requiring an orchestration mechanism for the dynamic resource allocation. Among these mechanisms, virtual networks embedding (VNE) and dynamic resource management (DRM) have shown a way to define where and how Edge technology should be used. This paper proposes a resource allocation algorithm, VNE_CRS, which uses an artificial intelligence technique called reinforcement learning to orchestrate multiple domains, benefiting from its characteristic of considering the whole problem, end-to-end, using different aspects of 5G Quality of Service Indicator (5QIs). Experiments were carried out in simulation comparing VNE_CRS with stateof- the-art algorithms for multi domains Edge environment. Results have shown that the usage of reinforcement learning techniques to VNE resource allocation has shown performance gains. It can not only simplify the VNE architecture but also act as a full orchestration system that aims at the strategic long run results of whole infrastructure usage

Esta tese apresenta uma arquitetura de rede neural voltada ao aprendizado de políticas em sistemas multi-agentes totalmente cooperativos, compostos de agentes heterogêneos e comunicativos. O ambiente é formalizado como um Processo de Decisão de Markov Parcialmente Observável Descentralizado e os estados transformados em grafos direcionados rotulados atribuídos de agentes e entidades. Vértices representam agentes e entidades; os rótulos dos vértices, suas classes, sendo todos os agentes dentro de uma mesma classe considerados homogêneos entre si; arcos direcionados representam a capacidade dos agentes de adquirir informação de outras entidades; e vetores armazenados nos vértices representam as características que descrevem agentes e entidades, ou as observações dos agentes. A topologia de rede neural proposta usa camadas totalmente conectadas para codificar as observações dos agentes; convoluções relacionais em grafos para aprender mecanismos de comunicação específicos para diferentes pares de classes; e diferentes redes neurais treinadas utilizando aprendizado por reforço para modelar as políticas das classes de agentes. A tese apresenta dois métodos. No primeiro, os módulos de codificação e aprendizado de funções valor-ação são modelados como redes neurais distintas para cada classe de entidade e agente, e o treinamento do modelo é feito utilizando uma memória de repetição de transições. O segundo método usa compartilhamento de parâmetros entre as classes de agentes para obter uma rede neural com menos parâmetros, assim como emprega camadas recorrentes e treinamento com amostras de uma memória de repetição de episódios. A comunicação relacional é comparada à comunicação realizada através de mecanismos de atenção e à ausência de comunicação entre os agentes. Também é testada a compatibilidade do método com outras contribuições disponíveis na literatura, como a regularização por relações temporais e o mixing aditivo. Testes realizados no ambiente do StarCraft Multi-Agent Challenge demonstram que o emprego de camadas de convolução relacionais para a especialização da comunicação entre agentes viabiliza desempenho comparável ou superior aos outros métodos em todos os cenários testados, principalmente naqueles com maior número de classes de agentes. Já a combinação da comunicação relacional com o mixing aditivo apresentou, geralmente, os melhores resultados This thesis presents a neural network architecture specialized in learning policies for agents in fully cooperative multi-agent systems, composed by heterogeneous, communicative agents. The environment is formalized as a Decentralized Partially Observable Markov Decision Process and states are transformed into directed labeled attributed graphs of agents and entities, in which vertex labels represent agent/entity classes. Agents that share a single class are considered homogeneous among themselves; directed arcs represent an agent’s capacity of acquiring information from other entities; and vectors stored in vertices represent the features that describe the agents and entities, or agents’ observations. The proposed neural network topology uses fully connected layers to encode agent features and observations; relational graph convolutions to learn specific communication protocols for different pairs of agent classes; and different neural networks, trained using reinforcement learning, to model agent class policies. The thesis presents two methods. The first one uses separate neural networks to encode and learn policies for each agent/entity class and training is realized through a replay buffer of state transitions. The second version employs parameter sharing between agent classes to attain a neural network with fewer parameters, as well as recurrent layers and training via a replay buffer of complete episodes. Relational communication is compared to communication via an attention mechanism and no communication. Compatibility with other contributions provided in the literature is also tested, such as temporal relation regularization and additive mixing. Tests performed in the StarCraft Multi-Agent Challenge environment demonstrate that employing relational graph convolutions with specialization of communication protocols attains comparable or superior performance in all the tested scenarios, specially in the ones with higher number of agent classes. Furthermore, the combination of relational communication with additive mixing achieved, in general, the best results

Orientador: Prof. Dr. Carlos Alberto Kamienski Tese (doutorado) - Universidade Federal do ABC, Programa de Pós-Graduação em Engenharia da Informação, Santo André, 2021. Nos últimos anos, o desenvolvimento e a popularização da Internet das Coisas (IdC) permitiram dados espaço-temporalmente mais granulares para a agricultura, o que favoreceu o avanço das abordagens baseadas em dados e o aprofundamento da agricultura de precisão. Nesse contexto, este trabalho investiga e contribui para o estado da arte especificamente da estimativa da necessidade de água para irrigação de precisão baseada em IdC. Para isso, primeiro fazemos um levantamento da área e cada um de seus assuntos principais, construímos um mapa em forma de gráfico para orientar os designers de soluções e investigamos e extrapolamos as tendências de pesquisa. Depois, reconhecemos que a qualidade dos dados é um problema para as abordagens de aprendizado de máquina aplicadas aos dados de IdC, discutindo possíveis soluções. Finalmente, testamos a viabilidade de abordagens de aprendizado de máquina para estimativa de necessidade de água com base na previsão de umidade do solo em um caso real com um histórico de dois a quatro anos de doze campos, alocados em quatro fazendas de diversas características geográficas e climáticas, com 55 safras de oito diferentes tipos de colheita. Em vez de um único valor, prevemos os valores mínimo e máximo dos dias seguintes como variáveis-resposta para monitorar riscos de valores extremos de umidade do solo. Além disso, modelar a umidade do solo diretamente é melhor do que modelar o potencial matricial do solo para posteriormente converter em umidade do solo. Testamos vários algoritmos e descobrimos que o LightGBM supera regressão linear, árvore de decisão, floresta aleatória, perceptron multicamadas, LSTM e StemGNN. Além disso, a combinação de previsões via conjunto de algoritmos fornece um ganho de precisão adicional. Para treinamento de modelo e medição de precisão, usamos conjuntos de dados ponderados para privilegiar pontos de dados raros, mas críticos. Mostramos que a previsão da umidade do solo atinge seu desempenho máximo considerando apenas a umidade anterior do solo, um índice baseado no contexto e a previsão de precipitação. Consequentemente, as variáveis tradicionais de conhecimento de domínio - como evapotranspiração, fenologia da cultura e comportamento hidráulico do solo - não são relevantes para melhorar o desempenho de previsão de umidade do solo. Assim, nosso trabalho sugere abordagens totalmente baseadas em dados para estimativa da necessidade de água de irrigação, observando alguns cuidados em relação à qualidade dos dados. Este trabalho é uma junção de quatro artigos, um por capítulo, ordenados e harmonizados entre eles. In recent years, the development and popularization of the Internet of Things (IoT) have allowed spatial-temporal fine-grained data for agriculture, which favored the advancement of datadriven approaches and the deepening of precision agriculture. In this context, this work investigates and contributes to state-of-the-art specifically in water need estimation for IoTbased precision irrigation. For that, we first survey the area and each of their key subjects, build up a graph-shaped map to guide solution designers, and investigate and extrapolate research trends. After, we recognize that data quality is an issue to machine learning approaches applied to IoT data, addressing possible solutions. Finally, we test the feasibility of machine learning approaches to water need estimation based on soil moisture (SM) forecast in a real case with a two-to¿four-year history of twelve fields from four farms of diverse geographic and climatic characteristics, with 55 crops from eight different crop types. We also provide a guide for machine learning-based soil moisture forecast modeling. Instead of a single value, we predict the following days' minimum and maximum values as targets to monitor risks of extreme soil moisture values. Furthermore, modeling soil moisture directly in volumetric water content (VWC) is better than modeling soil matric potential (SMP) to later convert in soil moisture VWC. We test several algorithms and find out that LightGBM outperforms linear regression, decision tree, random forest, multilayer perceptron, LSTM, and StemGNN. Also, blending predictions via algorithm ensemble provides an additional accuracy gain. For model training and accuracy measurement, we use weighted datasets to privilege rare but critical data points. We show that soil moisture forecast reaches its maximum performance considering only past soil moisture, a context-aware index, and a precipitation forecast. Consequently, traditional domain knowledge features - such as evapotranspiration, crop phenology, and soil hydraulic behavior - are not relevant to improving SM forecast performance. Thus, our work suggests full data-driven approaches for irrigation water need estimation, observed some care regarding data quality. This work is an ensemble of four papers, one per chapter, ordered and harmonized among them.

O presente trabalho tem como motivação principal o estudo de modelos de aprendizado por reforço multi-agent, comumente utilizados quando o problema é episódico e a dinâmica do sistema é complexa de ser descrita analiticamente, aplicado à negociação de ações na bolsa de valores, desenvolvendo um sistema cooperativo composto por um agente que representa a força de compra dos ativos, e outro agente a força de venda. Os agentes devem interagir para decidir quanto será comprado ou vendido, de modo a optimizar o lucro obtido, criando o que foi denominado de: “gestor de carteira de investimentos”. Ao término do desenvolvimento foram feitas análises do modelo single-agent e multi-agent, avaliações do impacto da modelagem do ator-crítico utilizando redes recorrentes e propostas de melhoria do projeto desenvolvido. O modelo multi-agent obteve resultados positivos, em sua maioria, sendo superiores ao buy-andhold em mais de 88% no experimento executado com o ativo ITSA4, porém os resultados de forma geral não são suficientes para a construção de um modelo comercial. Ao término do projeto foram propostas melhorias e possíveis trabalhos futuros com o intuito de auxiliar o desenvolvimento da área. The main motivation of the present academic work is the study of multi-agent reinforcement learning models, commonly used when the problem is episodic and the dynamic of the system is complex to be described analytically, applied to stock trading on the stock exchange, developing a cooperative system composed of one agent who represents the buying force of the stocks, and the other agent the sale force. The agents must interact to decide how much will be bought or sold, in order to optimize the profit obtained, creating what was called: investment portfolio manager”. At the end of the development, analyzes of the single-agent and multi-agent model were made, evaluations of the impact of using recurrent networks in the actor-critic model and proposals for improvement of the developed project. The multi-agent model achieved positive results, mostly, being better then buy-and-hold by more than 88% in the experiment performed with the stock ITSA4, however the results in general are not enough to build a business model. At the end of the project, improvements and possible future work were proposed in order to assist the development of the area

Os sistemas de comunicação, como por exemplo as redes móveis de quinta geração (5G) têm se desenvolvido rapidamente e devido à esta evolução, o uso dos seus recursos tem se tornado mais complexo. Assim, são necessários novos métodos para a concepção das redes e uma das tecnologias para tal é o Encadeamento de Funções de Serviço que permite o tráfego através de Funções de Rede Virtualizadas flexibilizando o uso dos recursos. Entretanto, há alguns desafios para sua implementação, como por exemplo o volume de dados gerados pelas novas aplicações. O Aprendizado por Reforço Profundo tem sido usado para resolver diversos problemas computacionais, inclusive aqueles relacionados às redes de comunicação. Para atingir os objetivos de otimização de recursos são necessários: a identificação e tratamento do tráfego de rede e o seu correto roteamento pelos dispositivos. O objetivo deste trabalho é investigar como as técnicas de Aprendizado por Reforço Profundo combinadas com a arquitetura de Encadeamento de Funções de Serviços podem proporcionar um mecanismo eficiente de identificação e roteamento de tráfego baseado em perfis, auxiliando os dispositivos responsáveis pelo controle da rede a reconhecer comportamentos indesejáveis e tomar as ações necessárias. Para isto, será proposta uma implementação prática para demonstrar como estas técnicas podem ser aplicadas Communication systems, such as fifth-generation mobile networks (5G), have developed rapidly, and due to this evolution, the use of their resources has become more complex. Thus, new methods are required to design networks. One of these technologies is the Service Function Chaining (SFC) that allows traffic through Virtualized Network Functions (VNFs), making resources more flexible. However, its implementation has some challenges, such as the volume of data generated by the new applications. Deep Reinforcement Learning (DRL) has been used to solve several computational problems, including those related to communication networks. To achieve the objectives of resource optimization are required: the identification and treatment of network traffic and its correct routing through devices. This work investigates how Deep Reinforcement Learning techniques can be used with the Service Function Chaining architecture to identify and route based on profiles efficiently. That helps the elements responsible for network control recognize undesirable behaviors and take the necessary actions. A practical implementation is proposed to demonstrate how techniques can be applied

Diante da constante evolução tecnológica e consolidação como preponderante agente do Produto Interno Bruto brasileiro, o agronegócio alcançou um espaço importante na sociedade brasileira e tem como relevante protagonista, a cana-de-açúcar, que é grande fonte de energia de renovável, além de ser foco constante de evoluções tecnológicas em seu ciclo produtivo. Esse trabalho tem como finalidade apresentar um sistema para posicionamento de caminhões autônomos no processo de colheita de cana-de-açúcar, conforme linhas de plantio pré-estabelecidas a fim de aumentar a produtividade na colheita de cana-de-açúcar. Pois com a manutenção do caminhão corretamente posicionado na pista traçada anteriormente durante o plantio, não há ocorrência de atropelamento do broto da cana-de-açúcar durante o processo de colheita, mantendo assim broto desta intacto e pronto para próxima brotação e subsequente colheita. Quanto mais vezes puder se fazer colheita sem um novo plantio, ou seja, apenas se valendo do broto remanescente da colheita anterior, maior a produtividade no ciclo desta monocultura. Para este trabalho, após a devida aplicação de técnicas de calibração de câmeras, foi levantado um banco de imagens com mais de 24 horas de filmagens que foram convertidas em um banco com mais de 25 mil imagens referentes ao processo de colheita de cana-de-açúcar durante a manhã, tarde e noite. Foram avaliadas 2 hipóteses para atendimento do objetivo deste trabalho com a aplicação Filtro Sobel, Transformada de Hough e Rede Neural Convolucional MobileNet. A hipótese da Rede Neural artificial MobileNet apresentou melhor resultado ao determinar as linhas de plantio com Precisão de 57,22% e Revocação de 28,84% Due to the constant technological evolution and consolidation as as preponderant agent of the Brazilian Gross Domestic Product, agribusiness has reached an important space in Brazilian Society and its maisn protagonist is sugarcane, which is a great source of renewable energy and constant focus of technological developments in its production cycle. This work aims to present a system for positioning of autonomous trucks in the sugarcane harvesting process, according to pre-established planting lines to increase productivity in the sugarcane harvesting. By keeping the truck correctly positioned on the track previously traved during the harvesting process, thus leaving this sprout intact and ready for the next sprouting and subsequent harvest. The more times it is possible to harvest without a new planting, by using the remaing bud from the previous harvest, the greater the productivity in the cycle of this monoculture. For this work, after the proper application of camera calibration techniques, and image bank was built with more than 24 hours of footage that were converted into a bank with more than 25 thousand images referring to the sugarcance harvesting process in the morning, afternoon and night. Two hypotheses were evaluated to achieve the objective of this work with the application Sobel Filter, Hough Transform and MobileNet Convolutional Artificial Neural Network. The hypothesis with application of the Artificial Neural Network MobleNet showed the best result when determining the planting lines with Precision of 57,22% and Recall of 28,84%

Orientador: Esther Luna Colombini Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação Resumo: Na robótica, o objetivo final do aprendizado por reforço é dotar os robôs com a capacidade de aprender, adaptar-se e reproduzir tarefas dinâmicas, baseadas na exploração e no aprendizado autônomo. O Aprendizado por Reforço (RL) visa solucionar esse problema, permitindo que um robô aprenda comportamentos por tentativa e erro.Com o RL, uma Rede Neural pode ser treinada como um aproximador de função para mapear diretamente estados para comandos do atuador, tornando qualquer estrutura de controle pré-definida desnecessária para o treinamento. No entanto, o conhecimento necessário para convergir esses métodos geralmente é construído a partir do zero; o aprendizado pode levar muito tempo, sem mencionar que os algoritmos de RL precisam de uma função de recompensa explícita e, às vezes, não é trivial definir uma. Muitas vezes, é mais fácil para um professor, seja agente humano ou artificial, demonstrar o comportamento desejado ou como realizar uma determinada tarefa. Os seres humanos e outros animais têm uma capacidade natural de aprender habilidades a partir da observação, geralmente apenas vendo os efeitos dessas habilidades, sem o conhecimento direto das ações subjacentes sendo tomadas. O mesmo princípio existe no Imitation Learning (IL), uma abordagem para sistemas autônomos adquirirem políticas de controle quando uma função explícita de recompensa não estiver disponível, usando a supervisão fornecida como demonstração de um especialista, normalmente um operador humano.Nesse cenário, o objetivo principal deste trabalho é projetar um agente que possa imitar com êxito uma política de controle adquirida anteriormente usando o Imitation Learning. O algoritmo escolhido é o GAIL, pois consideramos que é o algoritmo adequado para resolver esse problema utilizando trajetórias de especialistas (estado, ação). Como trajetórias de especialistas de referência, implementamos métodos de ponta e fora da política, PPO e SAC. Os resultados mostram que as políticas aprendidas para os três métodos podem resolver a tarefa de controle de baixo nível de um quadrorotor e que todas foram capazes de generalizar além das tarefas originais, embora com uma performance inferior, conforme previsto Abstract: In robotics, the ultimate goal of reinforcement learning is to endow robots with the ability to learn, improve, adapt, and reproduce tasks with dynamically changing constraints based on exploration and autonomous learning. Reinforcement Learning (RL) aims at addressing this problem by enabling a robot to learn behaviors through trial-and-error. With RL, a Neural Network can be trained as a function approximator to directly map states to actuator commands making any predefined control structure not-needed for training. However, the knowledge required to converge these methods are usually built from scratch, learning may take a long time, not to mention that RL algorithms need a stated reward function and sometimes it is not trivial to define one. Often it is easier for a teacher, human or intelligent agent, do demonstrate the desired behavior or how to accomplish a given task. Humans and other animals have a natural ability to learn skills from observation, often from merely seeing the effects of these skills: without direct knowledge of the underlying actions being taken. The same principle exists in Imitation Learning, a practical approach for autonomous systems to acquire control policies when an explicit reward function is unavailable, using supervision provided as demonstrations from an expert, typically a human operator. In this scenario, the primary objective of this work is to design an agent that can successfully imitate a prior acquired control policy using Imitation Learning. The chosen algorithm is GAIL since we consider that it is the proper algorithm to tackle this problem by utilizing expert (state, action) trajectories. As reference expert trajectories, we implement state-of-the-art on and off-policy methods PPO and SAC. Results show that the learned policies for all three methods can solve the task of low-level control of a quadrotor and that all can account for generalization on the original tasks Mestrado Ciência da Computação Mestre em Ciência da Computação

Este trabalho propõe um algoritimo, chamado de CMEAS, tem inspiração biológica focada na forma que o crescimento de axônios neuronais atinge seu destino sináptico em outras redes de neurônios. Esse crescimento segue caminhos específicos no cérebro de animais, definidos por determinadas proteínas. O CMEAS foi desenvolvido para agrupar duas redes neurais convolucionais, treinadas a priori em dois tópicos que influenciam simultâneamente o mercado de criptomoedas, como o tópico de notícias e de cotações. O meio pelo qual as redes são agrupadas, ocorre usandose conexões externas às redes originais, para se conectar aos neurônios internos de cada rede. Duas vertentes foram propostas para o treinamento do CMEAS, sendo um com aprendizado supervisionado e outro com aprendizado por reforço. Os resultados comprovados pelos testes de Wilcoxon, demonstram que o CMEAS teve melhor fator de lucro e índice sharpe superior nos experimentos em relação aos algoritimos de agrupamento clássico por meio de votação e redes profundas usadas de forma individual, o algoritimo, também, foi superior em todas as métricas da estratégia compra e retêm (buy and hold), além disso, o algoritimo obteve resultados próximos, porém, melhores que os da CNN-LSTM considerada estado da arte, dadas as métricas utilizadas This work proposes an algorithm, named CMEAS, has biological inspiration focused on the way that the growth of neuronal axons reaches their synaptic destination in other neural networks. This growth follows specific pathways in the brain of animals defined by certain proteins. CMEAS was developed to group two convolutional neural networks, trained a priori on two topics that simultaneously influence the cryptocurrency market, such as news and prices. The means by which networks are grouped occurs using connections external to the original networks to connect to the internal neurons of each network. Two strands were proposed in order to train CMEAS, being one with supervised learning and the other with reinforcement learning. The results confirmed by the Wilcoxon tests demonstrate that the CMEAS had a better profit factor and a higher sharpe index in the experiments in relation to the classic ensemble algorithms through voting and stand-alone deep networks, the algorithm was also superior in all the metrics of the buy and hold strategy, in addition, the algorithm obtained similar results, however, better than those of CNN-LSTM considered state of the art, given the metrics used

Orientador: Prof. Dr. Ronaldo Cristiano Prati Coorientador: Prof. Dr. Luiz Antonio Celiberto Jr. Dissertação (mestrado) - Universidade Federal do ABC, Programa de Pós-Graduação em Ciência da Computação, Santo André, 2019.

CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior A robótica humanoide tem sido impulsionada pelas possibilidades de utilização de robôs bípedes para auxiliar o ser humano em tarefas domésticas, de entretenimento e em ambientes hostis para o ser humano, como locais de desastres. Para conseguir lidar com os mais variados tipos de ambientes, é de grande importância que os robôs consigam desenvolver estratégias de locomoção que sejam adaptáveis com o meio em que está inserido. É neste contexto que este trabalho apresenta técnicas de locomoção humanoide, com a aplicação da estratégia de estabilização da locomoção humanoide e implementa uma abordagem nova na área de detecção de terrenos durante a caminhada humanoide. Para a geração das trajetórias de caminhada foi utilizado o método do pêndulo invertido linear em que o robô tem sua dinâmica simplificada como a de um pêndulo invertido. Este método demonstrou capacidade de geração de trajetórias estáveis para o modelo simulado do robô humanoide, já para o robô real, foram necessárias algumas adaptações do método para o ajuste da postura do robô e do período do tempo de cada passo. Em seguida, foi feito um estudo a respeito do controle de impedância, onde verificou-se que a modificação da constante de rigidez do controle PID (Proporcional Integral Derivativo) à nível de articulações tem a capacidade de melhorar a qualidade da caminhada do robô mesmo em diferentes tipos de terrenos. Por fim, foi proposta uma nova técnica de detecção de terreno, onde uma assinatura em formato de imagem monocromática do terreno é gerada por meio das informações dos sensores de torque e do sensor inercial presentes no robô humanoide. Através dessa assinatura, uma rede neural convolucional é utilizada para a classificação de seis diferentes tipos de terrenos, e a acurácia geral atingida foi superior à 96.0 %, que é comparável a técnicas presentes no estado da arte. Humanoid robotics has been motivated by possibilities of using bipedal robots to assist humans in domestic tasks, entertainment and in hostile environments to humans, such as natural or human-induced disasters. To deal with the most varied types of environments, it is very important that the robots can develop adaptable locomotion strategies according to its surroundings. In this context, this work presents humanoid locomotion techniques, introducing a stabilization strategy for bipedal locomotion and implementing a new approach for terrain classification during walking. For the walking trajectories generation, the linear inverted pendulum method was used, and this method describes the robot’s dynamics as a simple inverted pendulum. This approach demonstrated the ability of providing stable trajectories for a simulated model of the humanoid robot. On the other hand, some adaptations in the method was made for the real robot, such as adjusting the robot posture and changing the period of each step. Afterwards, a study was made on the impedance control, where it was noticed that changing the stiffness constant of the PID control at joint level has the ability to improve the walking stability of the robot, even in different types of terrains. Finally, a new terrain detection technique was proposed, where a gray scale picture is used as a terrain signature, and this image is generated by reading the data of torque sensors and the inertial sensor at the impact moment. A convolutional neural network is used to classify six different types of terrain using the signature picture as an input, and the overall accuracy of this method reached values above 96.0%, which is comparable to state of art approaches. Dissertação (Mestrado)

Diante da constante evolução tecnológica apresentada nas últimas décadas, os robôs conquistaram um espaço muito importante na sociedade, tanto no desenvolvimento de tarefas industriais como na interação com os seres humanos. Com o intuito de estimular as pesquisas relacionadas aos robôs humanoides, surgiu a competição de futebol de robôs humanoides da RoboCup. Nesta competição, os robôs precisam atuar de forma autônoma, localizando os objetos a sua volta, tomando decisões e agindo de maneira adequada para ganhar os jogos. Pelas regras desta competição, os robôs precisam ter forma humanoide, e não podem utilizar nenhum sensor que não esteja relacionado com uma percepção humana, como lasers ou câmeras 3D. Neste contexto, a utilização de um sistema de visão estereoscópica agrega robustez e precisão no reconhecimento dos objetos envolvidos nessa competição. Apesar de sua importância, nota-se, no domínio da RoboCup, uma escassez de trabalhos que aplicam sistema de visão estéreo para reconhecimento de objetos 3D e detecção de suas respectivas distâncias, utilizando somente um par de câmeras pin-hole. Esta dissertação propõe, através de um sistema de visão estereoscópica, uma comparação de desempenho dos métodos descritores FPFH, SHOT e 3DSC no reconhecimento tridimensional de bolas de futebol com diferentes texturas, assim como oferece uma estimativa de sua respectiva distância, dentro do ambiente da competição RoboCup, na categoria KidSize da liga humanoide. Para tanto, técnicas como calibração estéreo para as câmeras, correspondência, triangulação e métodos descritores para reconhecimento de objetos 3D são abordados neste trabalho. A partir dos experimentos realizados, pôde-se concluir que o descritor FPFH foi o que obteve melhor desempenho, atingindo precisão de 100%, revocação de 78% e acurácia de 89% nos testes realizados. In the face of the constant technological evolution presented in the last decades, robots have conquered a very important space in society, both in the development of industrial tasks and in the interaction with human beings. In order to stimulate research related to humanoid robots, the RoboCup humanoid robot soccer competition was born. In this competition, robots need to act autonomously, locating the objects around them, making decisions and acting in a proper way to win the games. By the rules of this competition, robots need to have a humanoid shape, and they can not use any sensor that is not related to human perception, like lasers or 3D cameras. In this context, the use of a stereoscopic vision system adds robustness and precision in the recognition of the objects involved in this competition. Despite its importance, in RoboCup's domain, there is a shortage of works that apply a stereo vision system for 3D object recognition and detection of their respective distances, using only a pair of pin-hole cameras. This dissertation proposes, through a stereoscopic vision system, a comparison of the performance of the descriptive methods FPFH, SHOT and 3DSC in the three-dimensional recognition of soccer balls with different textures, as well as an estimation of their respective distance, within the competition environment RoboCup, in the KidSize category of the humanoid league. For such, techniques such as stereo calibration for cameras, matching, triangulation and methods descriptors for 3D object recognition are addressed in this work. From the experiments performed, it was possible to conclude that the FPFH descriptor was the one that obtained the best performance, reaching 100% accuracy, 78% recall and 89% accuracy in the tests performed.

Navegação é uma habilidade essencial para que agentes móveis possam ser completamente autônomos e capazes de desempenhar tarefas complexas que dependam de diversas competências cognitivas. Contudo, o problema de navegação em agentes que não podem perceber o mundo e não tem modelo de movimento completamente definido foi, até agora, pouco estudado. Uma maneira de tornar possível a navegação de um agente sem estas informações é a utilização da navegação guiada, na qual outros agentes autônomos, dotados de percepção, podem, por meio da união de suas diferentes perspectivas, inferir de forma recursiva a localização e as ações que o agente guiado deve tomar para realizar um trajeto de sua origem até um destino. Devido, ainda, a falta de conhecimento que pode existir sobre as características físicas e sensoriais do agente que será conduzido, um sistema de navegação guiada deve ser capaz de trabalhar com um nível de abstração que possibilite o uso de um modelo genérico de movimento e que transmita instruções de ação em alto nível, permitindo sua interpretação por qualquer tipo de agente autônomo. Esta abstração pode ser alcançada pelo uso de instruções baseadas em preposições espaciais projetivas, como direita, esquerda, frente e atrás. Assim, este trabalho apresenta dois modelos híbridos, qualitativo-probabilístico, para se guiar um agente sem percepção e sem modelo de movimento definido por meio do uso de proposições projetivas. Estes dois modelos utilizam os fundamentos encontrados no Filtro de Partículas, utilizado no contexto de navegação, e a representação qualitativa formalizada por meio da linguagem de restrição para relações de direção relativas StarVars. Os dois métodos propostos foram sistematicamente avaliados por experimentos realizados em um simulador de robôs humanoides e em duas provas de conceito, uma para cada método, realizadas com robôs humanoides reais. Os resultados obtidos demonstraram que os dois modelos de navegação guiada propostos foram bem sucedidos. Navigation is an essential ability for mobile agents to be completely autonomous and able to perform complex tasks that depend on various cognitive skills. However, the problem of navigation in agents that can not perceive the world and does not have a fully defined model of movement has so far been little studied. One way to make an agent without these information to navigate is to use guided navigation, in which other autonomous agents, endowed with perception, can, through the union of their different perspectives, infer recursively the localization and the actions that the guided agent must take to make a route from its origin to a destination. Due to the lack of knowledge that can exist about the physical and sensorial characteristics of the agent to be conducted, a guided navigation system must be able to work with a level of abstraction that allows the use of a generic model of movement and that transmits instructions of action at high level, that can be interpreted by any type of autonomous agent. This abstraction can be achieved by using instructions based on projective spatial prepositions such as right, left, front, and back. Thus, this work presents two hybrid models, qualitative-probabilistic, to guide an agent without perception and without model of movement defined through the use of projective propositions. These two models use the foundations found in the Particle Filter, used in the context of navigation, and the qualitative representation formalized by means of the restriction language for relative relations of direction StarVars. The two proposed methods were systematically evaluated by experiments carried out on a 2D humanoid robot simulator and two proofs of concept, one for each method, were performed with real humanoid robots. The results obtained demonstrated that the two guided navigation models proposed were successful.

Na atualidade, existe uma grande variedade de robôs autônomos utilizados em diversas áreas, seja para cumprir procedimentos de alto risco ou trazer entretenimento. Os robôs interagem com os mais diversos tipos de objetos, e para que essa seja uma boa interação, existe a necessidade de localizá-los no ambiente. Um exemplo é a liga humanoid da RoboCup, uma competição com robôs autônomos que devem jogar futebol. Para realizar tal tarefa, eles precisam ser capazes de localizar diversos objetos, como bola, robôs e landmarks, através de uma câmera. Mesmo realizando seus movimentos, o robô ainda deve ser capaz de manter a localização destes objetos. O objetivo deste trabalho é definir e implementar um sistema de rastreamento de objetos para o robô humanoide da Fundação educacional Inaciana (FEI), considerando os requisitos da competição que a equipe participa. Para isso, foi remodelada a estrutura do sistema de visão, pois o sistema anterior estava defasado e não realizava a detecção de robôs, somente da bola. Utilizando uma arquitetura de threads, a visão passa a detectar simultaneamente múltiplos objetos e transmitir essa informação para o sistema de rastreamento. Este sistema gera um mapa egocêntrico e, utilizando o filtro de Kalman, realiza o rastreamento do objeto neste mapa, sempre levando em consideração os movimentos do robô e do objeto para fazer a predição da posição, velocidade e aceleração deste objeto. Com a implementação deste novo sistema, espera-se ter uma melhora de desempenho quanto à tomada de decisão, pois as informações de todos os objetos sempre estarão disponíveis, e mesmo quando possivelmente ocorrer uma falha na detecção, ainda haverá a predição. At present, there is a wide variety of autonomous robots used in many areas, either to comply with high risk procedures or to bring entertainment. Robots interact with the most diverse types of objects, and for this to be a good interaction, there is a need to localize them in the environment. An example is the RoboCup s humanoid league, a competition with autonomous robots that must play football. To accomplish such a task, they need to be able to locate various objects, such as the ball, robots and landmarks, through a camera. Even performing their movements, the robot should still be able to maintain the location of these objects. The objective of this project is to define and implement an object tracking system for the humanoid robot of the Educational Foundation of the Inacian (FEI), considering the requirements of the competition that the team participates. Consequently, the structure of the vision system was redesigned, since the previous system was outdated and did not perform the detection of robots, only of the ball. Using a thread architecture, the view simultaneously detects multiple objects and transmits this information to the tracking system. This system generates an egocentric map and, using the Kalman filter, it traces the object on this map, always taking into account the movements of the robot and the object to predict the position, speed and acceleration of this object. With the implementation of this new system, it is expected to have an improvement in decision-making and performance because the information from all objects will always be available, and even when a detection failure may occur, there will still be a prediction.

O desenvolvimento de agentes autônomos capazes de realizar tarefas com a mesma destreza que a realizada pelos ser humanos é um dos desafios da Inteligência Artificial e Robótica. Isto motiva a pesquisa em robôs humanoides inteligentes, em especial, o futebol robôs humanoides como um banco de ensaio, pois trata-se de um ambiente dinâmico e que, cada agente em um time deve escolher a melhor ação visando maximizar o resultado do time, isto é, vencer a partida. Neste contexto, este trabalho apresenta um novo algoritmo para o Raciocínio Baseado em Casos Qualitativos (QCBRL), um modelo de Raciocínio Baseado em Casos que utiliza um formalismo do Raciocínio Espacial Qualitativo para representar, resgatar e reutilizar casos por meio de relações espaciais qualitativas entre os objetos no ambiente. Combinado com o método de Aprendizado por Reforço, o QCBRL permite ao agente aprender novos casos qualitativos em tempo de execução, sem a realização prévia de uma etapa de aprendizagem. Visando evitar os casos que não resultem em máximo desempenho, o QCBRL realiza a manutenção da base de casos, excluindo estes casos e aprendendo novos (mais adequados) casos. Os experimentos e análises do QCBRL foram realizados em cenários de futebol de robôs simulados e com robôs humanoides reais. Os resultados da execução do QCBRL mostram que o processo de resgate foi cerca de três vezes mais rápido e que o robô marcou uma média maior de gols do que os métodos com modelagem quantitativa. The development of autonomous agents that performs tasks with the same ability as performed by humans is one of the challenges of Artificial Intelligence and Robotics. This motivates the research on intelligent humanoid robots as well as the use of humanoid-robot soccer games as the robot’s test beds, since each agent in a team must choose the best action in a dynamic environment in order to maximise the team score. In this context, the present work introduces a novel algorithm for Qualitative Case-Based Reasoning and Learning (QCBRL). QCBRL is a Case-Based Reasoning model that uses Qualitative Spatial Reasoning formalisms to represent, retrieve and reuse cases by means of the spatial relations between the objects in the environment. Combined with Reinforcement Learning, QCBRL allows the agent to learn new qualitative cases at runtime, without previously performing a learning step. In order to avoid cases that do not lead to the maximum performance, QCBRL executes case-base maintenance, excluding these cases and obtaining new (more suitable) ones. Experimental evaluation of QCBRL was conducted on simulated and on real-humanoid robot soccer scenarios. Results suggest that QCBRL outperforms tradicional RL methods. As a result of running QCBRL, the retrieval process was three times faster and the robot performed a higher average of goals than those obtained when using quantitative models.

É comum encontrarmos robôs capazes de se locomover utilizando trilhos, esteiras e rodas. Estes meios de locomoção são eficientes para robôs em alguns casos como por exemplo um galpão ou locais com pisos lisos e continuo. Entretanto, em locais com muitos desníveis ou descontinuidades, como por exemplo montanhas, escombros de um prédio ou uma escada, a locomoção utilizando rodas, trilhos ou esteiras se torna prejudicada. Já a locomoção utilizando pernas é capaz de obter um ótimo desempenho em locais com ou sem desníveis e com ou sem continuidade, porém, este tipo de locomoção é mais complexo, o que torna mais desafiador obter uma caminhada eficiente. Esta dissertação propõem o uso de um algoritmo de otimização chamado Particle Swarm Optimization (PSO) para encontrar os valores de parâmetros que gerem um caminhar rápido e estável para um robô móvel humanoide. Estes parâmetros serão utilizados pelo robô humanoide desenvolvido pelo Centro Universitário da FEI para participar de competições de futebol de robôs como a RoboCup, na categoria KidSize da liga humanoide. É abordado neste trabalho as principais variações de PSO, as principais técnicas de geração de caminhada em robôs humanoides, cinemática e arquitetura de controle chamada de Arquitetura em Cruz. Os resultados obtidos neste trabalho demonstraram que o PSO é capaz de melhorar a caminhada do robô humanoide. Is usual to find robots capable of move using rails, continuous track and wheels. These kinds of locomotion are efficient for robots in same cases like an industrial shed or places with flat and continuous floors. However, in places with uneven or discontinuous floors, like mountains, buildings debris or ladders, the locomotion using rails, continuous track or wheels become impaired. The locomotion using legs is capable to obtain a great performance in places with or without unevenness and with or without continuity. However, this kind of locomotion is more complex, making more challenging to obtain an efficient gait. This dissertation propose the use of an optimization algorithm called Particle Swarm Optimization (PSO) to find the parameters values that make a fast and stable gait for a humanoid mobile robot. This parameters is going to be used in the humanoid robot developed by the Centro Universitário da FEI to compete in football competitions like the RoboCup’s KidSize category of the humanoid league. In this work will be approached the main PSO variations, the main humanoid robot gait generation technique, humanoid robot cinematic and a controller architecture called Architecture in Cross. The results obtain by this work shows that the PSO is capable of improve the humanoid robot gait.

Este trabalho apresenta o MOHAIS (do inglês, Multiobjective Optimization Hybrid Artificial Immune Systems), um framework para desenvolvimento de algoritmos imuno-inspirados que, além dos operadores imunológicos tradicionais, disponibiliza dois operadores híbridos para hipermutação e recombinação. Foram implementados dois algoritmos no MOHAIS: um tradicional, sem a utilização dos operadores híbridos, e outro que utiliza ambos. Os operadores e as duas implementações foram avaliados utilizando-se dezessete problemas de teste padrão em um conjunto de três experimentos e mais de 900 testes, que mostraram o bom desempenho do algoritmo que utilizou os operadores híbridos quando comparado com o tradicional e também com outros algoritmos não imuno-inspirados. O algoritmo com operadores híbridos foi ainda utilizado em um estudo de caso para alocação de equipamentos de autoatendimento bancário. O estudo de caso é particularmente relevante não apenas na otimização multiobjetivo, pela necessidade em conciliar variáveis de custo, ociosidade e disponibilidade nos pontos de atendimento, como também a apresentação de uma modelagem inédita para este tipo de problema. Novamente os resultados mostraram o potencial da abordagem multiobjetivo proposta, por conseguir otimizar os objetivos apresentados e confirmaram o bom desempenho dos operadores híbridos propostos, não apenas pelos resultados apresentados, mas também pela capacidade de adaptação do algoritmo a um problema com muitos objetivos. Finalmente, este trabalho propõe seis pontos de extensão para o MOHAIS e a construção de um trabalho interdisciplinar com a área de administração e finanças para aprofundamento do estudo de caso. This work presents Multiobjective Optimization Hybrid Artificial Immune Systems (MOHAIS), a framework for the development of immune-inspired algorithms that, in addition to traditional immune operators, offers two hybrid operators for hypermutation and recombination. Two algorithms have been implemented with MOHAIS: a traditional, without using the hybrid operators, and another one that uses both proposed hybrid operators. The proposed hybrid operators and the two implementations were evaluated using 17 benchmark problems with a set of three experiments and over 900 tests. These experiments showed that the performance of the algorithm even when compared with other algorithms do not immuno-inspired. The algorithm based on hybrid operators was also applied in a case study for the allocation of automatic teller machines. The case study is particularly relevant not only for multiobjective optimization research, due the needs to reconcile cost variables, idleness and availability at the point of sale, as well as it is the first time this problem is addressed as a multiobjective problem. Again the results of experiments showed the potential of the multiobjective approach proposed for achieving the optimized objectives , and also confirmed the good performance of the proposed hybrid operators, not only by the results itself but also by the algorithm’s ability to adapt to a problem with many goals. Finally, this work proposes six extension points for MOHAIS and the construction of an interdisciplinary research with management and finance researchers for the further development of the case study.

Técnicas de visão computacional já são tradicionalmente aplicadas em inspeções para controle de qualidade em processos industriais, existindo diversos métodos já consolidados para reconhecer defeitos em componentes. Porém, uma das principais dificuldades nestes processos está exatamente na padronização do posicionamento destes componentes em relação a uma câmera fixa. esta condição limita ou dificulta bastante a aplicação de visão computacional em linhas de produção em série, onde os componentes estão em movimento e posicionados de forma não padronizada. O objetivo deste trabalho é testar e comparar três sistemas diferentes que utilizam técnicas de visão computacional para detecção e classificação de imagens de amortecedores, classificando automaticamente as peças com ausência da solda de fechamento. Dois destes sistemas foram desenvolvidos e testados no ambiente industrial, usados na entrada da linha de produção, buscando eliminar a necessidade de inspeção humana. Os resultados mostram que é possível a utilização de visão computacional para realizar com sucesso estas inspeções. Computer vision techniques have traditionally been applied in inspections for quality control in industrial processes. There are several methods already established to recognize defects in components. However, a major difficulty in these cases is exactly the standardization of the components positioning in relation to a fixed camera. This condition represents a problem to apply computer vision in serial production lines where components are in motion and in a non-standardized position. The objective of this study is to test and compare three different systems using computer vision techniques to detect and classify shock absorbers welded and no welded, automatically sorting the no welded parts. Two of these systems were developed and tested in a production line, in an attempt to eliminate human inspection. The result shows that it is possible to use computer vision to successfully carry out these inspections.

A proposta deste trabalho é a detecção de corpos humanos em cenas pós-desastres sob o ponto de vista aéreo, ou seja, de cima para baixo. No intuito de alcançar este objetivo procurou-se maximizar a exatidão na detecção minimizando o número de falsos positivos e negativos, levando em consideração o menor tempo possível entre detecções. Como parte integrante desta solução foi utilizado como descritor de atributos o CENTRIST, normalmente usado para descrever a topologia de cenas, e aqui, empregado para detectar o contorno humano e suas partes e que tem como virtude, a captura da estrutura global e não a textura da imagem, além de, processar em um tempo linear. Estas propriedades são relevantes, já que, o tempo de processamento é um dos parâmetros de avaliação do algoritmo como um todo. Porém o reconhecimento do corpo humano em uma cena de pós-desastre não é uma tarefa de soluções bem estudadas, como na detecção de um pedestre (posição vertical), pois, o corpo humano nesta situação sofre deformação, rotação e oclusão. A solução aqui então é uma associação de métodos diversos onde para detecção do corpo completo, caso seja possível detectá-lo em uma imagem, é realizado pela Máquina de vetores de Suporte (núcleo Linear e HIK) em cascata e tendo o algoritmo real Adaboost como alternativa ao núcleo HIK, para teste de desempenho. No caso de não haver uma detecção de corpo completo na imagem foram criados comitês de especialistas na detecção dos membros do corpo humano (cabeça, braços e pernas), formados dos seguintes classificadores: Máquina de vetores de Suporte (Linear), Árvore de Decisão e Rede Neural Artificial. A tomada de decisão, se há um corpo humano em uma imagem, é então avaliada pela concordância booleana entre comitês e pela avaliação final por uma Rede Bayesiana, que são as principais contribuições deste trabalho. Os resultados deste trabalho indicam o potencial de detecção de formas humanas em situações generalizadas de desastres. The purpose of this study is the human detection in post-disaster situations from the aerial view, i.e., from top to bottom. In order to achieve this goal the detection accuracy was maximized and number of false positives and negatives was minimized, taking into account the shorter time between detections. The descriptor CENTRIST was applied in this work to get the human shape because captures contours and also requires liner time, but it is commonly used to describe topology from scenes. These properties are important and linear time is relevant to get advantage in performance in the algorithm. However the human shape detection in adverse situations of positioning, direction, rotation and occlusion of body is not easy task like in pedestrian detection (vertical position). The method proposed in this work is a combining pattern classifiers to detect the human body. In case of full body made through the Support Vector Machine (Linear and HIK kernels) classifier in cascade and were also made with the Adaboost classifier instead of the Support Vector Machine (HIK). In case there is no full body detection the expert committee detector human body parts (heads, arms and legs) are made with theses classifiers: Support Vector Machine (Linear), Decision tree e Neural Network. The decision-making, if there is a human body in image, is first evaluated by the Boolean agreement between committees and finally a Bayesian Network, which are the main contribution this work. The results of this work show the potential of human bodies’ detection in general situations of disaster.

Os atuais robôs humanoides ainda possuem instabilidade no andar dinâmico comparado com o andar humano. Apesar de existirem robôs móveis com rodas que possuem uma boa estabilidade, a busca pelo desenvolvimento dos robôs humanoides se dá pelo fato de que a locomoção com pernas é a melhor forma de locomoção em ambientes com descontinuidades no piso. Existem várias técnicas de geração de caminhada que vêm sendo desenvolvidas para robôs humanoides, porém, até o momento, nenhuma delas apresentou resultados satisfatórios se comparados com o andar humano. No entanto, sabe-se que há restrições construtivas, porque os robôs humanoides atuais, para se assemelharem aos seres humanos, precisam ser construídos com dispositivos e preceitos análogos a estrutura física do corpo humano. No robô humanoide se usa metais ao invés de ossos, motores no lugar de músculos, fios no lugar dos nervos e microprocessadores no lugar do cérebro, com isso, o resultado operacional acaba sendo diferente se comparado ao ser humano. Ao longo dos anos, várias propostas vêm sendo apresentadas para solucionar a questão da estabilidade dos robôs humanoides durante a caminhada. Algumas propostas apresentaram o aprendizado por reforço como solução, entretanto cada uma delas apresentou diferentes formas de implementação do aprendizado com diversos algoritmos. Seguindo essa linha de pesquisa, este trabalho propõe um algoritmo de aprendizado por reforço com generalizações temporais para otimizar os valores dos parâmetros do sistema de controle do andar em um robô humanoide, buscando um andar rápido e estável. Foram realizados experimentos simulado. Os resultados experimentais permitiram concluir que o algoritmo proposto foi capaz de aprender quais são os melhores valores de parâmetros do gerador de caminhada, através da observação do desempenho da caminhada executada pelo robô humanoide. The current humanoid robots still have instability in the dynamic walking if compared to human walking. Although there are wheeled mobile robots that have a good stability, the search for the development of humanoid robots, is given by the fact that the locomotion with legs is the best form of locomotion in environments with discontinuities on the floor. There are several gait generation techniques that have been developed for humanoid robots, but so far none of them had satisfactory results if compared to the human gait, however it is known that there is constructive restrictions, this because the current humanoid robots, in order to be similar to the humans, must be constructed of similar materials and devices to the human, such as metal instead of bones and muscles instead of engines. Over the years, several proposals have been presented to resolve the issue of stability of humanoid robots while walking. Some of the proposals presented reinforcement learning as a solution, each presenting different ways of implementing the learning with various algorithms. Following this same line of research, this work proposes a learning reinforcement algorithm with temporal generalizations to optimize the values of the parameters of the gait control system in a humanoid robot, seeking a fast and stable gait. Gait generation experiments were performed in the real robot and experiments with the algorithm proposed in a simulated environment. Experimental results allowed to conclude that the proposed algorithm can learn what are the best values of the gait generator parameters, by observing the walk performance executed by the robot humanoid.

Uma única imagem representa um conjunto de dados de tamanho considerável e tipicamente várias operações precisam ser feitas em cada pixel da referida imagem. Em uma estrutura de vídeo, a qual pode ser descrita como uma sucessão de várias imagens, esta tarefa torna-se ainda mais difícil, já que a taxa de quadros analisadas necessita ser mantida mesmo com a câmera em movimento. Este trabalho descreve um sistema de visão monocular para quatro robôs humanoides desenvolvidos para participar da liga humanoide na categoria KidSize, da Robo-Cup. O sistema de visão proposto permite que os robôs acompanhem uma bola e detectem companheiros e adversários, fornecendo informações como distâncias e orientações de todos esses objetos simultaneamente, de forma que, todos os processos possam ser executados em tempo real com diferentes resoluções de câmera. Devido a mudança constante de regras da competição, aumentando cada vez mais a complexidade do ambiente, o uso de técnicas de alto nível começam a parecer atraentes. Dessa forma o uso do Haar-Adaboost e do HOG-SVM para detecção de objetos pertencentes ao jogo, apresentaram resultados relevantes. Técnicas de baixo, médio e alto nível foram utilizadas em nossos robôs com poucas adversidades, com taxa de quadros por segundo condizentes com um robô de ação rápida e com a capacidade de generalização e identificação dos objetos demonstrados nas Curvas de Características de Operação do Receptor (ROC) A single image represents a dataset of considerable size, and typically several operations has to be done in each pixel of that image. In a video frame, which can be assimilated to a succession of multiple images, this task becomes even more challenging, due to shaking camera, and since the frame rate per second needs to be maintained. This paper aims to describe a monocular vision system for four humanoid robots developed to participate in the humanoid league in the category Kid Size, RoboCup. The proposed vision system allows robots to be able to keep tracking of a ball and detect teammates and opponents, providing information such as distances and estimated orientations of all these objects simultaneously. It is possible for all threads to run in real time with different camera resolutions. Due to constantly changing competition rules which has continually increased the environment complexity, the use of highlevel techniques gradually becomes more attractive. Thus the use of Haar-AdaBoost and HOGSVM to detect objects belonging to the game, presented relevant results. All levels of techniques were used in our robots with few adversities, with frame rate per second consistent with a fastacting robot and the ability to generalize and identify the soccer game belonging objects. All results are shown in the Receiver Operating Characteristics Curves (ROC)

A área da robótica vem evoluindo ao longo destes anos com a criação de novos robôs e com o desenvolvimento de aplicações inteligentes. A criação de robôs cada vez mais semelhantes aos seres humanos é um grande desafio. Para vencer este desafio, existem técnicas de aprendizado de máquina que têm semelhanças ao aprendizado de um ser humano. O domínio estudado neste trabalho é o futebol de robôs humanoides, que é um grande desafio, já que o robô deve se movimentar e ter comportamentos semelhantes a jogadores reais com o uso de técnicas de aprendizado. A técnica de aprendizado estudada neste trabalho é o Aprendizado por Reforço, utilizada para a solução de problemas quando um agente robô humanoide precisa aprender a atuar em um local desconhecido. Esta técnica é capaz de fazer os agentes robôs humanoides a aprender, por meio de tentativa e erro, para qual lado ele deverá andar, fazer gols como também fazer a defesa destes, melhorando o seu comportamento a cada instante,em um programa de simulação virtual de futebol, chamado RoboCup 3D. A plataforma, RoboCup 3D, utilizada para desenvolvimento dos agentes robóticos, vem sendo cada vez mais utilizada no mundo científico, devido simular em um mundo virtual características de jogadores de um mundo real, além de manter as mesmas características do ambiente. The robotics area has evolved over the years with the creation of new robots and the development of intelligent applications. The creation of robots more and more similar to humans is a challenge. To meet this challenge, there are machine learning techniques that have similarities to the learning of a human being. The area studied in this work is the humanoid robot soccer, which is a major challenge, since the robot should move and have behavior similar to real players with the use of learning techniques. The learning technique studied in this work is the Reinforcement Learning, used for troubleshooting when a humanoid robot agent must learn to act in an unknown location. This technique is able to make the agents humanoid robots to learn through trial and error, which way he should go, score goals as well as make the protection, improving their behavior at every moment, in a virtual simulation program football, called RoboCup 3D. The platform, RoboCup 3D, used for development of robotic agents, has been increasingly used in the scientific world due simulate a virtual world with characteristics players in a real world, while maintaining the same characteristics of the environment.