Search

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO O gerenciamento correto das pastagens em regiões agropecuárias tem papel fundamental na própria produção, na prevenção ao desperdício da biomassa vegetal e a liberação de gases de efeito estufa (GEE). Além disso, é necessário evitar o movimento inapropriado do rebanho entre pastos, pois este é um processo demorado e pode ser estressante para o animal. O sucesso desta gestão requer uma avaliação eficiente dos recursos da plantação. Os estudos desenvolvidos com esta finalidade tem relação direta com a estimativa da quantidade de biomassa em uma região específica da pastagem, pois, na prática, ela não é realizada de forma precisa, devido à dificuldade de medição em toda a área delimitada. Este trabalho tem como objetivo desenvolver uma metodologia de estimativa de biomassa de baixo custo, baseada em modelos de regressão que correlacionem os atributos de entrada mais relevantes para a aplicação com o real peso da plantação, medido em g/m2 . Para os atributos, foi medida a altura da grama forrageira e calculados os índices de vegetação baseados em RGB a partir de imagens de veículos aéreos não tripulados (VANTs). Como metodologia, utilizou-se regressões lineares, não lineares, redes neurais artificiais baseados em perceptrons de múltiplas camadas e a combinação de todos os modelos gerados (stacking ensemble). Foram alcançados resultados satisfatórios utilizando modelos de redes neurais com ainda duas camadas e com a metodologia de empilhamento de modelos, alcançando um RMSE de 31.76 g/m2 , MAPE de 13.35 por cento e R 2 de 0.9. Portanto, a metodologia proposta pode se tornar uma solução promissora e acessível para a estimativa de biomassa vegetal para uma gestão eficiente e sustentável do rebanho. The correct management of pastures in agricultural regions plays a fundamental role in the production itself, in the prevention of plant biomass waste and the release of greenhouse gases (GHG). In addition, it is necessary to avoid inappropriate movement of the herd between pastures, as this is a time-consuming process and can be stressful for the animal. The success of this management requires an efficient assessment of the plant resources. The studies developed for this purpose are directly related to the amount estimation of biomass in a specific region of the pasture, because, in practice, it is not carried out accurately, due to the difficulty of measurement throughout the field. This work aims to develop a low-cost biomass estimation methodology, based on regression models that correlate the most relevant input features for the application with the actual density of the plantation, measured in g/m2 . For the features, the height of the forage grass was measured and the vegetation indexes based on RGB were calculated from images of unmanned aerial vehicles (UAV). Linear, nonlinear regression (MNLR), artificial neural networks (ANN) based on multi-layer perceptron (MLP) and the combination of all models generated (stacking ensemble) were the methodologies tested in order to achieve the best correlation. Satisfactory results were achieved using models of neural networks with two layers and using stacking ensemble methodology, reaching a RMSE of 31.76 g/m2 , MAPE of 13.35 percent and R-Squared of 0.9. Therefore, the proposed methodology may become a promising and affordable solution for plant biomass estimation toward efficient and sustainable herd management.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO Nesse trabalho, nós apresentamos novas aplicações para alguns controladores robustos, tais como as abordagens SMC e STA. O principal objetivo é conseguir executar uma navegação autônoma precisa em campos agrícolas, usando robôs móveis com rodas, equipados com uma câmera monocular fixa. Primeiro, nós projetamos uma abordagem de controle robusto baseado em servo-visão, a fim de lidar com imprecisões do modelo e perturbações da trajetória no espaço da imagem. Além disso, uma abordagem de controle robusto baseada em cascata, é aplicada, na qual, a malha de realimentação externo está conectada com uma malha de realimentação interna para lidar com os efeitos de todas as fontes de perturbação. Desse modo, uma abordagem robusta de rastreamento de trajetória, baseada em super-twisting, é aplicada para estabilização de movimento afim de garantir o sucesso da tarefa de seguir uma linha de cultivo considerando os efeitos de derrapagem das rodas e derrapagem lateral do veículo. A plataforma ROS-Gazebo, um simulador de robótica de código aberto, foi utilizada para realização de simulações computacionais 3D usando um robô móvel do tipo differentialdrive e um ambiente ad-hoc projetado para cultivo em linha. A eficácia e a viabilidade dos controladores robustos são avaliadas analisando simulações numéricas e métricas de desempenho, tais como: (i) o Erro Quadrático Médio (EQM) e (ii) o Desvio Absoluto Médio (DAM). Além disso, nós veremos nos resultados, que em geral, só é possível ter estabilidade, utilizando os controladores rosbustos. In this work, we present a new application for some robust controllers, such as SMC and STA approaches. The main idea is to perform autonomous navigation in agricultural fields accurately using wheeled mobile robots, equipped with a fixed monocular camera . Here, we consider the existence of uncertainties in the parameters of the robot-camera system and external disturbances caused by high driving velocities, sparse plants, and uneven terrains. First, we design a robust image-based visual servoing approach to deal with model inaccuracies and trajectory perturbations in the image space. In addition, a cascade-based robust control approach is applied, in which the outer vision feedback loop is connected with an inner pose feedback loop to deal with the effects of all disturbances sources. Then, a robust trajectory tracking approach based on the super-twisting algorithm is applied for motion stabilization to ensure the successful execution of row crop following tasks under wheel slippage and vehicle sideslip. ROSGazebo platform, an open-source robotics simulator, was used to perform 3D computer simulation using a differential-drive mobile robot and an adhoc designed row-crop environment. The effectiveness and feasibility of the robust controllers are evaluated by analyzing numerical simulations and performance metrics, such as: (i) the root-mean square error (RMSE) and (ii) the mean-absolute deviation (MAD). Furthermore, we will see in results, that in general, it is only possible to have stability, using robust controllers.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR PROGRAMA DE EXCELENCIA ACADEMICA Este trabalho busca usar o comitê de algoritmos de aprendizado por reforço profundo (deep reinforcement learning) sob uma nova perspectiva. Na literatura, a técnica de comitê é utilizada para melhorar o desempenho, mas, pela primeira vez, esta pesquisa visa utilizar comitê para minimizar a dependência do desempenho de aprendizagem por reforço profundo no ajuste fino de hiperparâmetros, além de tornar o aprendizado mais preciso e robusto. Duas abordagens são pesquisadas; uma considera puramente a agregação de ação, enquanto que a outra também leva em consideração as funções de valor. Na primeira abordagem, é criada uma estrutura de aprendizado online com base no histórico de escolha de ação contínua do comitê com o objetivo de integrar de forma flexível diferentes métodos de ponderação e agregação para as ações dos agentes. Em essência, a estrutura usa o desempenho passado para combinar apenas as ações das melhores políticas. Na segunda abordagem, as políticas são avaliadas usando seu desempenho esperado conforme estimado por suas funções de valor. Especificamente, ponderamos as funções de valor do comitê por sua acurácia esperada, calculada pelo erro da diferença temporal. As funções de valor com menor erro têm maior peso. Para medir a influência do esforço de ajuste do hiperparâmetro, grupos que consistem em uma mistura de diferentes quantidades de algoritmos bem e mal parametrizados foram criados. Para avaliar os métodos, ambientes clássicos como o pêndulo invertido, cart pole e cart pole duplo são usados como benchmarks. Na validação, os ambientes de simulação Half Cheetah v2, um robô bípede, e o Swimmer v2 apresentaram resultados superiores e consistentes demonstrando a capacidade da técnica de comitê em minimizar o esforço necessário para ajustar os hiperparâmetros dos algoritmos. This work seeks to use ensembles of deep reinforcement learning algorithms from a new perspective. In the literature, the ensemble technique is used to improve performance, but, for the first time, this research aims to use ensembles to minimize the dependence of deep reinforcement learning performance on hyperparameter fine-tuning, in addition to making it more precise and robust. Two approaches are researched; one considers pure action aggregation, while the other also takes the value functions into account. In the first approach, an online learning framework based on the ensemble s continuous action choice history is created, aiming to flexibly integrate different scoring and aggregation methods for the agents actions. In essence, the framework uses past performance to only combine the best policies actions. In the second approach, the policies are evaluated using their expected performance as estimated by their value functions. Specifically, we weigh the ensemble s value functions by their expected accuracy as calculated by the temporal difference error. Value functions with lower error have higher weight. To measure the influence on the hyperparameter tuning effort, groups consisting of a mix of different amounts of well and poorly parameterized algorithms were created. To evaluate the methods, classic environments such as the inverted pendulum, cart pole and double cart pole are used as benchmarks. In validation, the Half Cheetah v2, a biped robot, and Swimmer v2 simulation environments showed superior and consistent results demonstrating the ability of the ensemble technique to minimize the effort needed to tune the the algorithms.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR PROGRAMA DE EXCELENCIA ACADEMICA Com recentes avanços em poder computacional, o uso de novos modelos de controle complexos se tornou viável para realizar o controle de quadrotores. Um destes métodos é o aprendizado por reforço profundo (do inglês, Deep Reinforcement Learning, DRL), que pode produzir uma política de controle que atende melhor as não-linearidades presentes no modelo do quadrotor que um método de controle tradicional. Umas das não-linearidades importantes presentes em veículos aéreos transportadores de carga são as propriedades variantes no tempo, como tamanho e massa, causadas pela adição e remoção de carga. A abordagem geral e domínio-agnóstica de um controlador por DRL também o permite lidar com navegação visual, na qual a estimação de dados de posição é incerta. Neste trabalho, aplicamos um algorítmo de Soft Actor- Critic com o objeivo de projetar controladores para um quadrotor a fim de realizar tarefas que reproduzem os desafios citados em um ambiente virtual. Primeiramente, desenvolvemos dois controladores de condução por waypoint: um controlador de baixo nível que atua diretamente em comandos para o motor e um controlador de alto nível que interage em cascata com um controlador de velocidade PID. Os controladores são então avaliados quanto à tarefa proposta de coleta e alijamento de carga, que, dessa forma, introduz uma variável variante no tempo. Os controladores concebidos são capazes de superar o controlador clássico de posição PID com ganhos otimizados no curso proposto, enquanto permanece agnóstico em relação a um conjunto de parâmetros de simulação. Finalmente, aplicamos o mesmo algorítmo de DRL para desenvolver um controlador que se utiliza de dados visuais para completar um curso de corrida em uma simulação. Com este controlador, o quadrotor é capaz de localizar portões utilizando uma câmera RGB-D e encontrar uma trajetória que o conduz a atravessar o máximo possível de portões presentes no percurso. With recent advances in computational power, the use of novel, complex control models has become viable for controlling quadrotors. One such method is Deep Reinforcement Learning (DRL), which can devise a control policy that better addresses non-linearities in the quadrotor model than traditional control methods. An important non-linearity present in payload carrying air vehicles are the inherent time-varying properties, such as size and mass, caused by the addition and removal of cargo. The general, domain-agnostic approach of the DRL controller also allows it to handle visual navigation, in which position estimation data is unreliable. In this work, we employ a Soft Actor-Critic algorithm to design controllers for a quadrotor to carry out tasks reproducing the mentioned challenges in a virtual environment. First, we develop two waypoint guidance controllers: a low-level controller that acts directly on motor commands and a high-level controller that interacts in cascade with a velocity PID controller. The controllers are then evaluated on the proposed payload pickup and drop task, thereby introducing a timevarying variable. The controllers conceived are able to outperform a traditional positional PID controller with optimized gains in the proposed course, while remaining agnostic to a set of simulation parameters. Finally, we employ the same DRL algorithm to develop a controller that can leverage visual data to complete a racing course in simulation. With this controller, the quadrotor is able to localize gates using an RGB-D camera and devise a trajectory that drives it to traverse as many gates in the racing course as possible.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR PROGRAMA DE EXCELENCIA ACADEMICA Quadricópteros vêm sendo o objeto de estudo de inúmeras pesquisas ao redor do mundo. Diversas técnicas de controle já foram desenvolvidas, cada uma com seus prós e contras, objetivando o aprimoramento do desempenho destes veículos aéreos na consecução de tarefas específicas. Este trabalho foca na comparação de características de desempenho de técnicas de controle aplicadas a quadricópteros. Este trabalho mostra o projeto de controles modernos aplicados à quadricópteros apresentando tais técnicas, iniciando com a realimentação de estados com polos dominantes, passando pelo controle Linear Quadratic Regulator (LQR). Por sua vez, visando otimizar o desempenho das técnicas de controle aqui estudadas, foram aplicadas técnicas de inteligência computacional para resolver um problema de otimização do LQR e para auxiliar no controle de forças dos rotores. Apresenta-se o projeto de um controle PID, que será usado como referência para as demais técnicas analisadas. O controle por realimentação de estados citado anteriormente obteve bons resultados. O tempo de assentamento foi o menor para o eixo Z, overshoots e o erro em regime permanente, os menores para os eixos X e Y. O controlador Fuzzy conseguiu fazer seu papel auxiliando a movimentação do quadricóptero. O GA otimizou o tempo de assentamento do LQR. Esse controle conseguiu alcançar os menores tempos de assentamento para os eixos X e Y, sendo mais rápido que a configuração original do LQR, escolhida por heurísticas. Com esse trabalho foi possível notar que os controladores modernos, realimentação de estado e LQR, tem um desempenho melhor que o controle PID de referência. Quadcopters are researched all over the world. A lot of techniques had been developed and many others a blistering, each one with their pros and cons. The focus of this work is the comparison between the performance of some techniques most used in quadcopters, qualifying these techniques. This work shows the designing process of a quadcopter controllers, starting with state feedback with dominant poles and going to the Linear Quadratic Regulator controller. Focusing on optimizing the performance of those control strategies, computational techniques were used to solve an LQR optimization problem and to help choose the best inputs for the rotors. This work presents a PID controller that will be used as a reference for comparison. The state feedback controller with the Fuzzy position control performed very well, being the fastest one to settle on the Z axis, having the least overshoots and the lowest steadystate errors for the X and Y axes. The Fuzzy controller did what was supposed to do, smoothing and enabling a precise movement for the quadcopter. The GA also did what was supposed to do and improved the settling time for the LQR controller. It showed that it was a nice way to tune the Q and R matrixes, allowing the controller to be the fastest one to settle in the X and Y axes. As a result of this work, the modern control techniques, state feedback and LQR, performance better than the classic PID controller, used as reference.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO Neste trabalho, aborda-se a modelagem e controle de um quadricóptero para navegação autônoma em ambientes agrícolas. Os modelos cinemático e dinâmico do veículo aéreo são computados a partir do formalismo de Newton-Euler, incluindo efeitos aerodinâmicos e características das hélices. O sistema de movimento do quadricóptero pode ser dividido em dois subsistemas, um translacional e outro rotacional, responsáveis pelo controle de posição nos eixos x, y, z, and atitude do veículo no espaço Cartesiano. A primeira abordagem de controle é linear, se presenta dois controladores, um controlador proporcional-derivativo (PD) e o adaptativo baseado no espaço de estados. A segunda abordagem é não-linear e baseada em um controlador adaptativo a fim de lidar com a presença de incertezas nos parâmetros do sistema. Simulações numéricas são executadas em Matlab para ilustrar o desempenho e a viabilidade da metodologia de controle proposta. Simulações computacionais 3D são executadas em Gazebo para verificar a navegação autônoma em um campo agrícola. In this work, we address the modeling and control design of a quadrotor for autonomous navigation in agricultural environments. The kinematic and dynamic models of the aerial vehicle are derived following the Newton-Euler formalism. The motion system of the quadrotor can be split into two subsystems, that is, translational and rotational subsystems, responsible for controlling the position along the longitudinal, transverse and vertical axes of the Cartesian space as well as its orientation about the corresponding axes. The first linear control approach is based on the proportional-derivative (PD) controller, whereas the second nonlinear control approach is based on an adaptive controller in order to deal with the presence of uncertainties in the system parameters. Numerical simulations are carried out in Matlab to illustrate the performance and feasibility of the proposed control methodology. Gazebo was used to perform the 3D simulations for verifying autonomous navigation in agricultural fields.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO Nos últimos anos, os robôs móveis têm emergido como uma solução alternativa para o aumento do nível de automação e mecanização na agricultura. Neste contexto, o foco da agricultura de precisão é a otimização do uso de insumos, redução de perdas nas lavouras, redução do desperdício de água e melhorar a produtividade em áreas cada vez menores, tornando a produção mais eficiente e sustentável. Os robôs agrícolas, ou AgBots podem ser controlados remotamente ou atuar de forma autônoma, utilizando diferentes sistemas de locomoção, bem como serem equipados com atuadores e sensores que lhes permitem realizar diversas tarefas agrícolas, tais como plantio, colheita, poda, fenotipagem, monitoramento e coleta de dado, entre outros. Neste trabalho será realizado um estudo em robôs móveis com rodas direcionado para os modelos de tração diferencial e no modelo similar ao carro (com atuação do sistema de direção) e suas aplicações em navegação autônoma em ambientes agrícolas. A modelagem e o projeto de controle baseiam-se em técnica clássicas e avançadas, utilizando abordagens de controle robusto por modo deslisante, tanto de primeira como de segunda ordens (Super Twisting Algorithm) para lidar com incertezas e interferências externas, comumente encontradas no tipo de ambiente agrícola a que se destina. Teste de verificação e validação são realizados através de simulações numéricas (MATLAB) e em ambiente de virtualização 3D (Gazebo). Testes experimentais preliminares são incluídos para ilustrarem as possibilidades de aplicação das metodologias de controle propostas em um ambiente real. Conclusões a respeito do trabalho são apresentadas, desenvolvendo uma discussão sobre os seus pontos mais relevantes, bem como sobre as perspectivas de melhorias futuras e pontos que ainda podem ser melhor pesquisados. In the last years, mobile robots have emerged as an alternative solution for increasing the levels of automation and mechanization in agricultural fields. In this context, the key idea of precision agriculture is to optimize the use of production inputs, crop losses, waste of water and to increase the crop production in small areas, in an efficient and sustainable manner. Agricultural robots or AgBots may be autonomous or remotely controlled, being endowed with different types of locomotion apparatus, actuation and sensory systems, as well as specialized tools which enable them to carry out a number of agricultural tasks such as, seeding, pruning, harvesting, phenotyping, monitoring and data collection. In this work, we perform a study on two type of wheeled mobile robots (i.e., differential-drive and car-like) and their application for autonomous navigation in agricultural fields. The modeling and control design is based on classical and advanced approaches, using robust control approaches such as Sliding Mode Control (first order) and Super Twisting Algorithm (second order) to deal with parametric uncertainties and external disturbances, commonly founded in agricultural fields. Verification and validation are carried out by means of numerical simulations in MATLAB and 3D computer simulations in Gazebo. Preliminary experimental tests are included to illustrate the performance and feasibility of the proposed modeling and control methodologies. Concluding remarks and perspectives are presented to summarize the strengths and weaknesses of the proposed solution and to suggest the scope for future improvements.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO COORDENAÇÃO DE APERFEIÇOAMENTO DO PESSOAL DE ENSINO SUPERIOR PROGRAMA DE EXCELENCIA ACADEMICA Nos últimos anos, os avanços mais recentes em robótica e suas aplicações têm sido usados para reduzir a carga de trabalho e os requisitos de mão-de-obra, melhorando o ambiente, a saúde e a segurança, particularmente nos sistemas de produção agrícola. Robôs autônomos fazem parte de tal inovação tecnológica e os robôs móveis com esteiras, em particular, têm sido amplamente utilizados em campos agrícolas em todo o mundo, já que suas esteiras proporcionam uma grande área de contato em solos úmidos e terrenos irregulares, evitando que o robô fique preso e melhorando a sua mobilidade. Neste trabalho, aborda-se a modelagem e o controle de robôs móveis com esteiras (Tracked Mobiler Robots, TMRs) para executar tarefas de vigilância em campos agrícolas. A metodologia proposta considera que o modelo cinemático do TMR são incertos devido ao escorregamento inerente entre as esteiras e o terreno. Para lidar com as incertezas de modelagem e perturbações externas, utiliza-se uma estratégia de controle robusto baseada na abordagem de modos deslizantes. Uma interface de usuário móvel (Mobile User Interface, MUI) baseada no sistema operacional Android é desenvolvida para controlar o robô movél com esteiras de forma manual ou autônoma. A partir da MUI, o operador humano pode visualizar as informações capturadas de sensores externos e internos. Simulações numéricas em MATLAB são realizadas para verificar o desempenho do controladores, bem como validar o modelo cinemático do robô, em diferentes configurações iniciais. In recent years, the latest advances in robotics and its applications have been used to reduce the workload and manpower requirements, improving the environment, health and safety (EHS) conditions, particularly in agricultural production and farming systems. Autonomous robots are part of such technological innovation and Tracked Mobile Robots (TMRs), in particular, have being widely used on agricultural fields around the world, since their tracks provide a large contact area on the wet soils and irregular terrains avoiding the robot to get stuck. In this work, we address the modeling and control design of tracked mobile robots (TMRs) able to perform surveillance tasks in agricultural fields. The proposed methodology considers that the kinematic models of the TMRs are both uncertain due to the inherent slippage between the tracks and the terrain. To deal with the modeling uncertainties and external disturbances, we use the sliding mode control (SMC) approach. A Mobile User Interface (MUI) based on Android operating system. is developed to control the TMR manually or autonomously. By using the MUI the human operator can visualize the information captured from external and internal sensors. Numerical simulations in MATLAB are carried out to verify the performance of the controller as well as validate the robot kinematic model under different configurations.

PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO A eficiência de culturas pode ser aprimorada monitorando-se suas condições de forma contínua e tomando-se decisões baseadas em suas análises. Os dados para análise podem ser obtidos através de sensores de imagens e o processo de monitoramento pode ser automatizado utilizando-se algoritmos de reconhecimento de imagem com diferentes níveis de complexidade. Alguns dos algoritmos de maior êxito estão relacionados a abordagens supervisionadas de aprendizagem profunda (Deep Learning) as quais utilizam formas de Redes Neurais de Convolucionais (CNNs). Nesta dissertação de mestrado, empregaram-se modelos de aprendizagem profunda supervisionados para classificação, regressão, detecção de objetos e segmentação semântica em tarefas de monitoramento de culturas, utilizando-se amostras de imagens obtidas através de três níveis distintos: Satélites, Veículos Aéreos Não Tripulados (UAVs) e Robôs Terrestres Móveis (MLRs). Ambos satélites e UAVs envolvem o uso de imagens multiespectrais. Para o primeiro nível, implementou-se um modelo CNN baseado em Transfer Learning para a classificação de espécies vegetativas. Aprimorou-se o desempenho de aprendizagem do transfer learning através de um método de análise estatística recentemente proposto. Na sequência, para o segundo nível, implementou-se um algoritmo segmentação semântica multitarefa para a detecção de lavouras de cana-de-açúcar e identificação de seus estados (por exemplo, saúde e idade da cultura). O algoritmo também detecta a vegetação ao redor das lavouras, sendo relevante na busca por ervas daninhas. No terceiro nível, implementou-se um algoritmo Single Shot Multibox Detector para detecção de cachos de tomate. De forma a avaliar o estado dos cachos, utilizaram-se duas abordagens diferentes: uma implementação baseada em segmentação de imagens e uma CNN supervisionada adaptada para cálculos de regressão capaz de estimar a maturação dos cachos de tomate. De forma a quantificar cachos de tomate em vídeos para diferentes estágios de maturação, empregou-se uma implementação de Região de Interesse e propôs-se um sistema de rastreamento o qual utiliza informações temporais. Para todos os três níveis, apresentaram-se soluções e resultados os quais superam as linhas de base do estado da arte. Crop efficiency can be improved by continually monitoring their state and making decisions based on their analysis. The data for analysis can be obtained through images sensors and the monitoring process can be automated by using image recognition algorithms with different levels of complexity. Some of the most successful algorithms are related to supervised Deep Learning approaches which use a form of Convolutional Neural Networks (CNNs). In this master s dissertation, we employ supervised deep learning models for classification, regression, object detection, and semantic segmentation in crop monitoring tasks, using image samples obtained through three different levels: Satellites, Unmanned Aerial Vehicles (UAVs) and Unmanned Ground Vehicles (UGVs). Both satellites and UAVs levels involve the use of multispectral images. For the first level, we implement a CNN model based on transfer learning to classify vegetative species. We also improve the transfer learning performance by a newly proposed statistical analysis method. Next, for the second level, we implement a multi-task semantic segmentation algorithm to detect sugarcane crops and infer their state (e.g. crop health and age). The algorithm also detects the surrounding vegetation, being relevant in the search for weeds. In the third level, we implement a Single Shot Multibox detector algorithm to detect tomato clusters. To evaluate the cluster s state, we use two different approaches: an implementation based on image segmentation and a supervised CNN regressor capable of estimating their maturity. In order to quantify the tomato clusters in videos at different maturation stages, we employ a Region of Interest implementation and also a proposed tracking system which uses temporal information. For all the three levels, we present solutions and results that outperform state-of-the art baselines.

Neste trabalho, apresenta-se diferentes esquemas de controle servovisuais para tarefas robóticas de colheita de fruta, na presença de incertezas paramétricas nos modelos do sistema. O primeiro esquema combina as abordagens de servovisão baseada em posição (PBVS) e servovisão baseada em imagem (IBVS) para realizar, respectivamente, a aproximação até a fruta e, em seguida, um ajuste fino para a colheita. O segundo esquema usa uma abordagem de servovisão híbrida (HVS) para realizar a tarefa de colheita completa, projetando uma lei de controle adequada que combina vetores de erro definidos no espaço operacional e no espaço da imagem. A fase de detecção utiliza um algoritmo baseado no espaço de cores OTHA e limiar da imagem Otsu para um rápido reconhecimento de frutos maduros em cenários complexos. Além disso, um método de detecção mais preciso emprega uma Rede Neural Convolucional Profunda (DCNN) pré-treinada baseada em uma versão Segnet minimizada para uma inferência rápida durante a execução da tarefa. A localização do objeto é realizada empregando uma técnica de triangulação de imagem, que combina os algoritmos SURF e RANSAC ou ORB e BF-Matcher para extrair a característica da imagem da fruta e associa-lo com o seu ponto correspondente na outra visualização. No entanto, como esses algoritmos exigem um elevado custo computacional para os requisitos da tarefa, um método de estimativa mais rápido utiliza o centróide da fruta e transformação homogênea para descobrir os pontos correspondentes. Finalmente, um esquema de controle em modos deslizantes (SMC) baseado em visão e uma função de monitoramento de comutação são empregados para lidar com incertezas nos parâmetros de calibração do sistema de câmera-robô. Nesse sentido, é possível garantir a estabilidade assintótica e a convergência do erro da característica da imagem, mesmo que o ângulo de desalinhamento, em torno do eixo z, entre os sistemas de coordenadas da câmera e do efetuador seja incerto. In this work, we present different eye-in-hand visual servoing control schemes applied to a robotic harvesting task of soft fruits in the presence of parametric uncertainties in the system models. The first scheme combines position-based visual servoing (PBVS) and image-based visual servoing (IBVS) approaches in order to perform respectively an approach phase to the fruit and then a fine tuning of the end-effector to harvest. The second scheme uses a hybrid visual servoing (HVS) approach to fulfill the complete harvesting task, by designing a suitable control law which combines error vectors defined in both the image and operational spaces. For detecting the fruits, an algorithm based on the combination of the OHTA color space and Otsu’s threshold method for a fast recognition of mature fruits in complex scenarios. In addition, a more accurate detection method employs a pre-trained deep encoder-decoder algorithm based on a minimized Segnet version for a fast and cheap inference during the task execution. The object localization is accomplished by employing an image triangulation technique, which combines the speeded-up-robust-features (SURF) and the-randomsample-consensus (RANSAC) or the Oriented FAST and Rotated BRIEF and the Brute-Force Matcher (BF-Matcher) algorithms to extract the fruit image feature and match it to its correspondent feature-point into the other view of the stereo camera. However, since these algorithms are computationally expensive for the task requirements, a faster estimation method uses the fruit centroid and a homogeneous transformation for discovering matching points. Finally, a vision-based sliding-mode-control scheme and a switching monitoring function are employed to cope with uncertainties in the calibration parameters of the camera-robot system. In this context, it is possible to guarantee the asymptotic stability and convergence of the image feature error, even if the misalignment angle, around the z-axis, between the camera and end-effector frames is uncertain. 3D computer simulations and preliminary experimental results, obtained with a Mitsubishi robot arm RV-2AJ carrying out a simple strawberry picking task, are included to illustrate the performance and effectiveness of the proposed control scheme.