Search

This paper analyzes a common ESP32 microcontroller with a built-in camera for image classification tasks using a convolutional neural network. ESP32 is commonly used in IoT devices to read data and control sensors, so its computing power is not significant, which has a positive effect on the cost of the device. The prevalence of ultra-low power embedded devices such as ESP32 will allow the widespread use of artificial intelligence built-in IoT devices. The duration of photographing and photo processing is obtained in the paper, as this can be a bottleneck of the microcontroller, especially together with machine learning algorithms. Deployed convolutional neural network, pre-trained on another device, MobileNet architecture on microcontroller and proved that ESP32 capacity is sufficient for simultaneous operation of both the camera and convolutional neural network. В работе проанализирован распространенный микроконтроллер ESP32 со встроенной камерой для задач классификации изображений с использованием сверточной нейронной сети. Обычно ESP32 используется в устройствах IoT для считывания данных и управления сенсорами, поэтому его вычислительная мощность не является значительной, что положительно влияет на стоимость устройства. Распространенность встроенных устройств со сверхнизким энергопотреблением, таких как ESP32, позволит массовое распространение встроенных устройств IoT с искусственным интеллектом. В работе получена продолжительность фотографирования и обработки фотографий, поскольку это может быть узким местом микроконтроллера, особенно вместе с алгоритмами машинного обучения. Развернута сверточная нейронная сеть, предварительно обученная на другом устройстве, архитектура MobileNet на микроконтроллере и доказана, что мощностей ESP32 достаточно для одновременной работы как камеры так и сверточной нейронной сети. У роботі проаналізовано поширений мікроконтролер ESP32 з вбудованою камерою для завдань класифікації зображень з використанням згорткової нейронної мережі. Зазвичай ESP32 використовується в пристроях IoT для зчитування даних та управління сенсорами тому його обчислювальна потужність не є значною, що позитивно впливає на вартість пристрою. Поширеність вбудованих пристроїв з наднизьким енергоспоживанням, таких як ESP32 дозволить масове поширення вбудованих пристроїв IoT із штучним інтелектом. В роботі одержано тривалість фотографування та обробки фотографій, оскільки це може бути вузьким місцем мікроконтролера, особливо разом з алгоритмами машинного навчання. Розгорнуто згорткову нейронну мережу, попередньо навчену на іншому пристрої, архітектури MobileNet на мікроконтролері та доведено, що потужностей ESP32 достатньо для одночасної роботи як камери так і згорткової нейронної мережі.

Actualment, l’automatització de diverses tasques del dia a dia, és una cosa que qualsevol persona vol tindre al seu voltant, ja que fa de la vida una mica més còmoda i accessible per tothom. Al igual que en l’organització d’un projecte, a la nostra vida, accions com el desplaçament o el moviment, produeixen pèrdues, en aquest cas en el temps, el qual mai es podrà recuperar, i al tenir en compte que no parlem d’una feina, sinó de la nostra rutina, segons les nostres limitacions físiques, això pot suposar un problema. El meu objectiu en aquest projecte és realitzar una part d’un sistema domòtic, en el qual ens puguem estalviar un temps molt valuós, i unes possibles accions poc accessibles, mitjançat l’ús d’un software creat amb Arduino per a dispositius ESP32, el qual, mitjançant l’ús d’una pàgina web, puguem tindre la facilitat de controlar accions com serien pujar o baixar les persianes de qualsevol punt de la casa o tenir control de la entrada amb una ajut visual el qual ens permeti visualitzar qui vol accedir a la nostra habitatge. Els resultats obtinguts reflecteixen el projecte a una petita casa mitjançant la instal·lació d’aquest software i hardware en maqueta la qual simula una habitatge qualsevol en la que podem observar del tipus de control del qual disposaríem en una casa real. Actualmente, la automatización de diversas tareas del día a día, es algo que cualquier persona quiere tener a su alrededor, puesto que hace de la vida algo más cómoda y accesible por todos. Al igual que en la organización de un proyecto, en nuestra vida, acciones como el desplazamiento o el movimiento, producen pérdidas, en este caso en el tiempo, que nunca se podrá recuperar, y al tener en cuenta que no hablamos de un trabajo, sino de nuestra rutina, según nuestras limitaciones físicas, esto puede suponer un problema. Mi objetivo en este proyecto es realizar una parte de un sistema domótico, en el que podamos ahorrarnos un tiempo muy valioso, y unas posibles acciones poco accesibles, mediante el uso de un software creado con Arduino para dispositivos ESP32, el cual, mediante el uso de una página web, podamos tener la facilidad de controlar acciones como serían subir o bajar las persianas de cualquier punto de la casa o tener control de la entrada con una ayuda visual que nos permita visualizar quién quiere acceder a nuestra vivienda. Los resultados obtenidos reflejan el proyecto en una pequeña casa mediante la instalación de este software y hardware en maqueta que simula una vivienda cualquiera en la que podemos observar del tipo de control del que dispondríamos en una casa real. Nowadays, the automation of various day-to-day tasks is something that anyone wants to have around them, as it makes life more comfortable and accessible for everyone. As in the organization of a project, in our lives, actions such as displacement or movement produce losses, in this case in time, which can never be recovered, and bearing in mind that we are not talking about a job, but from our routine, according to our physical limitations, this can pose a problem. My goal in this project is to realize part of a home automation system, in which we can save a very valuable time, and some possible actions that are not easily accessible, through the use of a software created with Arduino for ESP-32, which through the use of a web page, we can have the facility of controlling actions such as raising or lowering the blinds from any point in the house or having control of the entrance with a visual aid that allows us to visualize who wants to access our house. The results obtained reflect the project for a small house by installing this software and hardware to a model that simulates a house in which we can observe the type of control we would have in a real house.

En aquest Treball de Fi de Grau, es porta a terme la integració, el disseny de maquinari i programari de diferents dispositius per realitzar el monitoratge de variables mediambientals, destinats a ser implementat pel Laboratorio del Centro de Medio Ambiente (LCMA) i poder utilitzar-lo en diferents experiments per determinar la qualitat de l’aire en zones on es produeixen emissions de gasos VOC, perjudicials per als éssers vius. Es desenvolupa un disseny amb el qual es pretén aconseguir una xarxa formada per diferents dispositius equipats amb sensors i mòduls per realitzar enviaments i recepcions de dades. Les comunicacions es realitzen a partir de les tecnologies GSM, LoRa i WiFi. Es treballa amb els microcontroladors ESP32 del fabricant Espressif, que han esdevingut eines molt potents a l’hora de realitzar la integració de sistemes a causa del gran nombre de ports de comunicació i capacitat computacional. A més, els dispositius compten amb la capacitat de capturar mostres d’aire amb presència de contaminants mitjançant tubs multi-sostre per tal de realitzar l’estudi exhaustiu al LCMA, podent determinar així els tipus de contaminants i les concentracions mitjançant l’espectrometria de massa A la memòria, es recull la descripció del sistema realitzat, on es defineixen les parts i funcionalitats d’aquest, el disseny hardware i software, i finalment, les proves operatives dels diferents prototips desenvolupats. El software engloba la programació dels microcontroladors i també un servidor central, que s’utilitzarà per configurar, emmagatzemar i presentar les dades que es facin arribar des dels diferents dispositius. En este Trabajo de Fin de Grado, se lleva a cabo la integración, el diseño de la maquinaria y programas de diferentes dispositivos para realizar la monitorización de variables medioambientales, destinados a ser implementados por el Laboratorio del Centro de Medio Ambiente (LCMA) y poder ser utilizados en diferentes experiencias para determinar así la calidad del aire en zonas donde se producen emisiones de gases VOC, perjudiciales para los seres vivos. Se desarrolla un diseño con el que se pretende conseguir una red formada por diferentes dispositivos equipados con sensores y módulos para realizar envíos y recepciones de datos. Las comunicaciones se realizan a través de las tecnologías GSM, LoRa y WiFi. Además, los dispositivos cuentan con la capacidad de capturar muestras de aire con presencia de contaminantes mediante tubos multi-techo, con el objetivo de realizar un estudio en profundidad en el LCMA, pudiendo así determinar los tipos de contaminantes y las concentraciones, mediante la espectrometría de masas. En la memoria, se recoge la descripción del sistema realizado, con el que se describen las diferentes partes y funcionalidades, el diseño hardware y software, y finalmente, las pruebas operativas de los prototipos desarrollados. El software incluye la programación de los microcontroladores y también del servidor central, que se utilizara para configurar, guardar y presentar los datos que se envíen desde los diferentes dispositivos. In this Final Degree Project, the hardware and software design are carried out in order to develop the integration of different structures to obtain a system that performs the monitoring of environmental variables, intended to be implemented by the Laboratorio del Centro de Medio Ambiente (LCMA) and to be used in different experiences to determine the air quality where emissions of VOCs, being harmful to the living beings, occur. The design is developed in order to achieve a net made of by different devices equipped with sensors and modules to send and receive data. The communications are made through GSM, LoRa and WiFi. In addition, the devices have the ability to capture samples with the presence of pollutants through multi-roof tubes in order to carry out an in-depth study at the LCMA, thus being able to determine the types of pollutants and their concentrations. The project technical memory contains the description of the system, which details the different parts and functionalities, the hardware and software design, and finally, the operational tests of the developed prototypes. The software includes the programming of microcontrollers and also a central server, which will be used to configure, save and present the data sent from the different devices.

Urban and rural water distribution systems have complex interactions between quantitative and qualitative water monitoring aspects. Such models still lack greater accuracy in providing real-time measurements and the impacts of their distribution on pipe networks over time. A loss estimation and location is one aspect that can be assessed through data acquisition methods using sensor networks and the Internet of Things (IoT) framework. This work developed an application prototype for the residential monitoring of water consumption using the ESP32 microprocessor, obtaining and analyzing measurement data over five months of observation, using statistical analysis tools to identify residential human consumption profiles and possible failures in distribution network. Nine water consumption points were monitored, where the sink for washing dishes had the highest consumption, followed successively by the shower in the bathroom suite, toilet in the bathroom suite, sink washing dishes, restroom toilet, restroom shower, washing machine, bathroom sink, and bathroom sink of the social toilet. The data were compared with the literature to assess peculiarities of our research and a path for the evolution of our application in future works. Los sistemas de distribución de agua, tanto urbanos como rurales, tienen interacciones complejas entre los aspectos cuantitativos y cualitativos del monitoreo del agua. Dichos modelos aún carecen de mayor precisión para hacer que las mediciones estén disponibles en tiempo real y los impactos de su distribución en las redes de tuberías a lo largo del tiempo. La estimación de pérdidas y su ubicación es un posible aspecto a evaluar mediante métodos de adquisición de datos utilizando redes de sensores y la estructura de Internet de las cosas (IoT). Este trabajo desarrolló un prototipo de aplicación para la monitorización residencial del consumo de agua mediante el microprocesador ESP32, obteniendo y analizando datos de medición durante cinco meses de observación, utilizando herramientas de análisis estadístico para identificar perfiles de consumo humano residencial y posibles fallas. en la red de distribución. Se monitorearon nueve puntos de consumo de agua, donde el fregadero para lavar platos mostró el mayor consumo, seguido sucesivamente por la ducha en el baño en suite, inodoro en el baño en suite, lavaplatos, inodoro en el baño social, ducha en el baño social, Lavadora, lavabo baño, lavabo en el baño. Los datos fueron comparados con la literatura para evaluar peculiaridades de nuestra investigación y caminos para la evolución de nuestra aplicación en trabajos futuros. Sistemas de distribuição de água, tanto urbanos quanto rurais, possuem complexas interações entre os aspectos de monitoramento quantitativos e qualitativos da água. Tais modelos carecem ainda de uma maior precisão na disponibilização de medidas em tempo real e os impactos de sua distribuição nas redes de canos ao longo do tempo. A estimação de perdas e sua localização é um aspecto possível de ser avaliado através de métodos de aquisição de dados usando redes de sensores e a estrutura de Internet das Coisas (IoT, no inglês). Este trabalho desenvolveu um protótipo de aplicação para o monitoramento residencial de consumo de água utilizando o microprocessador ESP32, obtendo e analisando os dados de medição ao longo de cinco meses de observação, utilizando ferramentas de análise estatísticas para identificar perfis de consumo humano residencial e possíveis falhas na rede de distribuição. Foram monitorados nove pontos de consumo de água, onde a pia de lavar louças apresentou o maior consumo, seguido sucessivamente pelo chuveiro do banheiro da suíte, vaso sanitário do banheiro da suíte, pia de lavar louças, vaso sanitário do banheiro social, chuveiro do banheiro social, máquina de lavar roupas, pia do banheiro da uíte, pia do banheiro social. Os dados foram comparados com a literatura para avaliar peculiaridades de nossa pesquisa e caminhos para evolução de nossa aplicação em trabalhos futuros.

En aquest projecte es realitzarà el disseny, programación i implementación de una estació meteorológica, destinada a la mesura de variables ambientals. Les variables a mesurar siran irradiancia solar, temperatura, humitat, velocitat del vent, dirección del vent i pressió atmosférica. El sistema está dotat de un microcontrolador ESP32 muntat en un mòdul Devkit V1, elegit en base al seu baix preu, potencia de processament, baix consum i la seva integración de tecnología WiFi. Es programarà mitjançant l’Arduino IDE; utilitzant les llibreries corresponents per al seu ús amb aquest microcontrolador. S’utilitzarà el bróker MQTT io.adafruit per la seva interfaç intuitiva, el servei gratuit i la posibilitat de graficar i comprobar les dades rebudes a la mateixa web. El ESP32 es conectarà a aquest bróker i enviarà missatges MQTT periòdicament amb les dades dels sensors a la seva payload. Les dades es guardaran a un NAS DS1515 mitjançant un script de Python, i el seu objectiu consistirà en suscribir-se al bróker MQTT i guardar els missatges rebuts a una base de dades amb format .db al propi NAS. S’usarà l’entorn de programación Anaconda3 en PC per a escriure el programa, que posteriormente s’implementarà al NAS una vegada testejat. El disseny del circuit electrònic es farà mitjançant el software on-line gratuity Easyeda, el·legit per la seva interfaç intuitiva, ser open-source i la seva disponibilitat de llibreries. El circuit final será implementat a una placa de topos. Encara que aquest treball es centra en la recogida de variables climatològiques, la seva estructura pot ser fàcilment aprofitada per projectes que aprofitin la potencia del protocol MQTT per aplicacions de domòtica i sensòrica. En este Proyecto se realizará el diseño, programación e implementación de una estación meteorológica, destinada a la medida de variables ambientales. Las variables a medir serán irradiancia solar, temperatura, humedad, velocidad del viento, dirección del viento y presión atmosférica. El sistema está dotado de un microcontrolador ESP32 montado en un módulo Devkit V1, elegido en base a su bajo precio, potencia de procesamiento, bajo consumo y su integración de tecnología WiFi. Se programará mediante Arduino IDE, usando las librerías correspondientes para su uso con este microcontrolador. Se usará el bróker MQTT io.adafruit por su interfaz intuitiva, su servicio gratuito, y la posibilidad de graficar y comprobar los datos recibidos en la misma web. El ESP32 se conectará a este bróker y enviará mensajes MQTT periódicamente con los datos de los sensores en su payload. Los datos se guardarán en un NAS DS1515 mediante un script de Python, y su cometido consistirá en suscribirse al bróker MQTT y guardar los mensajes recibidos en una base de datos con formato .db en el propio NAS. Se usará el entorno de programación Anaconda3 en PC para escribir el programa, que posteriormente se implementará en el NAS una vez testeado. El diseño del circuito electrónico se hará mediante el software on-line gratuito Easyeda, elegido por su interfaz intuitiva, su gratuidad y su disponibilidad de librerías. El circuito final será implementado en una placa de topos. Aunque este trabajo se centra en la recogida de variables climatológicas, su estructura puede ser fácilmente aprovechada para proyectos que aprovechen la potencia del protocolo MQTT para aplicaciones de domótica y sensórica. In this Project the design, programation and implementation of a meteorologic station destined to the measure of climatologic variables will be done. The variables to measure will be solar irradiance, temperature, humidity, wind speed, wind direction and atmospheric pressure. The sistem is provided of an ESP32 microcontroller mounted in a Devkit V1 module, chosen by its low price, processing power, low power consumption and its integration of WiFi technology. It will be programmed by Arduino IDE, using the appropriate libraries to allow its use for this microcontroller. The MQTT broker io.adafruit will be used for its intuitive interface, its free service, and the possibility to graph and check received data on the its webpage. The ESP32 will connect to this broker and send MQTT messages periodically with the sensor data on its payload. The data will be stored into a NAS DS1515 by a Python script, and its purpose will be to subscribe to the MQTT broker and save received messages into a database with .db format on the NAS itself. The programming environment Anaconda3 will be used in a PC to write the program, which will be implemented to the NAS once tested. The design of the electronic circuit will be done by the online free software Easyeda, chosen by its intuitive interface and the availability of libraries. The final circuit will be implemented on a perfboard. Even though this project will focus on the retrieval of climatologic variables, its structure can be easily taken advantage of for projects that will make use of the strength of the MQTT protocol for applications of domotics and sensorics.

El present treball de final de grau, TFG, mostra el procediment seguit per dissenyar un sistema d'adquisició de dades emprant el microcontrolador (MCU, sigles del anglès: Micro-Controller Unit) ESP32, s’utilitza aquest mòdul per a realitzar mesures de variables elèctriques com el corrent i la tensió. A partir de les variables anteriors calcula; la freqüència de xarxa, l'energia i la potència consumida per una màquina elèctrica o microxarxa. Per a aquest treball s'utilitzen 2 plaques ESP32; una es connecta als circuits de mostreig de les variables elèctriques, construïts en una placa de circuit imprès (o PCB), aquesta placa sensa les dades i les envia per wifi a una altra placa que està connectada a un ordinador. A part del disseny dels circuits, aquest document també abasta la programació de les plaques per a realitzar les funcions corresponents. Els MCU es programen mitjançant el programari de lliure disposició Arduino IDE (sigles del anglès: Integrated Development Environment), i per a la representació de les dades s'utilitza el llenguatge de programació LabVIEW de National Intruments. Mentre es va conformant el TFG, es prioritzarà que el sistema estigues totalment aïllat elèctricament. Només s’ha de manipular quan està desconnectat de la xarxa elèctrica, així s’evita un possible xoc elèctrica. També es donarà importància a la protecció dels equips, per aquest motiu hi ha aïllament galvànic en algunes parts del circuit. Amb l'equip final es faran proves i assajos per obtenir la precisió d'aquest i es compararà amb un multímetre comercial. El presente trabajo final de grado, TFG, muestra el procedimiento seguido para diseñar un sistema de adquisición de datos empleando el microcontrolador (MCU, siglas del inglés: Micro-Controller Unit) ESP32, se utiliza este módulo para realizar medidas de variables eléctricas como la corriente y la tensión. A partir de las variables anteriores calcula; la frecuencia de red, la energía y la potencia consumida por una máquina eléctrica o microred. Para este trabajo se utilizan 2 placas ESP32; una se conecta a los circuitos de muestreo de las variables eléctricas, construidos en una placa de circuito impreso (o PCB), esta placa sensa los datos y los envía por wifi a otra placa que está conectada a un ordenador. A parte del diseño de los circuitos, este documento también abarca la programación de los microcontroladores para realizar las funciones correspondientes. Los MCU se programan mediante el software de libre disposición Arduino IDE (del inglés: Integrated Development Environment), y para la representación de los datos se utiliza el lenguaje de programación LabVIEW de National Intruments. Mientras se va conformado el TFG, se priorizará que el sistema esté totalmente aislado eléctricamente. Solo se debe manipular cuando el dispositivo esté desconectado de la red eléctrica, así se evita un posible choque eléctrico. También se va a dar importancia a la protección de los equipos, por este motivo hay aislamiento galvánico en algunas partes del circuito. Con el equipo final se harán pruebas y ensayos para obtener la precisión de este y se comparará con un multímetro comercial. To sum up, the current report shows the procedure followed to design a data acquisition system using the microcontroller called “ESP32”, using this module to perform measurements of electrical variables such as the current and the voltage. From the above variables I must calculate: the grid frequency, the energy and the power consumed by an electric machine or micro grid. Moreover, two motherboards "ESP32" are used in this project: one is connected to the sampling circuits of the electrical variables, built on a protoboard (or PCB), this plate census the data and sends them by WI-FI to another plate that is connected to a computer. Aside from the design of the circuits, this document also covers the codes of the motherboards to perform the corresponding functions. The microcontrollers (C) are programmed using the freeware “Arduino IDE (Integrated Development Environment)”, for the data representation will be carried out through the programming language “LabVIEW of National Instruments”. While the project is correctly checked over, it will be prioritized that the system stays fully electrically isolated, only it should be handled when the device is disconnected from the power grid, thus avoiding and preventing a possible electric shock. Device protection is also going to be important due to the galvanic isolation in some parts of the circuit. With the final device we will make test results and trials to achieve the accuracy and it will be compared with a commercial multimeter.

A Internet das Coisas (IoT - Internet of Things) pode ser definida como a conexão entre o mundo físico e o digital, ou seja, uma rede global entre objetos de uso rotineiros, pessoal ou industrial, que possuem tecnologia embarcada capaz de coletar, transmitir e tomar decisões baseada em banco de dados. O trabalho proposto visa desenvolver e implementar um sistema de aquisição de baixo custo, seguindo as tendências da indústria 4.0, que está inserindo a IoT em ambientes industriais. Utilizando microcontroladores ESP32, do fabricante Espressif Systems, para monitorar sobrecorrente, sobretensão e temperatura alta do motor de indução trifásico. As grandezas elétricas são aquisicionadas pelo Módulo de Aquisição e Condicionamento de Sinais de Tensão e Corrente. A temperatura é supervisionada por um sensor de temperatura interno ao motor. Estes dados são lidos, processados e transmitidos por dois ESP32, e aplicando a tecnologia IoT os valores de sobrecorrente, sobretensão e temperatura alta são salvos em nuvem. Os dados são disponibilizados para visualização, em forma de gráfico, na plataforma ThingSpeak e alarmes são disparados para smartphones de usuários cadastrados, por meio do aplicativo Telegram. The Internet of Things (IoT) can be defined as the connection between the physical and the digital world, that is, a global network between everyday, personal or industrial objects that have embedded technology capable of collecting, transmitting and make database-based decisions. The proposed work aims to develop and implement a low cost acquisition system, following industry trends 4.0, which is inserting IoT in industrial environments. Using ESP32 microcontrollers from Espressif Systems to monitor overcurrent, overvoltage and high temperature of the three-phase induction motor. Electrical quantities are acquired by the Voltage and Current Signal Acquisition and Conditioning Module. The temperature is supervised by an internal engine temperature sensor. This data is read, processed and transmitted by two ESP32, and by applying IoT technology the overcurrent, overvoltage and high temperature values are clouded. Data is made available for viewing in graph form on the ThingSpeak platform and alarms are triggered for registered users' smartphones via the Telegram application. Dissertação (Mestrado)