Search

LLMs or Large Language Models are the machine learning models that are used to understand and generate human type languages, and also they have proven outstanding performance on a variety of natural language processing tasks, such as sentiment analysis, text generation, text completion, question-answering, language translations, etc. LLMs models are based on neural networks, and it uses a technique of pre-training that is used to learn representations of language, that can be further fine-tuned for specific tasks. Language models like GPT have been incredibly successful at natural language processing tasks but come with high computational demands, making their deployment on resource-constrained devices challenging.  There are many ways through which the computational resources consumed by these models during inference can be optimized. The first approach is the optimization of the model architecture, where the architecture is modified in such a way that will reduce the number of parameters, and all the computations required for the inference. The next technique is called quantization, where the weights of the models are represented with fewer bits to reduce the computation requirements and memory footprints. There is one more way called pruning through which redundant parameters can be removed, which also helps in reducing the computation and the model size. Knowledge Distillation is another way in which it trains a smaller, more compact model to mimic the behavior of the larger model, reducing the computational requirement, and maintaining the accuracy of the model. Approximation Technique, which is also known as tensor decomposition, or low-rank matrix factorization, helps in reducing the computational complexity of the model.&nbsp

Fully autonomous cars are on the horizon. Knightec wants to enable passengers of the future car to be more productive and entertained with a new web platform. With this platform, Knightec wants to explore different input methods one of which being a voice assistant. A key component in a voice assistant is Automatic Speech Recognition (ASR) and for this task, Knightec had planned to use the new Web Speech API. Their target platform (Oculus Quest 2) does not yet support the Web Speech API and a future implementation could be limited. This thesis conducts a comparative study to find alternatives for running ASR in a web application. The study aimed to compare browser-implemented ASR methods to server implemented methods with Web Speech API as a baseline. The study first conducted a document study to find methods for running ASR tasks inside a web application and then create requirements for method selection. With the requirements, two suitable implementations were found for a browser implementation of ASR. During the final implementation, one of these failed, leaving only one method implemented in the browser. Three ASR methods were chosen for the server implementation, following requirements also set by the document study. To compare the ASR methods a dataset was created with the help of Knightec. The dataset consists of 10 commands, utilizing the voices of six individual employees at Knightec including separate versions, one with and one without background noise for each voice totaling 120 recordings. The dataset was used as a benchmark for each implementation where Word Error Rate (WER) and response time were measured. Due to the structure of the Web Speech API, it was not possible to measure response time for this implementation. The result of the benchmark shows that Web Speech API consistently outperforms the other methods in terms of WER. The response times of the browser implementation could not keep up with the other methods implemented and is not in the range

Transformer models perform well on Natural Language Processing and Natural Language Understanding tasks. Training and fine-tuning of these models consume a large amount of data and computing resources. Fast inference also requires high-end hardware for user-facing products. While distillation, quantization, and head-pruning for transformer models are well- explored domains in academia, the practical application is not straightforward. Currently, for good accuracy of the optimized models, it is necessary to fine-tune them for a particular task. This makes the generalization of the model difficult. If the same model has to be used for multiple downstream tasks, then it would require applying the process of optimization with fine-tuning for each task. This thesis explores the techniques of quantization and pruning for optimization of the Language-Agnostic BERT Sentence Embedding (LaBSE) model without fine-tuning for a downstream task. This should enable the model to be generalized enough for any downstream task. The techniques explored in this thesis are dynamic quantization, static quantization, quantize-aware training quantization, and head-pruning. The downstream performance is evaluated using sentiment classification, intent classification, and language-agnostic classification tasks. The results show that LaBSE can be accelerated on the CPU to 2.6x its original inference time without any loss of accuracy. Head-pruning 50% of the heads from each layer leads to 1.2x speedup while removing all heads but one leads to 1.32x speedup. A speedup of almost 9x is achieved by combining quantization with head-pruning with average 8% drop in accuracy on downstream evaluation tasks., Transformer-modeller ger bra resultat i uppgifter som rör behandling av och förståelse för naturligt språk. Träning och finjustering av dessa modeller kräver dock en stor mängd data och datorresurser. Snabb inferensförmåga kräver också högkvalitativ hårdvara för användarvänliga produkter och tjänster. Även om destillering, kvantisering och head-pruning för transformer-modeller är väl utforskade områden inom den akademiska världen är den praktiska tillämpningen inte okomplicerad. För närvarande är det nödvändigt att finjustera de optimerade modellerna för en viss uppgift för att uppnå god noggrannhet där. Detta gör det svårt att generalisera modellerna. Om samma modell skall användas för flera uppgifter i sekvens så måste man tillämpa optimeringsprocessen med finjustering för varje uppgift. I den här uppsatsen undersöks tekniker för kvantisering och prunering för optimering av LaBSE- modellen (Language-Agnostic BERT Sentence Embedding) utan finjustering för en downstream-uppgift. Detta bör göra det möjligt att generalisera modellen tillräckligt mycket för alla efterföljande uppgifter. De tekniker som undersöks är dynamisk kvantisering, statisk kvantisering, samt kvantisering för träning och head-pruning. Prestandan i efterföljande led utvärderas med hjälp av klassificering av känslor, avsiktsklassificering och språkagnostiska klassificeringsuppgifter. Resultaten visar att LaBSE kan öka effektiviteten hos CPU:n till 2,6 gånger sin ursprungliga inferenstid utan någon förlust av noggrannhet. Om 50% av huvudena från varje lager tas bort leder det till 1,2 gånger snabbare hastighet, medan det leder till 1,32 gånger snabbare hastighet om alla huvuden utom ett tas bort. Genom att kombinera kvantisering med head-pruning uppnås en ökning av hastigheten med nästan 9x, med en genomsnittlig minskning av noggrannheten med 8% i utvärderingsuppgifter nedströms.

Exercising the body is a fundamental part of health. There are many re-sources freely available, such as audio-visual content on the internet, simplynature itself or outdoor gym structures in public parks. Using these resources,it has been proposed to implement a mobile application to encourage physicalactivity, using augmented reality to engage the user, providing a di?erent andmotivating experience that encourages them to explore and try new forms ofexercise. This thesis starts with the implementation of a mobile applicationthat detects and tracks outdoor gym structures, training neural networks tosegment and obtain the pose of the structures and project exercise sugges-tions using augmented reality. However, during the project we discover theunfeasibility of such an objective due to the fact that the platform used todevelop the project, Unity, is still in the process of evolving with respect todeep learning technologies.In these circumstances, this thesis documents the di?erent steps that havebeen taken, analyses the unfeasibility of the project and proposes a study toimprove the pose estimator., Ejercitar el cuerpo es una parte fundamental de la salud. Hay varios recursos gratuitos disponibles, como contenido audiovisual en internet, la naturaleza misma o estructuras de gimnasios exteriores en parques públicos. Utilizando estos recursos, se ha propuesto implementar una aplicación móvil que anima a cumplir actividad física, utilizando realidad aumentada para atraer al usuario, proporcionando una diferente y motivadora experiencia que anima a explorar y probar nuevas formas de ejercicio. Esta tesis comienza con una implementación de aplicación móvil que detecta y rastrea estructuras exteriores de gimnasios, entrena redes neuronales para segmentar y obtener la posición de las estructuras y proyectar sugerencias de ejercicios utilizando realidad aumentada. Aun así, durante el proyecto se ha descubierto que el objetivo es inviable, ya que la plataforma utilizada para desarrollar el proyecto, Unity, está aún en proceso de evolucionar respecto tecnologías de aprendizaje profundo. En estas circunstancias, la tesis documenta los diferentes pasos que se han hecho, analiza la inviabilidad del proyecto y propone un estudio para mejorar el pose estimator., Exercitar el cos és una part fonamental de la salut. Hi ha diversos recursos gratuïts disponibles, com contingut audiovisual a internet, la natura mateixa o estructures de gimnasos exteriors en parcs públics. Utilitzant aquests recursos, s'ha proposat implementar una aplicació mòbil que anima a acomplir activitat física, utilitzant realitat augmentada per atraure a l'usuari, proporcionant una diferent i motivadora experiència que anima a explorar i provar noves formes d'exercici. Aquesta tesi comença amb una implementació d'aplicació mòbil que detecta i rastreja estructures exteriors de gimnasos, entrena xarxes neuronals per segmentar i obtenir la posició de les estructures i projectar suggeriments d'exercicis utilitzant realitat augmentada. Així i tot, durant el projecte s'ha descobert que l'objectiu és inviable, ja que la plataforma utilitzada per desenvolupar el projecte, Unity, està encara en procés d'evolucionar respecte tecnologies d'aprenentatge profund. En aquestes circumstàncies, la tesi documenta els diferents passos que s'han fet, analitza la inviabilitat del projecte i proposa un estudi per millorar el pose estimator.

Магістерська дисертація: 97 с., 33 рисунків, 22 табл., 29 джерел літератури, 2 додатки. Об’єкт дослідження: алгоритм автоматичного розпізнавання обличчя та розмиття. Предмет дослідження: розпізнавання обличчя на зображенні. Цілі дослідження: створення системи автоматичного розпізнавання обличчя та розмиття. Задачі роботи: розробити систему з використанням одного із сучасних методів розпізнавання обличчя, яка б могла в реальному часі у відео потоці розпізнавати обличчя людей та автоматично замилювати їх. Під час виконання роботи було проведено аналіз сучасних методів розпізнавання обличчя, був обраний метод з використанням нейронної мережі, а саме попередньо навчена модель FaceNet, як найбільш точна та швидка модель. Для роботи з потоковим відео було обрано бібліотеку OpenCV як найбільш гнучку та швидку бібліотеку для комп’ютерного зору. Була розроблена система для розпізнавання та розмиття облич у відео потоці, що виконує поставлену задачу. Актуальність проекту мотивується відсутністю аналогічних рішень і потенційною зацікавленістю з боку бізнесу. Результати роботи можуть бути використані як комерційними організаціями, так і ентузіастами, що прагнуть розробити щось подібне., Master's thesis: 97 p., 33 fig., 22 tabl., 29 ref., 2 appendixes. Object of research: an algorithm for automatic face recognition and blur. Subject of study: face recognition in the image. Objectives of the study: creation of an automatic face recognition and saponification system. Tasks of the work: to develop a system using one of the modern methods of face recognition that could recognize the faces of people in real time in the video stream and automatically blur them. During the work, the analysis of modern methods of face recognition was performed, the method was chosen using the neural network, namely the previously trained FaceNet model, as the most accurate and fastest model. OpenCV was selected as the most flexible and fastest computer vision library for streaming video. A system has been developed for recognizing and blurring faces in a video stream that accomplishes the task. The urgency of the project is motivated by the lack of similar solutions and potential interest from the business. The results of the work can be used by both commercial organizations and enthusiasts seeking to develop something similar.

Nástroje pre strojové učenie používajú rôzne formáty pre reprezentáciu a uloženie modelov hlbokých neurónových sietí. Jedným z najpoužívanejších je formát Open Neural Network Exchange (ONNX). Vývoj softwarovej podpory pre hardwarové akcelerátory na vstavaných systémoch je drahý, a ONNX je len výnimočne podporovaný. Potrebné ovládače sú typicky implementované iba pre formát TensorFlow Lite (TFLite). Aktuálne možnosti pre konverziu netrénovaných ONNX modelov na TFLite sú nedostatočné, a produkujú neoptimálne modely. Táto práca sa zameriava na návrh a vývoj priameho konvertoru ONNX modelov na TFLite, ktorý produkuje čo najoptimálnejšie modely. Výsledný program bol v spolupráci so spoločnosťou NXP overený na reálnych modeloch. Tie po konverzii produkujú identické výstupy a rýchlosť ich inferencie na cieľových platformách je značne vyššia., Machine learning frameworks use various formats to represent and store models of deep neural networks (DNN). One of the most commonly used ones is Open Neural Network Exchange (ONNX). Developing drivers for hardware accelerators on embedded systems is expensive, and ONNX is rarely supported. The necessary software support is typically only implemented for the TensorFlow Lite (TFLite) DNN model format. Currently, the options for conversion of pre-trained ONNX models to TFLite are inadequate and produce suboptimal models. This work focuses on designing and developing a direct converter of ONNX models to TFLite, which produces as optimal models as possible. The resulting program was verified on real models in collaboration with the NXP company. The models produce identical outputs after conversion and their inference speed on target platforms is significantly higher.

Nástroje pre strojové učenie používajú rôzne formáty pre reprezentáciu a uloženie modelov hlbokých neurónových sietí. Jedným z najpoužívanejších je formát Open Neural Network Exchange (ONNX). Vývoj softwarovej podpory pre hardwarové akcelerátory na vstavaných systémoch je drahý, a ONNX je len výnimočne podporovaný. Potrebné ovládače sú typicky implementované iba pre formát TensorFlow Lite (TFLite). Aktuálne možnosti pre konverziu netrénovaných ONNX modelov na TFLite sú nedostatočné, a produkujú neoptimálne modely. Táto práca sa zameriava na návrh a vývoj priameho konvertoru ONNX modelov na TFLite, ktorý produkuje čo najoptimálnejšie modely. Výsledný program bol v spolupráci so spoločnosťou NXP overený na reálnych modeloch. Tie po konverzii produkujú identické výstupy a rýchlosť ich inferencie na cieľových platformách je značne vyššia., Machine learning frameworks use various formats to represent and store models of deep neural networks (DNN). One of the most commonly used ones is Open Neural Network Exchange (ONNX). Developing drivers for hardware accelerators on embedded systems is expensive, and ONNX is rarely supported. The necessary software support is typically only implemented for the TensorFlow Lite (TFLite) DNN model format. Currently, the options for conversion of pre-trained ONNX models to TFLite are inadequate and produce suboptimal models. This work focuses on designing and developing a direct converter of ONNX models to TFLite, which produces as optimal models as possible. The resulting program was verified on real models in collaboration with the NXP company. The models produce identical outputs after conversion and their inference speed on target platforms is significantly higher.

Tato bakalářská práce je zaměřena na detekci vozidel v obraze. V práci je rozebrána metoda detekce vozidel pomocí konvolučních neuronových sítí, jejich struktury a modely. Všechny skripty byly realizovány v programovacím jazyce Python s rozhraním Tensorflow Object Detection API. První část bakalářské práce jsem věnoval strukturám populárních neuronových sítí a modelům detekčních neuronových sítí. Další kapitola se zabývá nejznámějšími frameworky, které se používají pro strojové učení. Byly vybrány tři modely neuronové sítě, jež byly natrénovány na datasetu COD20K. Výsledkem jsou statistické údaje, které pojednávají o efektivitě a výkonu jednotlivých modelů na natrénovaném datasetu a porovnání výkonu bez zobrazení videa na zařízeních Nvidia RTX 2060, kdy výkon dosažený sítí SDD MobileNet V2 byl 300FPS a Nvidia Tegra TX2 8GB, jehož výkon dosahoval téměř 44FPS., This bachelor thesis is focused on vehicle detection. The thesis deals with the method of vehicle detection using convolutional neural networks, their structures and models. All scripts were implemented using python programming language with Tensorflow Object Detection API interface. The first part of this thesis was devote to the structures of popular neural networks and models of detection neural networks. The next chapter deals with the most famous frameworks that are used for machine learning. Three neural network models were selected and trained on the COD20K dataset. The result of this thesis is statistics that discuss the efficiency and performance of each model on trained dataset and compare performance without displaying video on Nvidia RTX 2060, where the performace archieved by SSD MobileNet V2 network was 300FPS and Nvidia Tegra TX2 8GB, whose performace reached almost 44FPS.

Tato bakalářská práce je zaměřena na detekci vozidel v obraze. V práci je rozebrána metoda detekce vozidel pomocí konvolučních neuronových sítí, jejich struktury a modely. Všechny skripty byly realizovány v programovacím jazyce Python s rozhraním Tensorflow Object Detection API. První část bakalářské práce jsem věnoval strukturám populárních neuronových sítí a modelům detekčních neuronových sítí. Další kapitola se zabývá nejznámějšími frameworky, které se používají pro strojové učení. Byly vybrány tři modely neuronové sítě, jež byly natrénovány na datasetu COD20K. Výsledkem jsou statistické údaje, které pojednávají o efektivitě a výkonu jednotlivých modelů na natrénovaném datasetu a porovnání výkonu bez zobrazení videa na zařízeních Nvidia RTX 2060, kdy výkon dosažený sítí SDD MobileNet V2 byl 300FPS a Nvidia Tegra TX2 8GB, jehož výkon dosahoval téměř 44FPS., This bachelor thesis is focused on vehicle detection. The thesis deals with the method of vehicle detection using convolutional neural networks, their structures and models. All scripts were implemented using python programming language with Tensorflow Object Detection API interface. The first part of this thesis was devote to the structures of popular neural networks and models of detection neural networks. The next chapter deals with the most famous frameworks that are used for machine learning. Three neural network models were selected and trained on the COD20K dataset. The result of this thesis is statistics that discuss the efficiency and performance of each model on trained dataset and compare performance without displaying video on Nvidia RTX 2060, where the performace archieved by SSD MobileNet V2 network was 300FPS and Nvidia Tegra TX2 8GB, whose performace reached almost 44FPS.

Tato bakalářská práce je zaměřena na detekci vozidel v obraze. V práci je rozebrána metoda detekce vozidel pomocí konvolučních neuronových sítí, jejich struktury a modely. Všechny skripty byly realizovány v programovacím jazyce Python s rozhraním Tensorflow Object Detection API. První část bakalářské práce jsem věnoval strukturám populárních neuronových sítí a modelům detekčních neuronových sítí. Další kapitola se zabývá nejznámějšími frameworky, které se používají pro strojové učení. Byly vybrány tři modely neuronové sítě, jež byly natrénovány na datasetu COD20K. Výsledkem jsou statistické údaje, které pojednávají o efektivitě a výkonu jednotlivých modelů na natrénovaném datasetu a porovnání výkonu bez zobrazení videa na zařízeních Nvidia RTX 2060, kdy výkon dosažený sítí SDD MobileNet V2 byl 300FPS a Nvidia Tegra TX2 8GB, jehož výkon dosahoval téměř 44FPS., This bachelor thesis is focused on vehicle detection. The thesis deals with the method of vehicle detection using convolutional neural networks, their structures and models. All scripts were implemented using python programming language with Tensorflow Object Detection API interface. The first part of this thesis was devote to the structures of popular neural networks and models of detection neural networks. The next chapter deals with the most famous frameworks that are used for machine learning. Three neural network models were selected and trained on the COD20K dataset. The result of this thesis is statistics that discuss the efficiency and performance of each model on trained dataset and compare performance without displaying video on Nvidia RTX 2060, where the performace archieved by SSD MobileNet V2 network was 300FPS and Nvidia Tegra TX2 8GB, whose performace reached almost 44FPS.

Nástroje pre strojové učenie používajú rôzne formáty pre reprezentáciu a uloženie modelov hlbokých neurónových sietí. Jedným z najpoužívanejších je formát Open Neural Network Exchange (ONNX). Vývoj softwarovej podpory pre hardwarové akcelerátory na vstavaných systémoch je drahý, a ONNX je len výnimočne podporovaný. Potrebné ovládače sú typicky implementované iba pre formát TensorFlow Lite (TFLite). Aktuálne možnosti pre konverziu netrénovaných ONNX modelov na TFLite sú nedostatočné, a produkujú neoptimálne modely. Táto práca sa zameriava na návrh a vývoj priameho konvertoru ONNX modelov na TFLite, ktorý produkuje čo najoptimálnejšie modely. Výsledný program bol v spolupráci so spoločnosťou NXP overený na reálnych modeloch. Tie po konverzii produkujú identické výstupy a rýchlosť ich inferencie na cieľových platformách je značne vyššia., Machine learning frameworks use various formats to represent and store models of deep neural networks (DNN). One of the most commonly used ones is Open Neural Network Exchange (ONNX). Developing drivers for hardware accelerators on embedded systems is expensive, and ONNX is rarely supported. The necessary software support is typically only implemented for the TensorFlow Lite (TFLite) DNN model format. Currently, the options for conversion of pre-trained ONNX models to TFLite are inadequate and produce suboptimal models. This work focuses on designing and developing a direct converter of ONNX models to TFLite, which produces as optimal models as possible. The resulting program was verified on real models in collaboration with the NXP company. The models produce identical outputs after conversion and their inference speed on target platforms is significantly higher.

Nástroje pre strojové učenie používajú rôzne formáty pre reprezentáciu a uloženie modelov hlbokých neurónových sietí. Jedným z najpoužívanejších je formát Open Neural Network Exchange (ONNX). Vývoj softwarovej podpory pre hardwarové akcelerátory na vstavaných systémoch je drahý, a ONNX je len výnimočne podporovaný. Potrebné ovládače sú typicky implementované iba pre formát TensorFlow Lite (TFLite). Aktuálne možnosti pre konverziu netrénovaných ONNX modelov na TFLite sú nedostatočné, a produkujú neoptimálne modely. Táto práca sa zameriava na návrh a vývoj priameho konvertoru ONNX modelov na TFLite, ktorý produkuje čo najoptimálnejšie modely. Výsledný program bol v spolupráci so spoločnosťou NXP overený na reálnych modeloch. Tie po konverzii produkujú identické výstupy a rýchlosť ich inferencie na cieľových platformách je značne vyššia., Machine learning frameworks use various formats to represent and store models of deep neural networks (DNN). One of the most commonly used ones is Open Neural Network Exchange (ONNX). Developing drivers for hardware accelerators on embedded systems is expensive, and ONNX is rarely supported. The necessary software support is typically only implemented for the TensorFlow Lite (TFLite) DNN model format. Currently, the options for conversion of pre-trained ONNX models to TFLite are inadequate and produce suboptimal models. This work focuses on designing and developing a direct converter of ONNX models to TFLite, which produces as optimal models as possible. The resulting program was verified on real models in collaboration with the NXP company. The models produce identical outputs after conversion and their inference speed on target platforms is significantly higher.

Nástroje pre strojové učenie používajú rôzne formáty pre reprezentáciu a uloženie modelov hlbokých neurónových sietí. Jedným z najpoužívanejších je formát Open Neural Network Exchange (ONNX). Vývoj softwarovej podpory pre hardwarové akcelerátory na vstavaných systémoch je drahý, a ONNX je len výnimočne podporovaný. Potrebné ovládače sú typicky implementované iba pre formát TensorFlow Lite (TFLite). Aktuálne možnosti pre konverziu netrénovaných ONNX modelov na TFLite sú nedostatočné, a produkujú neoptimálne modely. Táto práca sa zameriava na návrh a vývoj priameho konvertoru ONNX modelov na TFLite, ktorý produkuje čo najoptimálnejšie modely. Výsledný program bol v spolupráci so spoločnosťou NXP overený na reálnych modeloch. Tie po konverzii produkujú identické výstupy a rýchlosť ich inferencie na cieľových platformách je značne vyššia., Machine learning frameworks use various formats to represent and store models of deep neural networks (DNN). One of the most commonly used ones is Open Neural Network Exchange (ONNX). Developing drivers for hardware accelerators on embedded systems is expensive, and ONNX is rarely supported. The necessary software support is typically only implemented for the TensorFlow Lite (TFLite) DNN model format. Currently, the options for conversion of pre-trained ONNX models to TFLite are inadequate and produce suboptimal models. This work focuses on designing and developing a direct converter of ONNX models to TFLite, which produces as optimal models as possible. The resulting program was verified on real models in collaboration with the NXP company. The models produce identical outputs after conversion and their inference speed on target platforms is significantly higher.

Tato bakalářská práce je zaměřena na detekci vozidel v obraze. V práci je rozebrána metoda detekce vozidel pomocí konvolučních neuronových sítí, jejich struktury a modely. Všechny skripty byly realizovány v programovacím jazyce Python s rozhraním Tensorflow Object Detection API. První část bakalářské práce jsem věnoval strukturám populárních neuronových sítí a modelům detekčních neuronových sítí. Další kapitola se zabývá nejznámějšími frameworky, které se používají pro strojové učení. Byly vybrány tři modely neuronové sítě, jež byly natrénovány na datasetu COD20K. Výsledkem jsou statistické údaje, které pojednávají o efektivitě a výkonu jednotlivých modelů na natrénovaném datasetu a porovnání výkonu bez zobrazení videa na zařízeních Nvidia RTX 2060, kdy výkon dosažený sítí SDD MobileNet V2 byl 300FPS a Nvidia Tegra TX2 8GB, jehož výkon dosahoval téměř 44FPS., This bachelor thesis is focused on vehicle detection. The thesis deals with the method of vehicle detection using convolutional neural networks, their structures and models. All scripts were implemented using python programming language with Tensorflow Object Detection API interface. The first part of this thesis was devote to the structures of popular neural networks and models of detection neural networks. The next chapter deals with the most famous frameworks that are used for machine learning. Three neural network models were selected and trained on the COD20K dataset. The result of this thesis is statistics that discuss the efficiency and performance of each model on trained dataset and compare performance without displaying video on Nvidia RTX 2060, where the performace archieved by SSD MobileNet V2 network was 300FPS and Nvidia Tegra TX2 8GB, whose performace reached almost 44FPS.

Tato bakalářská práce je zaměřena na detekci vozidel v obraze. V práci je rozebrána metoda detekce vozidel pomocí konvolučních neuronových sítí, jejich struktury a modely. Všechny skripty byly realizovány v programovacím jazyce Python s rozhraním Tensorflow Object Detection API. První část bakalářské práce jsem věnoval strukturám populárních neuronových sítí a modelům detekčních neuronových sítí. Další kapitola se zabývá nejznámějšími frameworky, které se používají pro strojové učení. Byly vybrány tři modely neuronové sítě, jež byly natrénovány na datasetu COD20K. Výsledkem jsou statistické údaje, které pojednávají o efektivitě a výkonu jednotlivých modelů na natrénovaném datasetu a porovnání výkonu bez zobrazení videa na zařízeních Nvidia RTX 2060, kdy výkon dosažený sítí SDD MobileNet V2 byl 300FPS a Nvidia Tegra TX2 8GB, jehož výkon dosahoval téměř 44FPS., This bachelor thesis is focused on vehicle detection. The thesis deals with the method of vehicle detection using convolutional neural networks, their structures and models. All scripts were implemented using python programming language with Tensorflow Object Detection API interface. The first part of this thesis was devote to the structures of popular neural networks and models of detection neural networks. The next chapter deals with the most famous frameworks that are used for machine learning. Three neural network models were selected and trained on the COD20K dataset. The result of this thesis is statistics that discuss the efficiency and performance of each model on trained dataset and compare performance without displaying video on Nvidia RTX 2060, where the performace archieved by SSD MobileNet V2 network was 300FPS and Nvidia Tegra TX2 8GB, whose performace reached almost 44FPS.

Nástroje pre strojové učenie používajú rôzne formáty pre reprezentáciu a uloženie modelov hlbokých neurónových sietí. Jedným z najpoužívanejších je formát Open Neural Network Exchange (ONNX). Vývoj softwarovej podpory pre hardwarové akcelerátory na vstavaných systémoch je drahý, a ONNX je len výnimočne podporovaný. Potrebné ovládače sú typicky implementované iba pre formát TensorFlow Lite (TFLite). Aktuálne možnosti pre konverziu netrénovaných ONNX modelov na TFLite sú nedostatočné, a produkujú neoptimálne modely. Táto práca sa zameriava na návrh a vývoj priameho konvertoru ONNX modelov na TFLite, ktorý produkuje čo najoptimálnejšie modely. Výsledný program bol v spolupráci so spoločnosťou NXP overený na reálnych modeloch. Tie po konverzii produkujú identické výstupy a rýchlosť ich inferencie na cieľových platformách je značne vyššia., Machine learning frameworks use various formats to represent and store models of deep neural networks (DNN). One of the most commonly used ones is Open Neural Network Exchange (ONNX). Developing drivers for hardware accelerators on embedded systems is expensive, and ONNX is rarely supported. The necessary software support is typically only implemented for the TensorFlow Lite (TFLite) DNN model format. Currently, the options for conversion of pre-trained ONNX models to TFLite are inadequate and produce suboptimal models. This work focuses on designing and developing a direct converter of ONNX models to TFLite, which produces as optimal models as possible. The resulting program was verified on real models in collaboration with the NXP company. The models produce identical outputs after conversion and their inference speed on target platforms is significantly higher.