Search

Выполнен анализ сверточной нейросетевой модели. Разработано программное обеспечение, позволяющее обучать и тестировать сверточные нейронные сети базовой архитектуры LeNet-5. Показана эффективность методики дообучения и искажения тренировочных образов. Построен классификатор изображений изолированных цифр. Произведена оценка устойчивости его характеристик на примерах известных рукописных и шрифтовых баз данных.

Исследованы сверточные нейронные сети (СНС) архитектуры LeNet-5 в распознавании образов рукописных цифр. Показана перспективность комитета СНС как средства интеграции их знаний и повышения точности. Подтверждено, что разнообразие и селекция членов – важные факторы эффективности комитета. Создан классификатор, имеющий уникальную точность распознавания тестового MNIST – 99.64%.

Diplomová práce se zabývá hlubokými neuronovými sítěmi, zejména pak metodami z oblasti hlubokého učení, jež slouží k inicializaci vah a samotnému učení hlubokých neuronových sítí. Dále popisuje základní teorii klasických neuronových sítí, která je důležitá pro pochopení této problematiky. Cílem této práce je experimentováním s vytvořenou aplikací realizující hluboké neuronové sítě na různě obtížných úlohách rozpoznávání obrazu zjistit optimální nastavení volitelných parametrů algoritmů. Dále pak zhodnotit výsledky a poznatky získané při experimentování s klasickou a hlubokou neuronovou sítí., The thesis addresses the topic of Deep Neural Networks, in particular the methods regar- ding the field of Deep Learning, which is used to initialize the weight and learning process s itself within Deep Neural Networks. The focus is also put to the basic theory of the classical Neural Networks, which is important to comprehensive understanding of the issue. The aim of this work is to determine the optimal set of optional parameters of the algori- thms on various complexity levels of image recognition tasks through experimenting with created application applying Deep Neural Networks. Furthermore, evaluation and analysis of the results and lessons learned from the experimentation with classical and Deep Neural Networks are integrated in the thesis.

Diplomová práce se zabývá hlubokými neuronovými sítěmi, zejména pak metodami z oblasti hlubokého učení, jež slouží k inicializaci vah a samotnému učení hlubokých neuronových sítí. Dále popisuje základní teorii klasických neuronových sítí, která je důležitá pro pochopení této problematiky. Cílem této práce je experimentováním s vytvořenou aplikací realizující hluboké neuronové sítě na různě obtížných úlohách rozpoznávání obrazu zjistit optimální nastavení volitelných parametrů algoritmů. Dále pak zhodnotit výsledky a poznatky získané při experimentování s klasickou a hlubokou neuronovou sítí., The thesis addresses the topic of Deep Neural Networks, in particular the methods regar- ding the field of Deep Learning, which is used to initialize the weight and learning process s itself within Deep Neural Networks. The focus is also put to the basic theory of the classical Neural Networks, which is important to comprehensive understanding of the issue. The aim of this work is to determine the optimal set of optional parameters of the algori- thms on various complexity levels of image recognition tasks through experimenting with created application applying Deep Neural Networks. Furthermore, evaluation and analysis of the results and lessons learned from the experimentation with classical and Deep Neural Networks are integrated in the thesis.

Rozpoznávání ručně psaných číslic je součástí oboru počítačovho vidění a také problematikou, se kterou se v dnešní době nelze vypořádat na 100 %. Tato práce popisuje metodu rozpoznávání ručně psaných číslic založenou na charakteristických rysech a rozhodovacích stromech. Metody takto založené jsou známé jejich dlouhou dobou strojového učení a vysokou rychlostí při vyhodnocování. Tato metoda užívá relativních úhlů mezi charakteristickými oblastmi, což jí umožňuje jistou míru volnosti při porovnávání podobných vzorků a také schopnost odolávat vůči nelineárním deformacím písma., Recognition of handwritten digits is one of computer vision problematics that can not be solved with 100 % success these days. This document describes a method for handwritten digits recognizing based on shape features and randomized tree classifiers. These methods are known for their long time machine learning and quick characters recognizing. This method is due to use of relative angles among key locations and is nearly invariant to substantial affine and nonlinear deformations.

Rozpoznávání ručně psaných číslic je součástí oboru počítačovho vidění a také problematikou, se kterou se v dnešní době nelze vypořádat na 100 %. Tato práce popisuje metodu rozpoznávání ručně psaných číslic založenou na charakteristických rysech a rozhodovacích stromech. Metody takto založené jsou známé jejich dlouhou dobou strojového učení a vysokou rychlostí při vyhodnocování. Tato metoda užívá relativních úhlů mezi charakteristickými oblastmi, což jí umožňuje jistou míru volnosti při porovnávání podobných vzorků a také schopnost odolávat vůči nelineárním deformacím písma., Recognition of handwritten digits is one of computer vision problematics that can not be solved with 100 % success these days. This document describes a method for handwritten digits recognizing based on shape features and randomized tree classifiers. These methods are known for their long time machine learning and quick characters recognizing. This method is due to use of relative angles among key locations and is nearly invariant to substantial affine and nonlinear deformations.

Cílem této práce je první navrhnout a implementovat aplikaci pro vestavěné systémy rea-lizující konvoluční neuronovou síť jenž klasifikuje čísla MNIST, ve druhé části pak optima-lizovat paměťové a energetické nároky této sítě. Práce v teoretické části popisuje základyneuronových sítí a výpočetní platformy Cortex-M pro vestavěné systémy. Následuje popisimplementace, síť je první vytvořena a naučena pomocí knihovny Theano v Pythonu naPC a poté je převedena do C pro vývojovou desku STM32F429 Discovery, kde je následnéoptimalizována. Optimalizace je zaměřena na konvoluci, skalární součin a formát uloženívah a biasů sítě., The goal of this thesis is to firstly design and implement an application for embeddedsystems which will classify MNIST numbers and secondly optimize energy and memoryrequirements of this network. The basics of neural networks, Cortex-M processor cores andembedded devices are described in the theoretical part. Followed by implementation details.Networks learning is done with Python and Theano library on a PC. The network is thenconverted to C for a board STM32F429 Discovery. Last part consist of network optimization,which focuses on convolution, dot product and number representation of weights and biasesof the network.

Cílem této práce je genetický návrh neuronových sítí, jenž budou schopné provádět klasifikaci v rámci různých klasifikačních úloh. K vytváření těchto neuronových sítí je použit algoritmus vycházející z algoritmu NeuroEvolution of Augmenting Topologies (zkráceně známého jako NEAT). Dále je představena myšlenka předzpracování, která je v implementovaném výsledku rovněž zahrnuta. Cílem předzpracování je snížení výpočetních nároků pro zpracování datové sady daného klasifikačního problému. Výsledkem této práce je množina experimentů provedených nad datovou sadou pro detekci rakovinných buněk a databází ručně psaných číslic MNIST. Klasifikátory vytvořené pro rakovinné buňky pak dosahují více jak 99% přesnosti a u experimentu MNIST dochází ke snížení výpočetních nároků o více jak 10% se zanesením zanedbatelné chyby o velikosti 0,17%., The aim of this work is the genetic design of neural networks, which are able to classify within various classification tasks. In order to create these neural networks, algorithm called NeuroEvolution of Augmenting Topologies (also known as NEAT) is used. Also the idea of preprocessing, which is included in implemented result, is proposed. The goal of preprocessing is to reduce the computational requirements for processing of benchmark datasets for classification accuracy. The result of this work is a set of experiments conducted over a data set for cancer cells detection and a database of handwritten digits MNIST. Classifiers generated for the cancer cells exhibits over 99 % accuracy and in experiment MNIST reduces computational requirements more than 10 % with bringing negligible error of size 0.17 %.

Práce se na teoretické úrovni zabývá evolučními algoritmy (EA), neuronovými sítěmi (NN) a jejich syntézou v podobě neuroevoluce. Z praktického hlediska je cílem práce ukázat uplatnění neuroevoluce na dvou odlišných úlohách. První úloha spočívá v evolučním návrhu architektury konvoluční neuronové sítě (CNN), která by dokázala klasifikovat s vysokou přesností ručně psané číslice (z datasetu MNIST). Druhá úloha spočívá v evoluční optimalizaci vah neurokontroléru, který řídí přistání 1. stupně rakety Falcon 9 ve 2D simulaci. Obě úlohy jsou výpočetně velmi náročné a proto byly řešeny na superpočítači. V rámci první úlohy se podařilo navrhnout takové architektury, které při správném natrénování dosahují přesnosti klasifikace 99,49%. Ukázalo se tak, že je možné návrh kvalitních architektur zautomatizovat s využitím neuroevoluce. V rámci druhé úlohy se podařilo optimalizovat váhy neurokontroléru tak, že pro definované počáteční podmínky dovede neurokontrolér model rakety k úspěšnému přistání. V obou úlohách tedy neuroevoluce uspěla., The theoretical part of this work deals with evolutionary algorithms (EA), neural networks (NN) and their synthesis in the form of neuroevolution. From a practical point of view, the aim of the work is to show the application of neuroevolution on two different tasks. The first task is the evolutionary design of the convolutional neural network (CNN) architecture that would be able to classify handwritten digits (from the MNIST dataset) with a high accurancy. The second task is the evolutionary optimization of neurocontroller for a simulated Falcon 9 rocket landing. Both tasks are computationally demanding and therefore have been solved on a supercomputer. As a part of the first task, it was possible to design such architectures which, when properly trained, achieve an accuracy of 99.49%. It turned out that it is possible to automate the design of high-quality architectures with the use of neuroevolution. Within the second task, the neuro-controller weights have been optimized so that, for defined initial conditions, the model of the Falcon booster can successfully land. Neuroevolution succeeded in both tasks.

Rozpoznávání ručně psaných číslic je problém, který se dá použít jako modelová úloha pro vícetřídní rozpoznávání vzorů v obraze. Tato práce zkoumá různé druhy algoritmů (Samo-organizující se mapy, Stromové klasifikátory a AdaBoost) a metody pro zvyšování úspěšnosti klasifikace pomocí fúze (většinové rozhodování, průměrování logaritmických pravděpodobnostních hodnot, lineární logistická regrese). Metody fúze byly využité na kombinaci klasifikátorů s identickými parametry trénování, s rozdílnými trénovacími metodami a s podvzorkovaným vstupním vzorem., Recognition of handwritten digits is a problem, which could serve as model task for multiclass recognition of image patterns. This thesis studies different kinds of algoritms (Self-Organizing Maps, Randomized tree and AdaBoost) and methods for increasing accuracy using fusion (majority voting, averaging log likelihood ratio, linear logistic regression). Fusion methods were used for combine classifiers with indentical train parameters, with different training methods and with multiscale input.

Predmetom tejto diplomovej práce je akcelerácia neurónových sietí s cieľom redukcie počtu operácií násobenia reálnych čísiel. Teoretická časť tejto práce sleduje súčasné trendy a metódy využívané v oblasti akcelerácie neurónových sietí. Najväčší dôraz je kladený na binarizačné techniky, ktoré umožňujú nahradiť násobenia logickými operátormi. Teoretický základ je zavedený do praxe hneď dvomi spôsobmi. Prvým z nich je implementácia kritických binárnych operátorov spustiteľných na GPU vo frameworku TensorFlow a ich rýchlostný benchmark. Druhým je aplikácia týchto operátorov v jednoduchom klasifikátore obrázkov. Výsledky sú rozhodne povzbudivé. Implementované operátory dosiahli 2,5-násobné zrýchlenie v porovnaní s vysoko optimalizovanými cuBLAS operátormi. Posledná kapitola práce sleduje úspešnosť dosiahnutú binarizačnými modelmi., The subject of this thesis is neural network acceleration with the goal of reducing the number of floating point multiplications. The theoretical part of the thesis surveys current trends and methods used in the field of neural network acceleration. However, the focus is on the binarization techniques which allow replacing multiplications with logical operators. The theoretical base is put into practice in two ways. First is the GPU implementation of crucial binary operators in the Tensorflow framework with a performance benchmark. Second is an application of these operators in simple image classifier. Results are certainly encouraging. Implemented operators achieve speed-up by a factor of 2.5 when compared to highly optimized cuBLAS operators. The last chapter compares accuracies achieved by binarized models and their full-precision counterparts on various architectures.

Predmetom tejto diplomovej práce je akcelerácia neurónových sietí s cieľom redukcie počtu operácií násobenia reálnych čísiel. Teoretická časť tejto práce sleduje súčasné trendy a metódy využívané v oblasti akcelerácie neurónových sietí. Najväčší dôraz je kladený na binarizačné techniky, ktoré umožňujú nahradiť násobenia logickými operátormi. Teoretický základ je zavedený do praxe hneď dvomi spôsobmi. Prvým z nich je implementácia kritických binárnych operátorov spustiteľných na GPU vo frameworku TensorFlow a ich rýchlostný benchmark. Druhým je aplikácia týchto operátorov v jednoduchom klasifikátore obrázkov. Výsledky sú rozhodne povzbudivé. Implementované operátory dosiahli 2,5-násobné zrýchlenie v porovnaní s vysoko optimalizovanými cuBLAS operátormi. Posledná kapitola práce sleduje úspešnosť dosiahnutú binarizačnými modelmi., The subject of this thesis is neural network acceleration with the goal of reducing the number of floating point multiplications. The theoretical part of the thesis surveys current trends and methods used in the field of neural network acceleration. However, the focus is on the binarization techniques which allow replacing multiplications with logical operators. The theoretical base is put into practice in two ways. First is the GPU implementation of crucial binary operators in the Tensorflow framework with a performance benchmark. Second is an application of these operators in simple image classifier. Results are certainly encouraging. Implemented operators achieve speed-up by a factor of 2.5 when compared to highly optimized cuBLAS operators. The last chapter compares accuracies achieved by binarized models and their full-precision counterparts on various architectures.

Rozpoznávání ručně psaných číslic je součástí oboru počítačovho vidění a také problematikou, se kterou se v dnešní době nelze vypořádat na 100 %. Tato práce popisuje metodu rozpoznávání ručně psaných číslic založenou na charakteristických rysech a rozhodovacích stromech. Metody takto založené jsou známé jejich dlouhou dobou strojového učení a vysokou rychlostí při vyhodnocování. Tato metoda užívá relativních úhlů mezi charakteristickými oblastmi, což jí umožňuje jistou míru volnosti při porovnávání podobných vzorků a také schopnost odolávat vůči nelineárním deformacím písma., Recognition of handwritten digits is one of computer vision problematics that can not be solved with 100 % success these days. This document describes a method for handwritten digits recognizing based on shape features and randomized tree classifiers. These methods are known for their long time machine learning and quick characters recognizing. This method is due to use of relative angles among key locations and is nearly invariant to substantial affine and nonlinear deformations.

Práce se na teoretické úrovni zabývá evolučními algoritmy (EA), neuronovými sítěmi (NN) a jejich syntézou v podobě neuroevoluce. Z praktického hlediska je cílem práce ukázat uplatnění neuroevoluce na dvou odlišných úlohách. První úloha spočívá v evolučním návrhu architektury konvoluční neuronové sítě (CNN), která by dokázala klasifikovat s vysokou přesností ručně psané číslice (z datasetu MNIST). Druhá úloha spočívá v evoluční optimalizaci vah neurokontroléru, který řídí přistání 1. stupně rakety Falcon 9 ve 2D simulaci. Obě úlohy jsou výpočetně velmi náročné a proto byly řešeny na superpočítači. V rámci první úlohy se podařilo navrhnout takové architektury, které při správném natrénování dosahují přesnosti klasifikace 99,49%. Ukázalo se tak, že je možné návrh kvalitních architektur zautomatizovat s využitím neuroevoluce. V rámci druhé úlohy se podařilo optimalizovat váhy neurokontroléru tak, že pro definované počáteční podmínky dovede neurokontrolér model rakety k úspěšnému přistání. V obou úlohách tedy neuroevoluce uspěla., The theoretical part of this work deals with evolutionary algorithms (EA), neural networks (NN) and their synthesis in the form of neuroevolution. From a practical point of view, the aim of the work is to show the application of neuroevolution on two different tasks. The first task is the evolutionary design of the convolutional neural network (CNN) architecture that would be able to classify handwritten digits (from the MNIST dataset) with a high accurancy. The second task is the evolutionary optimization of neurocontroller for a simulated Falcon 9 rocket landing. Both tasks are computationally demanding and therefore have been solved on a supercomputer. As a part of the first task, it was possible to design such architectures which, when properly trained, achieve an accuracy of 99.49%. It turned out that it is possible to automate the design of high-quality architectures with the use of neuroevolution. Within the second task, the neuro-controller weights have been optimized so that, for defined initial conditions, the model of the Falcon booster can successfully land. Neuroevolution succeeded in both tasks.

Cílem této práce je první navrhnout a implementovat aplikaci pro vestavěné systémy rea-lizující konvoluční neuronovou síť jenž klasifikuje čísla MNIST, ve druhé části pak optima-lizovat paměťové a energetické nároky této sítě. Práce v teoretické části popisuje základyneuronových sítí a výpočetní platformy Cortex-M pro vestavěné systémy. Následuje popisimplementace, síť je první vytvořena a naučena pomocí knihovny Theano v Pythonu naPC a poté je převedena do C pro vývojovou desku STM32F429 Discovery, kde je následnéoptimalizována. Optimalizace je zaměřena na konvoluci, skalární součin a formát uloženívah a biasů sítě., The goal of this thesis is to firstly design and implement an application for embeddedsystems which will classify MNIST numbers and secondly optimize energy and memoryrequirements of this network. The basics of neural networks, Cortex-M processor cores andembedded devices are described in the theoretical part. Followed by implementation details.Networks learning is done with Python and Theano library on a PC. The network is thenconverted to C for a board STM32F429 Discovery. Last part consist of network optimization,which focuses on convolution, dot product and number representation of weights and biasesof the network.

Predmetom tejto diplomovej práce je akcelerácia neurónových sietí s cieľom redukcie počtu operácií násobenia reálnych čísiel. Teoretická časť tejto práce sleduje súčasné trendy a metódy využívané v oblasti akcelerácie neurónových sietí. Najväčší dôraz je kladený na binarizačné techniky, ktoré umožňujú nahradiť násobenia logickými operátormi. Teoretický základ je zavedený do praxe hneď dvomi spôsobmi. Prvým z nich je implementácia kritických binárnych operátorov spustiteľných na GPU vo frameworku TensorFlow a ich rýchlostný benchmark. Druhým je aplikácia týchto operátorov v jednoduchom klasifikátore obrázkov. Výsledky sú rozhodne povzbudivé. Implementované operátory dosiahli 2,5-násobné zrýchlenie v porovnaní s vysoko optimalizovanými cuBLAS operátormi. Posledná kapitola práce sleduje úspešnosť dosiahnutú binarizačnými modelmi., The subject of this thesis is neural network acceleration with the goal of reducing the number of floating point multiplications. The theoretical part of the thesis surveys current trends and methods used in the field of neural network acceleration. However, the focus is on the binarization techniques which allow replacing multiplications with logical operators. The theoretical base is put into practice in two ways. First is the GPU implementation of crucial binary operators in the Tensorflow framework with a performance benchmark. Second is an application of these operators in simple image classifier. Results are certainly encouraging. Implemented operators achieve speed-up by a factor of 2.5 when compared to highly optimized cuBLAS operators. The last chapter compares accuracies achieved by binarized models and their full-precision counterparts on various architectures.

Cílem této práce je genetický návrh neuronových sítí, jenž budou schopné provádět klasifikaci v rámci různých klasifikačních úloh. K vytváření těchto neuronových sítí je použit algoritmus vycházející z algoritmu NeuroEvolution of Augmenting Topologies (zkráceně známého jako NEAT). Dále je představena myšlenka předzpracování, která je v implementovaném výsledku rovněž zahrnuta. Cílem předzpracování je snížení výpočetních nároků pro zpracování datové sady daného klasifikačního problému. Výsledkem této práce je množina experimentů provedených nad datovou sadou pro detekci rakovinných buněk a databází ručně psaných číslic MNIST. Klasifikátory vytvořené pro rakovinné buňky pak dosahují více jak 99% přesnosti a u experimentu MNIST dochází ke snížení výpočetních nároků o více jak 10% se zanesením zanedbatelné chyby o velikosti 0,17%., The aim of this work is the genetic design of neural networks, which are able to classify within various classification tasks. In order to create these neural networks, algorithm called NeuroEvolution of Augmenting Topologies (also known as NEAT) is used. Also the idea of preprocessing, which is included in implemented result, is proposed. The goal of preprocessing is to reduce the computational requirements for processing of benchmark datasets for classification accuracy. The result of this work is a set of experiments conducted over a data set for cancer cells detection and a database of handwritten digits MNIST. Classifiers generated for the cancer cells exhibits over 99 % accuracy and in experiment MNIST reduces computational requirements more than 10 % with bringing negligible error of size 0.17 %.

Rozpoznávání ručně psaných číslic je problém, který se dá použít jako modelová úloha pro vícetřídní rozpoznávání vzorů v obraze. Tato práce zkoumá různé druhy algoritmů (Samo-organizující se mapy, Stromové klasifikátory a AdaBoost) a metody pro zvyšování úspěšnosti klasifikace pomocí fúze (většinové rozhodování, průměrování logaritmických pravděpodobnostních hodnot, lineární logistická regrese). Metody fúze byly využité na kombinaci klasifikátorů s identickými parametry trénování, s rozdílnými trénovacími metodami a s podvzorkovaným vstupním vzorem., Recognition of handwritten digits is a problem, which could serve as model task for multiclass recognition of image patterns. This thesis studies different kinds of algoritms (Self-Organizing Maps, Randomized tree and AdaBoost) and methods for increasing accuracy using fusion (majority voting, averaging log likelihood ratio, linear logistic regression). Fusion methods were used for combine classifiers with indentical train parameters, with different training methods and with multiscale input.

Rozpoznávání ručně psaných číslic je problém, který se dá použít jako modelová úloha pro vícetřídní rozpoznávání vzorů v obraze. Tato práce zkoumá různé druhy algoritmů (Samo-organizující se mapy, Stromové klasifikátory a AdaBoost) a metody pro zvyšování úspěšnosti klasifikace pomocí fúze (většinové rozhodování, průměrování logaritmických pravděpodobnostních hodnot, lineární logistická regrese). Metody fúze byly využité na kombinaci klasifikátorů s identickými parametry trénování, s rozdílnými trénovacími metodami a s podvzorkovaným vstupním vzorem., Recognition of handwritten digits is a problem, which could serve as model task for multiclass recognition of image patterns. This thesis studies different kinds of algoritms (Self-Organizing Maps, Randomized tree and AdaBoost) and methods for increasing accuracy using fusion (majority voting, averaging log likelihood ratio, linear logistic regression). Fusion methods were used for combine classifiers with indentical train parameters, with different training methods and with multiscale input.

Cílem této práce je první navrhnout a implementovat aplikaci pro vestavěné systémy rea-lizující konvoluční neuronovou síť jenž klasifikuje čísla MNIST, ve druhé části pak optima-lizovat paměťové a energetické nároky této sítě. Práce v teoretické části popisuje základyneuronových sítí a výpočetní platformy Cortex-M pro vestavěné systémy. Následuje popisimplementace, síť je první vytvořena a naučena pomocí knihovny Theano v Pythonu naPC a poté je převedena do C pro vývojovou desku STM32F429 Discovery, kde je následnéoptimalizována. Optimalizace je zaměřena na konvoluci, skalární součin a formát uloženívah a biasů sítě., The goal of this thesis is to firstly design and implement an application for embeddedsystems which will classify MNIST numbers and secondly optimize energy and memoryrequirements of this network. The basics of neural networks, Cortex-M processor cores andembedded devices are described in the theoretical part. Followed by implementation details.Networks learning is done with Python and Theano library on a PC. The network is thenconverted to C for a board STM32F429 Discovery. Last part consist of network optimization,which focuses on convolution, dot product and number representation of weights and biasesof the network.

Práce se na teoretické úrovni zabývá evolučními algoritmy (EA), neuronovými sítěmi (NN) a jejich syntézou v podobě neuroevoluce. Z praktického hlediska je cílem práce ukázat uplatnění neuroevoluce na dvou odlišných úlohách. První úloha spočívá v evolučním návrhu architektury konvoluční neuronové sítě (CNN), která by dokázala klasifikovat s vysokou přesností ručně psané číslice (z datasetu MNIST). Druhá úloha spočívá v evoluční optimalizaci vah neurokontroléru, který řídí přistání 1. stupně rakety Falcon 9 ve 2D simulaci. Obě úlohy jsou výpočetně velmi náročné a proto byly řešeny na superpočítači. V rámci první úlohy se podařilo navrhnout takové architektury, které při správném natrénování dosahují přesnosti klasifikace 99,49%. Ukázalo se tak, že je možné návrh kvalitních architektur zautomatizovat s využitím neuroevoluce. V rámci druhé úlohy se podařilo optimalizovat váhy neurokontroléru tak, že pro definované počáteční podmínky dovede neurokontrolér model rakety k úspěšnému přistání. V obou úlohách tedy neuroevoluce uspěla., The theoretical part of this work deals with evolutionary algorithms (EA), neural networks (NN) and their synthesis in the form of neuroevolution. From a practical point of view, the aim of the work is to show the application of neuroevolution on two different tasks. The first task is the evolutionary design of the convolutional neural network (CNN) architecture that would be able to classify handwritten digits (from the MNIST dataset) with a high accurancy. The second task is the evolutionary optimization of neurocontroller for a simulated Falcon 9 rocket landing. Both tasks are computationally demanding and therefore have been solved on a supercomputer. As a part of the first task, it was possible to design such architectures which, when properly trained, achieve an accuracy of 99.49%. It turned out that it is possible to automate the design of high-quality architectures with the use of neuroevolution. Within the second task, the neuro-controller weights have been optimized so that, for defined initial conditions, the model of the Falcon booster can successfully land. Neuroevolution succeeded in both tasks.

Cílem této práce je genetický návrh neuronových sítí, jenž budou schopné provádět klasifikaci v rámci různých klasifikačních úloh. K vytváření těchto neuronových sítí je použit algoritmus vycházející z algoritmu NeuroEvolution of Augmenting Topologies (zkráceně známého jako NEAT). Dále je představena myšlenka předzpracování, která je v implementovaném výsledku rovněž zahrnuta. Cílem předzpracování je snížení výpočetních nároků pro zpracování datové sady daného klasifikačního problému. Výsledkem této práce je množina experimentů provedených nad datovou sadou pro detekci rakovinných buněk a databází ručně psaných číslic MNIST. Klasifikátory vytvořené pro rakovinné buňky pak dosahují více jak 99% přesnosti a u experimentu MNIST dochází ke snížení výpočetních nároků o více jak 10% se zanesením zanedbatelné chyby o velikosti 0,17%., The aim of this work is the genetic design of neural networks, which are able to classify within various classification tasks. In order to create these neural networks, algorithm called NeuroEvolution of Augmenting Topologies (also known as NEAT) is used. Also the idea of preprocessing, which is included in implemented result, is proposed. The goal of preprocessing is to reduce the computational requirements for processing of benchmark datasets for classification accuracy. The result of this work is a set of experiments conducted over a data set for cancer cells detection and a database of handwritten digits MNIST. Classifiers generated for the cancer cells exhibits over 99 % accuracy and in experiment MNIST reduces computational requirements more than 10 % with bringing negligible error of size 0.17 %.

Rozpoznávání ručně psaných číslic je problém, který se dá použít jako modelová úloha pro vícetřídní rozpoznávání vzorů v obraze. Tato práce zkoumá různé druhy algoritmů (Samo-organizující se mapy, Stromové klasifikátory a AdaBoost) a metody pro zvyšování úspěšnosti klasifikace pomocí fúze (většinové rozhodování, průměrování logaritmických pravděpodobnostních hodnot, lineární logistická regrese). Metody fúze byly využité na kombinaci klasifikátorů s identickými parametry trénování, s rozdílnými trénovacími metodami a s podvzorkovaným vstupním vzorem., Recognition of handwritten digits is a problem, which could serve as model task for multiclass recognition of image patterns. This thesis studies different kinds of algoritms (Self-Organizing Maps, Randomized tree and AdaBoost) and methods for increasing accuracy using fusion (majority voting, averaging log likelihood ratio, linear logistic regression). Fusion methods were used for combine classifiers with indentical train parameters, with different training methods and with multiscale input.

Diplomová práce se zabývá hlubokými neuronovými sítěmi, zejména pak metodami z oblasti hlubokého učení, jež slouží k inicializaci vah a samotnému učení hlubokých neuronových sítí. Dále popisuje základní teorii klasických neuronových sítí, která je důležitá pro pochopení této problematiky. Cílem této práce je experimentováním s vytvořenou aplikací realizující hluboké neuronové sítě na různě obtížných úlohách rozpoznávání obrazu zjistit optimální nastavení volitelných parametrů algoritmů. Dále pak zhodnotit výsledky a poznatky získané při experimentování s klasickou a hlubokou neuronovou sítí., The thesis addresses the topic of Deep Neural Networks, in particular the methods regar- ding the field of Deep Learning, which is used to initialize the weight and learning process s itself within Deep Neural Networks. The focus is also put to the basic theory of the classical Neural Networks, which is important to comprehensive understanding of the issue. The aim of this work is to determine the optimal set of optional parameters of the algori- thms on various complexity levels of image recognition tasks through experimenting with created application applying Deep Neural Networks. Furthermore, evaluation and analysis of the results and lessons learned from the experimentation with classical and Deep Neural Networks are integrated in the thesis.

Rozpoznávání ručně psaných číslic je součástí oboru počítačovho vidění a také problematikou, se kterou se v dnešní době nelze vypořádat na 100 %. Tato práce popisuje metodu rozpoznávání ručně psaných číslic založenou na charakteristických rysech a rozhodovacích stromech. Metody takto založené jsou známé jejich dlouhou dobou strojového učení a vysokou rychlostí při vyhodnocování. Tato metoda užívá relativních úhlů mezi charakteristickými oblastmi, což jí umožňuje jistou míru volnosti při porovnávání podobných vzorků a také schopnost odolávat vůči nelineárním deformacím písma., Recognition of handwritten digits is one of computer vision problematics that can not be solved with 100 % success these days. This document describes a method for handwritten digits recognizing based on shape features and randomized tree classifiers. These methods are known for their long time machine learning and quick characters recognizing. This method is due to use of relative angles among key locations and is nearly invariant to substantial affine and nonlinear deformations.

Rozpoznávání ručně psaných číslic je problém, který se dá použít jako modelová úloha pro vícetřídní rozpoznávání vzorů v obraze. Tato práce zkoumá různé druhy algoritmů (Samo-organizující se mapy, Stromové klasifikátory a AdaBoost) a metody pro zvyšování úspěšnosti klasifikace pomocí fúze (většinové rozhodování, průměrování logaritmických pravděpodobnostních hodnot, lineární logistická regrese). Metody fúze byly využité na kombinaci klasifikátorů s identickými parametry trénování, s rozdílnými trénovacími metodami a s podvzorkovaným vstupním vzorem., Recognition of handwritten digits is a problem, which could serve as model task for multiclass recognition of image patterns. This thesis studies different kinds of algoritms (Self-Organizing Maps, Randomized tree and AdaBoost) and methods for increasing accuracy using fusion (majority voting, averaging log likelihood ratio, linear logistic regression). Fusion methods were used for combine classifiers with indentical train parameters, with different training methods and with multiscale input.

Cílem této práce je genetický návrh neuronových sítí, jenž budou schopné provádět klasifikaci v rámci různých klasifikačních úloh. K vytváření těchto neuronových sítí je použit algoritmus vycházející z algoritmu NeuroEvolution of Augmenting Topologies (zkráceně známého jako NEAT). Dále je představena myšlenka předzpracování, která je v implementovaném výsledku rovněž zahrnuta. Cílem předzpracování je snížení výpočetních nároků pro zpracování datové sady daného klasifikačního problému. Výsledkem této práce je množina experimentů provedených nad datovou sadou pro detekci rakovinných buněk a databází ručně psaných číslic MNIST. Klasifikátory vytvořené pro rakovinné buňky pak dosahují více jak 99% přesnosti a u experimentu MNIST dochází ke snížení výpočetních nároků o více jak 10% se zanesením zanedbatelné chyby o velikosti 0,17%., The aim of this work is the genetic design of neural networks, which are able to classify within various classification tasks. In order to create these neural networks, algorithm called NeuroEvolution of Augmenting Topologies (also known as NEAT) is used. Also the idea of preprocessing, which is included in implemented result, is proposed. The goal of preprocessing is to reduce the computational requirements for processing of benchmark datasets for classification accuracy. The result of this work is a set of experiments conducted over a data set for cancer cells detection and a database of handwritten digits MNIST. Classifiers generated for the cancer cells exhibits over 99 % accuracy and in experiment MNIST reduces computational requirements more than 10 % with bringing negligible error of size 0.17 %.

Predmetom tejto diplomovej práce je akcelerácia neurónových sietí s cieľom redukcie počtu operácií násobenia reálnych čísiel. Teoretická časť tejto práce sleduje súčasné trendy a metódy využívané v oblasti akcelerácie neurónových sietí. Najväčší dôraz je kladený na binarizačné techniky, ktoré umožňujú nahradiť násobenia logickými operátormi. Teoretický základ je zavedený do praxe hneď dvomi spôsobmi. Prvým z nich je implementácia kritických binárnych operátorov spustiteľných na GPU vo frameworku TensorFlow a ich rýchlostný benchmark. Druhým je aplikácia týchto operátorov v jednoduchom klasifikátore obrázkov. Výsledky sú rozhodne povzbudivé. Implementované operátory dosiahli 2,5-násobné zrýchlenie v porovnaní s vysoko optimalizovanými cuBLAS operátormi. Posledná kapitola práce sleduje úspešnosť dosiahnutú binarizačnými modelmi., The subject of this thesis is neural network acceleration with the goal of reducing the number of floating point multiplications. The theoretical part of the thesis surveys current trends and methods used in the field of neural network acceleration. However, the focus is on the binarization techniques which allow replacing multiplications with logical operators. The theoretical base is put into practice in two ways. First is the GPU implementation of crucial binary operators in the Tensorflow framework with a performance benchmark. Second is an application of these operators in simple image classifier. Results are certainly encouraging. Implemented operators achieve speed-up by a factor of 2.5 when compared to highly optimized cuBLAS operators. The last chapter compares accuracies achieved by binarized models and their full-precision counterparts on various architectures.

Práce se na teoretické úrovni zabývá evolučními algoritmy (EA), neuronovými sítěmi (NN) a jejich syntézou v podobě neuroevoluce. Z praktického hlediska je cílem práce ukázat uplatnění neuroevoluce na dvou odlišných úlohách. První úloha spočívá v evolučním návrhu architektury konvoluční neuronové sítě (CNN), která by dokázala klasifikovat s vysokou přesností ručně psané číslice (z datasetu MNIST). Druhá úloha spočívá v evoluční optimalizaci vah neurokontroléru, který řídí přistání 1. stupně rakety Falcon 9 ve 2D simulaci. Obě úlohy jsou výpočetně velmi náročné a proto byly řešeny na superpočítači. V rámci první úlohy se podařilo navrhnout takové architektury, které při správném natrénování dosahují přesnosti klasifikace 99,49%. Ukázalo se tak, že je možné návrh kvalitních architektur zautomatizovat s využitím neuroevoluce. V rámci druhé úlohy se podařilo optimalizovat váhy neurokontroléru tak, že pro definované počáteční podmínky dovede neurokontrolér model rakety k úspěšnému přistání. V obou úlohách tedy neuroevoluce uspěla., The theoretical part of this work deals with evolutionary algorithms (EA), neural networks (NN) and their synthesis in the form of neuroevolution. From a practical point of view, the aim of the work is to show the application of neuroevolution on two different tasks. The first task is the evolutionary design of the convolutional neural network (CNN) architecture that would be able to classify handwritten digits (from the MNIST dataset) with a high accurancy. The second task is the evolutionary optimization of neurocontroller for a simulated Falcon 9 rocket landing. Both tasks are computationally demanding and therefore have been solved on a supercomputer. As a part of the first task, it was possible to design such architectures which, when properly trained, achieve an accuracy of 99.49%. It turned out that it is possible to automate the design of high-quality architectures with the use of neuroevolution. Within the second task, the neuro-controller weights have been optimized so that, for defined initial conditions, the model of the Falcon booster can successfully land. Neuroevolution succeeded in both tasks.

Diplomová práce se zabývá hlubokými neuronovými sítěmi, zejména pak metodami z oblasti hlubokého učení, jež slouží k inicializaci vah a samotnému učení hlubokých neuronových sítí. Dále popisuje základní teorii klasických neuronových sítí, která je důležitá pro pochopení této problematiky. Cílem této práce je experimentováním s vytvořenou aplikací realizující hluboké neuronové sítě na různě obtížných úlohách rozpoznávání obrazu zjistit optimální nastavení volitelných parametrů algoritmů. Dále pak zhodnotit výsledky a poznatky získané při experimentování s klasickou a hlubokou neuronovou sítí., The thesis addresses the topic of Deep Neural Networks, in particular the methods regar- ding the field of Deep Learning, which is used to initialize the weight and learning process s itself within Deep Neural Networks. The focus is also put to the basic theory of the classical Neural Networks, which is important to comprehensive understanding of the issue. The aim of this work is to determine the optimal set of optional parameters of the algori- thms on various complexity levels of image recognition tasks through experimenting with created application applying Deep Neural Networks. Furthermore, evaluation and analysis of the results and lessons learned from the experimentation with classical and Deep Neural Networks are integrated in the thesis.

Práce se zabývá použitím různých metod inicializace vah umělých neuronových sítí a sledováním jejich vlivu na učení sítě. Jako úloha pro síť je zvolena klasifikace obrázků ze dvou databází MNIST a CIFAR-10. Teoretická část popisuje oblast umělých neuronových sítí a také různé metody nicializace vah. Praktická část obsahuje popis a implementaci experimentů, popis architektur a jejich hyperparametrů. Jednotlivé experimenty sledují vliv vybraných metod a jejich případných konfigurací na učení různých architektur umělých neuronových sítí. Výsledky jsou pro jednotlivé databáze a typy architektur porovnány a jsou vybrány metody, se kterými síť dosáhla nejlepšího naučení. Dále jsou vybrány metody, se kterými bylo dosaženo optimálního naučení sítě nejrychleji. Dosažené výsledky jsou diskutovány., This thesis examines the use of various methods for initialising the weights of artificial neural networks and monitoring their impact on network learning. Image classification from two databases, MNIST and CIFAR-10, is selected as the task for the network. The theoretical section provides an overview of the field of artificial neural networks, along with an analysis of different methods for initialising weights. The practical section includes a description of the experiments conducted, an explanation of the architectures and their associated hyperparameters. The individual experiments observe the effect of the selected methods and their respective configurations on the learning of different artificial neural network architectures. The results are compared for each dataset and architecture type, and the methods with which a the network achieved the best learning are selected. Furthermore, the methods with which the optimal learning of the network was achieved the fastest are selected. The results obtained are discussed.