Search

Den snabbt växande utvecklingen av AI-baserade applikationer och den stora mängden data dessa applikationer behandlar ställer ökade krav på prestanda och optimering av datorsystemen. För att tillfredsställa de växande datorbehoven används hårdvaruacceleratorer som förbättrar databehandlingshastigheten genom att avlasta den befintliga utrustningen genom att hjälpa till med uppgifter och komplexa beräkningar. De befintliga lösningarna som används i dagsläget är kostsamma och MT-FoU på Umeå Universitetssjukhus efterfrågar därför en alternativ lösning i form av att kombinera mindre integrerande acceleratorer på ett större PCIe-kort. I detta examensarbete designas och implementeras en AI-accelerator bestående av fyra Google Coral Dual Edge TPU M.2 på ett 16x PCIe-kort. Arbetet genomfördes på MT-FoU och målet med examensarbetet var att undersöka om den tilltänkta konstruktionen kan förbättra prestandan hos AI-baserade system och fungera som ett billigare alternativ i verksamheten. Schemaritning och PCB-design utfördes i KiCad och information om gränssnitt och komponenter hämtades främst från tillverkares hemsidor och datablad. Kretsen består i huvudsak av fyra stycken M.2 E key kontaktdon, en 16port/16lane packetswitch och en 16x PCIe-anslutning. Switchen delar upp banorna från PCIe porten så att Edge TPU’erna kan anslutas parallellt i M.2 kontakterna. Edge TPU’erna använder pipelineparallellism för att fördela arbetsuppgifter på varje TPU så att större, mer komplexa program kan exekveras. Vid monteringen av kretskortet uppstod problem med fastlödningen av vissa komponenter. För att undvika att dessa problem uppstår och möjliggöra avlägsnandet av dessa felkällor bör montering istället beställas av fabrik där lödrobot finns tillgängligt. På grund av att tiden för kursen tog slut hann en sådan beställning inte göras och evaluering av den framtagna designen var därför inte möjlig att genomföra. Den design, The rapidly growing development of AI-based applications and the large amount of data these applications process place increased demands on the performance and optimization of conventional computer systems. To satisfy these growing computing requirements, hardware accelerators are used to improve the data processing speed by offloading the existing equipment by executing models and complex calculations. The existing solutions currently used are costly and MT-R&D at Umeå University Hospital is therefore requesting an alternative solution by combining smaller integrating accelerators on a larger PCIe card. In this thesis, an AI accelerator using four Google Coral Dual Edge TPU M.2 on a 16x PCIe card is designed and implemented. The work was carried out at MT-R&D and the goal of the thesis was to investigate whether the intended design can improve the performance of AI-based systems and serve as a cheaper alternative in the institution. Schematic and PCB were designed in KiCad and information on interfaces and components was obtained from manufacturers' websites and data sheets. The circuit’s main components are four M.2 E key connectors, a 16port/16lane packet switch and a 16x PCIe connection. The switch divides the lanes from the PCIe port so that the Edge TPUs can be connected in parallel in the M.2 connectors. The Edge TPUs use pipeline parallelism to distribute models across each TPU so that larger, more complex programs can be executed. When assembling the circuit board, problems arose with the soldering of certain components. In order to avoid these sources of error, assembly should instead be ordered from a factory where a soldering robot is available. Due to the fact that the time for the course ran out, such an order could not be placed and evaluation of the design was therefore not possible to carry out. However, the design that was produced was significantly cheaper than the existing solutions and by using pipeline parallelism, the design is expect

Den snabbt växande utvecklingen av AI-baserade applikationer och den stora mängden data dessa applikationer behandlar ställer ökade krav på prestanda och optimering av datorsystemen. För att tillfredsställa de växande datorbehoven används hårdvaruacceleratorer som förbättrar databehandlingshastigheten genom att avlasta den befintliga utrustningen genom att hjälpa till med uppgifter och komplexa beräkningar. De befintliga lösningarna som används i dagsläget är kostsamma och MT-FoU på Umeå Universitetssjukhus efterfrågar därför en alternativ lösning i form av att kombinera mindre integrerande acceleratorer på ett större PCIe-kort. I detta examensarbete designas och implementeras en AI-accelerator bestående av fyra Google Coral Dual Edge TPU M.2 på ett 16x PCIe-kort. Arbetet genomfördes på MT-FoU och målet med examensarbetet var att undersöka om den tilltänkta konstruktionen kan förbättra prestandan hos AI-baserade system och fungera som ett billigare alternativ i verksamheten. Schemaritning och PCB-design utfördes i KiCad och information om gränssnitt och komponenter hämtades främst från tillverkares hemsidor och datablad. Kretsen består i huvudsak av fyra stycken M.2 E key kontaktdon, en 16port/16lane packetswitch och en 16x PCIe-anslutning. Switchen delar upp banorna från PCIe porten så att Edge TPU’erna kan anslutas parallellt i M.2 kontakterna. Edge TPU’erna använder pipelineparallellism för att fördela arbetsuppgifter på varje TPU så att större, mer komplexa program kan exekveras. Vid monteringen av kretskortet uppstod problem med fastlödningen av vissa komponenter. För att undvika att dessa problem uppstår och möjliggöra avlägsnandet av dessa felkällor bör montering istället beställas av fabrik där lödrobot finns tillgängligt. På grund av att tiden för kursen tog slut hann en sådan beställning inte göras och evaluering av den framtagna designen var därför inte möjlig att genomföra. Den design, The rapidly growing development of AI-based applications and the large amount of data these applications process place increased demands on the performance and optimization of conventional computer systems. To satisfy these growing computing requirements, hardware accelerators are used to improve the data processing speed by offloading the existing equipment by executing models and complex calculations. The existing solutions currently used are costly and MT-R&D at Umeå University Hospital is therefore requesting an alternative solution by combining smaller integrating accelerators on a larger PCIe card. In this thesis, an AI accelerator using four Google Coral Dual Edge TPU M.2 on a 16x PCIe card is designed and implemented. The work was carried out at MT-R&D and the goal of the thesis was to investigate whether the intended design can improve the performance of AI-based systems and serve as a cheaper alternative in the institution. Schematic and PCB were designed in KiCad and information on interfaces and components was obtained from manufacturers' websites and data sheets. The circuit’s main components are four M.2 E key connectors, a 16port/16lane packet switch and a 16x PCIe connection. The switch divides the lanes from the PCIe port so that the Edge TPUs can be connected in parallel in the M.2 connectors. The Edge TPUs use pipeline parallelism to distribute models across each TPU so that larger, more complex programs can be executed. When assembling the circuit board, problems arose with the soldering of certain components. In order to avoid these sources of error, assembly should instead be ordered from a factory where a soldering robot is available. Due to the fact that the time for the course ran out, such an order could not be placed and evaluation of the design was therefore not possible to carry out. However, the design that was produced was significantly cheaper than the existing solutions and by using pipeline parallelism, the design is expect

This paper explores the use of Google's Edge TPU, a purpose-built ASIC designed to run AI at the edge. Our evaluations are done based on the use case application of automated cattle activity classification, which requires classification (inference) to run on energy limited embedded devices. For this application, we consider a deep neural network classifier, which traditionally has been a challenge to run on resource constrained edge devices. Based on a real cattle activity dataset, and with the use of a joint-time-frequency data representation (spectrogram), we explore different trade-offs between classification accuracy and energy efficiency. Our results show that the Edge TPU can provide both excellent classification performance and energy efficiency, but that it exhibits a surprising bimodal and nonlinear behaviour, which makes it highly sensitive to the chosen neural network model size. Our results demonstrate the potential and importance of scalable data representation, such as the spectrogram used in this paper, in order to tune the Edge TPU to work at its optimal operating point, where it can provide high classification accuracy with minimal energy consumption.

Medical image segmentation can be implemented using Deep Learning methods with fast and efficient segmentation networks. Single-board computers (SBCs) are difficult to use to train deep networks due to their memory and processing limitations. Specific hardware such as Google’s Edge TPU makes them suitable for real time predictions using complex pre-trained networks. In this work, we study the performance of two SBCs, with and without hardware acceleration for fundus image segmentation, though the conclusions of this study can be applied to the segmentation by deep neural networks of other types of medical images. To test the benefits of hardware acceleration, we use networks and datasets from a previous published work and generalize them by testing with a dataset with ultrasound thyroid images. We measure prediction times in both SBCs and compare them with a cloud based TPU system. The results show the feasibility of Machine Learning accelerated SBCs for optic disc and cup segmentation obtaining times below 25 ms per image using Edge TPUs.

Covid-19 pandemin är den mest omfattande pandemin i modern tid. Länder världen över har infört olika typer av krav och rekommendationer för att hämma smittspridningen, däribland rekommendationer om att bära munskydd. Tidigare studier har utvecklat modeller och system för att avgöra huruvida personer bär munskydd eller ej. Syftet med denna studie är att bevisa att det är tekniskt genomförbart att utveckla och implementera en IT-artefakt på en Google Coral Dev Board som i realtid inte bara kan avgöra om en person bär munskydd eller ej, utan även kan klassificera om ett munskydd bärs korrekt samt ge återkoppling om eventuell felanvändning. Ett sådant system skulle kunna användas för att uppmuntra och påminna om korrekt användning av munskydd. Det utvecklade systemet bygger på en två-stegs-arkitektur bestående av två stycken Convolutional Neural Networks (CNN), en förtränad ansiktsdetekteringsmodell samt en egenutvecklad klassificeringsmodell som bygger på en MobileNetV3-arkitektur. Klassificeringsmodellen tränades med hjälp av ett dataset bestående av 184 572 bilder och kategoriserar ansikten i fyra olika kategorier: munskydd används korrekt, munskydd täcker ej näsa, munskydd placerat på haka och munskydd används ej. Vid 5-delad korsvalidering uppnådde klassificeringsmodellen en genomsnittlig accuracy på >0.9994. Resultaten för studien var goda och bevisar den tekniska genomförbarheten. Den utvecklade prototypen kunde med hög tillförlitlighet detektera och korrekt klassificera ansikten i en videoström. Dock kommer studien fram till att denna typ av två-stegs-arkitektur är mindre lämplig i situationer då ett större antal ansikten är synliga i bild samtidigt då tiden som krävs för att behandla en bild ökar när antalet ansikten blir fler, vilket innebär att systemet ej kommer upplevas som responsivt.

Medical image segmentation can be implemented using Deep Learning methods with fast and efficient segmentation networks. Single-board computers (SBCs) are difficult to use to train deep networks due to their memory and processing limitations. Specific hardware such as Google’s Edge TPU makes them suitable for real time predictions using complex pre-trained networks. In this work, we study the performance of two SBCs, with and without hardware acceleration for fundus image segmentation, though the conclusions of this study can be applied to the segmentation by deep neural networks of other types of medical images. To test the benefits of hardware acceleration, we use networks and datasets from a previous published work and generalize them by testing with a dataset with ultrasound thyroid images. We measure prediction times in both SBCs and compare them with a cloud based TPU system. The results show the feasibility of Machine Learning accelerated SBCs for optic disc and cup segmentation obtaining times below 25 ms per image using Edge TPUs.

Medical image segmentation can be implemented using Deep Learning methods with fast and efficient segmentation networks. Single-board computers (SBCs) are difficult to use to train deep networks due to their memory and processing limitations. Specific hardware such as Google’s Edge TPU makes them suitable for real time predictions using complex pre-trained networks. In this work, we study the performance of two SBCs, with and without hardware acceleration for fundus image segmentation, though the conclusions of this study can be applied to the segmentation by deep neural networks of other types of medical images. To test the benefits of hardware acceleration, we use networks and datasets from a previous published work and generalize them by testing with a dataset with ultrasound thyroid images. We measure prediction times in both SBCs and compare them with a cloud based TPU system. The results show the feasibility of Machine Learning accelerated SBCs for optic disc and cup segmentation obtaining times below 25 ms per image using Edge TPUs.

Covid-19 pandemin är den mest omfattande pandemin i modern tid. Länder världen över har infört olika typer av krav och rekommendationer för att hämma smittspridningen, däribland rekommendationer om att bära munskydd. Tidigare studier har utvecklat modeller och system för att avgöra huruvida personer bär munskydd eller ej. Syftet med denna studie är att bevisa att det är tekniskt genomförbart att utveckla och implementera en IT-artefakt på en Google Coral Dev Board som i realtid inte bara kan avgöra om en person bär munskydd eller ej, utan även kan klassificera om ett munskydd bärs korrekt samt ge återkoppling om eventuell felanvändning. Ett sådant system skulle kunna användas för att uppmuntra och påminna om korrekt användning av munskydd. Det utvecklade systemet bygger på en två-stegs-arkitektur bestående av två stycken Convolutional Neural Networks (CNN), en förtränad ansiktsdetekteringsmodell samt en egenutvecklad klassificeringsmodell som bygger på en MobileNetV3-arkitektur. Klassificeringsmodellen tränades med hjälp av ett dataset bestående av 184 572 bilder och kategoriserar ansikten i fyra olika kategorier: munskydd används korrekt, munskydd täcker ej näsa, munskydd placerat på haka och munskydd används ej. Vid 5-delad korsvalidering uppnådde klassificeringsmodellen en genomsnittlig accuracy på >0.9994. Resultaten för studien var goda och bevisar den tekniska genomförbarheten. Den utvecklade prototypen kunde med hög tillförlitlighet detektera och korrekt klassificera ansikten i en videoström. Dock kommer studien fram till att denna typ av två-stegs-arkitektur är mindre lämplig i situationer då ett större antal ansikten är synliga i bild samtidigt då tiden som krävs för att behandla en bild ökar när antalet ansikten blir fler, vilket innebär att systemet ej kommer upplevas som responsivt.