Search

Eine Steigerung von Energieeffizienz und Pünktlichkeit resultiert in einer erhöhten Wirtschaftlichkeit und Leistungsfähigkeit des Bahnsystems. Diese Leistungsindikatoren können im Vollbahnbereich aufgrund der abgetrennten Bahnkörper und vorhandener Zugsicherungssysteme mit höheren Automatisierungsgraden verbessert werden. Straßenbahnen teilen sich die Trasse mit dem motorisierten Individualverkehr, Radfahrern und Fußgängern. Aus diesen Gründen sind Automatisierungsmöglichkeiten begrenzt und durch das Fahren auf Sicht sind die Fahrer von der sicheren Fahrzeugführung vereinnahmt. Fahrzeitreserven sind dagegen durch das Fahrgast- und Verkehrsaufkommen variabel. Konventionelle Optimierungsverfahren können für einzelne Szenarien Fahrprofile ermitteln, welche den Energiebedarf bei einer pünktlichen Fahrweise minimieren. Bei betrieblichen Abweichungen sind diese Fahrprofile jedoch nicht mehr optimal. Aufgrund der variablen Fahrzeiten und Haltedauern bietet sich der Einsatz von Künstlicher Intelligenz (KI) an, welche die Muster über den Tag erlernen und darauf die Fahrprofile anpassen kann. Diese Dissertation untersucht, wie die Energieeffizienz und Pünktlichkeit von Straßenbahnen durch den Einsatz von KI gesteigert werden können. Zum Training der KI wird eine validierte Umgebung aus Messdaten aus dem regulären Fahrgastbetrieb aufgebaut. Der rechenzeitintensive Trainingsprozess wird durch ein datengetriebenes Energiebedarfsmodell beschleunigt. Auf zwei Szenarien wird die KI zu je drei Verkehrszeiten trainiert. Die ermittelten Fahrprofile werden mit denen von Fahrern aus dem regulären Fahrgastbetrieb sowie mit einem durch Dynamic Programming ermittelten theo-retischen Optimum verglichen. Zur Untersuchung der Generalisierungsfähig-keiten der KI wird diese in einem ersten Schritt ohne weiteres Training auf bekannten Szenarien zu unbekannten Haltedauern getestet und mit den Fahrern verglichen. Im zweiten Schritt wird eine Umleitungsfahrt auf einer für die KI unbekannten Strecke simuliert. Die berechneten Fahrprofile werden ebenfalls wieder mit Fahrern aus dem regulären Fahrgastbetrieb verglichen. Anhand der Ergebnisse werden abschließend potentielle Ein-satzmöglichkeiten der KI als Fahrerassistenzsystem diskutiert.

Die Intralogistik-Industrie hatte in den letzten Jahren einen starken Zuwachs. Mobile Roboter revolutionieren die Art und Weise, wie wir unsere Lagerhäuser nutzen. Diese Geräte können sich autonom durch ein Lager bewegen, um Objekte herum navigieren und Waren an ihren Bestimmungsort liefern. Die Roboter verwenden neben einer Vielzahl an Sensoren spezielle Algorithmen, um an ihr Ziel zu gelangen. Anstelle solcher Programme kann auch Reinforcement Learning verwendet werden, um den Weg bzw. Pfad durch das Lager zu finden. Daraus resultierend ist es das Ziel dieser Arbeit, Erkenntnisse über die Verwendung von Reinforcement Learning zur Pfadfindung für autonome mobile Roboter in einem simulierten Intralogistikbereich zu gewinnen. Dabei soll anhand eines Benchmarks die Perfomance der Pfadfindung herkömmlicher Algorithmen mit der eines Reinforcement-Learning-Modells (RL-Modells) verglichen werden. Im theoretischen Teil werden Informationen über die Arten, die funktionalen Vor- und Nachteile, die verwendeten Sensoren und den Grad der Automatisierung von mobilen Robotern gesammelt. Weiters werden Pfadfindungssysteme hinsichtlich ihrer Funktionalität und der verwendeten Technologie miteinander verglichen. Zusätzlich werden Methoden des maschinellen Lernens (ML) erläutert und im speziellen auf RL eingegangen. Darüber hinaus wird ein Überblick über aktuelle Simulationsumgebungen und die Prozedurale Generierung von Karten gegeben. Aus dem theoretischen Teil geht hervor, dass mobile Roboter zurzeit noch nicht komplett autonom agieren können. Weiters wird bei aktuellen Robotern nicht nur ein, sondern mehrere Sensorsysteme verbaut, um Schwächen kompensieren zu können. Neben den Sensorsystemen haben auch die behandelten Pfadfindungssysteme ihre eigenen Vor- und Nachteile. Der praktische Teil zeigt, dass sich Unity als Simulationsumgebung der Intralogistik eignet und ML, als auch die Simulation von Sensoren ohne Aufwand möglich ist. Die Arbeit zeigt, dass RL auch bei der Pfadfindung für mobile Roboter zum Einsatz kommen kann. Aus dem praktischen Teil geht hervor, dass die Entwicklung simulierter Umgebungen für das Training einer künstlichen Intelligent (KI) einen Mehraufwand bedeutet. In dieser Arbeit wurde hierfür ein eigener Kartengenerator entwickelt, mithilfe dessen ein funktionsfähiges KI-Modell trainiert werden konnte. Aus der Arbeit kann geschlossen werden, dass es mithilfe von ML und RL möglich ist, KI-Modelle zu trainieren, wobei diese in simplen Szenarien mit herkömmlichen Pfadfindungsalgorithmen mithalten oder sogar übertreffen können. Für komplexe Szenarien muss das trainierte KI-Modell optimiert werden, bevor dieses zum Einsatz kommen kann. ML wird über kurz oder lang eine große Rolle im Bereich der Steuerung und damit auch der Pfadfindung von mobilen Robotern spielen. Die Entwicklung von autonomen Robotern ist voll im Gange und dieser Trend scheint auch in den nächsten Jahren nicht aufzuhalten zu sein. The intralogistics industry has had strong growth in recent years. Mobile robots are revolutionizing the way we use our warehouses. These devices can autonomously move through a warehouse, navigate around objects and deliver goods to their destination. These robots use specialized algorithms, in addition to a variety of sensors, to get to their destination. Instead of such programs, reinforcement learning can be used to find the way or path through the warehouse. As a result, the goal of this thesis is to gain insight into the use of reinforcement learning for path finding for autonomous mobile robots in a simulated intralogistics environment. A benchmark will be used to compare the pathfinding performance of conventional algorithms with that of a reinforcement learning (RL) model. In the theoretical part, information about the types of mobile robots, the functional advantages and disadvantages, the sensors used and the degree of automation will be analyzed. Furthermore, pathfinding systems are compared with respect to their functionality and the technology used. Additionally, different methods of machine learning (ML) are explained and in particular RL is discussed. Furthermore, an overview of current simulation environments and procedural generation of maps is given. The theoretical part shows that mobile robots are not yet able to act completely autonomously. Furthermore, not only one but several sensor systems are installed in current robots in order to compensate any weaknesses. In addition to the sensor systems, the pathfinding systems discussed also have their own advantages and disadvantages. The practical part shows that Unity is suitable as a simulation environment of intralogistics and ML and also the simulation of sensors is possible without complexity. The work shows that RL can also be used in path finding for mobile robots. Based on the practical part, it be seen that developing simulated environments for the training of an artificial intelligence (AI) involves extra effort. In this work, we developed our own map generator for this purpose, with the help of which a functional AI model could be trained. We can conclude from the work that with the help of ML and RL it is possible to train AI models that can keep up with or even outperform conventional algorithms in simple scenarios. For complex scenarios, the idiosyncrasies of the AI model trained in this work must be eliminated before it can be used. ML will sooner or later play a major role in the field of control and thus pathfinding of mobile robots. The development towards fully autonomous robots is in full swing and this trend seems to be unstoppable in the next years. Verfasser: Schneider Andreas Abweichender Titel laut Übersetzung der Verfasserin/des Verfassers Masterarbeit FH JOANNEUM 2023

Wegfindung ist ein entscheidender Aspekt von KI-Anwendungen, einschließlich Computerspielen, Robotik und autonomen Navigationssystemen. Traditionelle mathematische Algorithmen wie A* und Dijkstra werden häufig zur Lösung von Pfadfindungsproblemen verwendet. Diese Algorithmen erfordern jedoch häufig erhebliche Rechenressourcen und sind möglicherweise nicht für dynamische oder komplexe Umgebungen geeignet. Reinforcement Learning (RL) hat sich aufgrund seiner Fähigkeit, sich in Echtzeit anzupassen und zu lernen, als potenzieller alternativer Ansatz zur Lösung von Pfadfindungsproblemen herausgestellt. Ziel dieser Studie ist es, die Leistung von Reinforcement-Learning-Algorithmen mit klassischen mathematischen Algorithmen zur Pfadfindung zu analysieren und zu vergleichen. Die Forschungsfrage lautet: „Vor- und Nachteile von Deep Reinforcement Learning im Vergleich zu klassischen Algorithmen zur Wegfindung in Videospielen?“ Diese Masterarbeit beginnt mit einem Überblick über traditionelle mathematische Wegfindungsmethoden, ihre Grenzen und ihre Anwendungen in verschiedenen Bereichen. Anschließend werden das Konzept des Reinforcement Learnings und seine potenziellen Vorteile bei der Lösung von Pfadfindungsproblemen vorgestellt. Um die Wirksamkeit der RL-basierten Pfadfindung empirisch zu bewerten, wird eine dreidimensionale Umgebung erstellt und das Modell mithilfe von Unity getestet, das mehrere Pfade und Sackgassen aufweist. Diese Analyse konzentriert sich auf den Vergleich der Recheneffizienz, Anpassungsfähigkeit und Gesamtleistung von RL-Algorithmen mit mathematischen Pfadfindungsalgorithmen in dem verwendeten experimentellen Kontext. Es werden praktische Implikationen der Erkenntnisse für Spieleentwicklung, Robotik und andere KI-gesteuerte Technologien diskutiert. Die Ergebnisse dieser Studie sollen wertvolle Einblicke in das Potenzial von Reinforcement Learning für die Pfadfindung in Videospielen liefern und zur Weiterentwicklung effizienterer und intelligenterer Pfadfindungssysteme beitragen. Pathfinding is a critical aspect of artificial intelligence applications, including computer games, robotics, and autonomous navigation systems. Traditional mathematical algorithms, such as A* and Dijkstra's, have been widely used to address pathfinding problems. Nevertheless, these algorithms often require computational resources and may not be well-suited for dynamic or complex environments. Reinforcement learning (RL) has emerged as a potential alternative approach for solving pathfinding problems with its ability to adapt and learn in real-time. This study aims to analyse and compare the performance of reinforcement learning algorithms with classical mathematical algorithms for pathfinding. The research question is: "Advantages and disadvantages of deep reinforcement learning compared to classic algorithms for pathfinding in video games?" This master thesis begins by providing an overview of traditional mathematical pathfinding methods, their limitations, and their applications in various domains. It then introduces the concept of reinforcement learning and its potential advantages in solving pathfinding problems. To empirically evaluate the effectiveness of RL-based pathfinding, a three-dimensional environment is created and tested the model using Unity, featuring multiple paths and dead ends. This analysis will focus on comparing the computational efficiency, adaptability, and overall performance of RL algorithms with mathematical pathfinding algorithms in this experimental setup. Practical implications of the findings for game development, robotics, and other AI-driven technologies will be discussed. The results of this study aim to provide valuable insights into the potential of reinforcement learning for pathfinding in video games and contribute to the ongoing development of more efficient and intelligent pathfinding systems. Abweichender Titel laut Übersetzung der Verfasserin/des Verfassers Masterarbeit Wien, FH Campus Wien 2023

Durch die enormen Fortschritte im Bereich der künstlichen Intelligenz (KI) erreicht eine Vielzahl lernender Systeme den Alltag von Menschen. Aktuell agiert zwar der Großteil dieser lernenden, KI-basierten Systeme noch für den Endnutzer meist unsichtbar, rein online, (beispielsweise als Recommender-System in Online-Shops), doch erste Systeme wie selbstfahrende Autos und autonome Lieferroboter sind bereits in die physische Welt vorgedrungen. Ebenso wird mit Hochdruck an Visionen wie der vollautomatisierten Fabrik (Smart Factory) oder an adaptiven Stromnetzen (Smart Grids) gearbeitet. Spätestens mit der Präsenz der lernenden Systeme in der physischen Welt gewinnen Fragen der Zuverlässigkeit und Sicherheit höchste Relevanz. Aktuell existieren jedoch kaum Verfahren, die die Grenzen und stets vorhandenen Unsicherheiten der lernenden Systeme zuverlässig erfassen können. Ebenso wäre die Modellierung eines gemeinsamen Wahrnehmungsverständnisses zwischen Mensch und Maschine von großer Wichtigkeit, um Missverständnisse und Fehler in der Interaktion zu minimieren. In der vorliegenden Arbeit werden Ansätze vorgestellt, die eine solche Modellierung von Unsicherheit und Wahrnehmung, insbesondere in Kombination mit aktuellen Deep Learning Verfahren ermöglichen. Im ersten Teil dieser Arbeit werden Ansätze zur Modellierung eines räumlichen Wahrnehmungsverständnisses für lernende Systeme behandelt. Hierfür wird eine Isovisten-basierte Quantifizierung der Wahrnehmung mit Machine Learning (ML) basierter Modellierung kombiniert. Evaluationsergebnisse zeigen, dass die so entwickelte Modellierung in der Lage ist, semantische Strukturen abzubilden. Eine in einem zweiten Schritt mit Bayesschen Verfahren erweiterte, probabilistische Wahrnehmungsmodellierung wird anschließend unter anderem zur Charakterisierung von Routen eingesetzt. Da besonders im Forschungsfeld autonom handelnder Systeme aktuell Reinforcement Learning (RL) Ansätze dominieren, stehen im zweiten Teil der Arbeit Methoden zur Unsicherheitsmodellierung in Value-basiertem Deep RL im Fokus. Es werden sowohl Methoden der approximativen Bayesschen Inferenz, als auch ensemble-basierte Verfahren dahingehend evaluiert, ob sie zuverlässig in der Lage sind, epistemische Unsicherheit zu modellieren. Da die zuvor vorgestellten Ansätze nicht direkt mit Policy-basiertem RL kombinierbar sind, wird im dritten Teil der Arbeit ein neu entwickelter, auf der Entropie der Policy basierender Ansatz zur Erkennung von Out-of-Distribution (OOD) Situationen vorgestellt. Zusammengenommen schaffen die im Rahmen der vorliegenden Arbeit vorgestellten Modellierungsansätze von Unsicherheit und Wahrnehmung eine Grundlage zur Entwicklung zuverlässiger, sicherer, lernender Systeme., With the enormous progress in the field of artificial intelligence (AI), a plethora of learning systems is becoming an integral part of people's everyday lives. Currently, most of these learning, AI-based systems are restricted to virtual spaces (for example as recommender systems in online shops). But the first ones like self-driving cars or autonomous delivery robots have already entered the physical world. Work is also progressing to realize visions like fully automated industrial plants (Smart Factory) or adaptive electrical grids (Smart Grid). With this increasing presence of learning systems in the physical world, questions of reliability and safety are now of utmost importance. Currently, however, hardly any methods exist that are able to reliably capture the limitations and ever-present uncertainties of learning systems. Likewise, modeling a common understanding of perception between humans and machines is of great importance, to minimize misunderstandings and errors in their interaction. The work at hand presents approaches which allow this kind of modeling of uncertainty and perception, especially when combined with current Deep Learning methods. The first part of this thesis addresses approaches for modeling a spatial perception for learning systems. For this purpose, an Isovist-based quantification of perception is combined with Machine Learning (ML) based modeling. Evaluation results show that the developed modeling approaches are capable of representing semantic structures. A probabilistic modeling approach, extended using Bayesian methods, is subsequently presented. It is used, among other things, for an uncertainty based characterization of trajectories. For the development of autonomous systems, Reinforcement Learning (RL) approaches currently dominate. Consequently, the second part of this thesis focuses on methods for uncertainty modeling in Value-based Deep RL. Methods of approximate Bayesian Inference as well as Ensemble-based approaches are evaluated, regarding their ability to reliability model epistemic uncertainty. As the previous approaches are not directly applicable to Policy-based RL, the third part of this thesis presents a newly developed policy entropy based approach for detecting out-of-distribution (OOD) situations. Together, the approaches to modeling uncertainty and perception, presented in the context of the work at hand, provide a foundation for the future development of reliable, safe, learning systems.

For manufacturing companies, the focus of their business activities today is on customer value and thus also on meeting delivery dates. At the same time, the complexity of the environment and the markets as well as within the company is increasing. For this reason, the focus is on systematic handling of events within the value creation process in supply networks. This is a particular challenge for complex job shop manufacturing with its immanent static and dynamic complexity. This thesis addresses the research question of how a learning, on events from the supply network based optimization of manufacturing control for a complex job shop can be designed, optimizing the adherence to delivery dates in case of events from the supply network by corrective measures on the level of manufacturing control. This requires an adaptive decision model that enables continuous adaptation over time. Manual interventions in manufacturing control, which were previously common in the case of events from the supply network, are thus avoided and the resilience of the manufacturing system is increased. Results of this thesis are the artifacts of learning event-based optimization of manufacturing control for complex job shop manufacturing in the form of the associated control loop, method and architecture, and implementation as a software artifact. Semiconductor manufacturing is the most important application of complex job shops in industry. Here it is shown that the learning event-based optimization of manufacturing control can significantly improve the adherence to delivery dates in the case of events from the supply network. A high level of adherence to delivery dates ensures higher customer satisfaction, while the systematic handling of events ensures resilience. In the long term, both of these factors will make it possible to reduce safety stocks in the supply network.

Lange Zeit haben sich die Menschen vorgestellt, dass azoische Objekte als intelligente Wesen zum Leben erwachen. Roboter wurden von den alten Griechen mythologisiert, und chinesische und ägyptische Ingenieure entwickelten Automaten. Der 1956 erfundene Begriff "Künstliche Intelligenz" zielt darauf ab, das menschliche Gehirn als figurative Anordnung zu charakterisieren. Das Konzept dient sowohl wissenschaftlichen als auch ethischen Zielen. Die wissenschaftlichen Ziele betonen die Vorteile der schnellen Berechnungen von Computern, die unter anderem die Fähigkeit umfassen, Muster zu erkennen und durch Übung zu lernen. Das Konzept wirft jedoch grundlegende ethische Bedenken hinsichtlich der Moral der Robotertechnik auf. Um sowohl die Rechenmöglichkeiten als auch die ethischen Bedenken der KI zu bewältigen, müssen Wissenschaftler klare Prinzipien des maschinellen Lernens definieren und die Öffentlichkeit weiterhin über die Vorteile aufklären. In der Literatur gibt es verschiedene Studien zum Lösen von Rätseln, aber die meisten konzentrieren sich darauf, das Bild des Gitters mit Hilfe der Mustererkennung in eine digitale Form zu übersetzen und es dann mit traditionellen Methoden zu lösen. Diese Arbeit verwendet einen direkten KI-basierten Weg, um weitere Hilfestellungen zu geben, basierend auf dem Konzept von Sudoku-Rätseln. Es wird untersucht, welchen Einfluss CNN auf die Entscheidungen und das Verhalten von Sudoku-Lösungsalgorithmen hat. Die Arbeit bietet einen Überblick über maschinelles Lernen, indem eine Vielzahl von Methoden und Ansätzen demonstriert werden, die auf Sudoku-Rätsel angewendet wurden. Es konzentriert sich auf die beste Möglichkeit, die Umgebung und die Aktivitäten zu erstellen, die mit dem Agenten synchronisiert sind. Die Arbeit beinhaltet auch eine Beschreibung des Standard-Sudoku-Solver-Algorithmus und seiner Ergebnisse, die mit Machine-Learning-Umgebungen verglichen werden. For a long time, people have imagined azoic objects coming to life as intelligent entities. Robots were mythologized by the ancient Greeks, and Chinese and Egyptian engineers developed automatons. The term "Artificial Intelligence," which was invented in 1956, aims to characterize human brain as a figurative arrangement. The concept serves both scientific and ethical objectives. The scientific goals emphasize the benefits of computers’ rapid calculations, which include the ability to spot patterns and learn through practice, among other things. However, the concept poses fundamental ethical concerns about the morality of robotic engineering. To deal with both the computational opportunities and ethical concerns brought by AI, scientists must define a clear set of machine learning principles and continue to educate the public about the benefits. In the literature, there are various studies on solving puzzles, but the majority of them focus on translating the image of the grid to a digital form using Pattern Recognition and then solving it using traditional methods. This thesis employs a direct AI-based way to provide further assistance, based on the concept of Sudoku puzzles. It will be investigated to see how much of an impact CNN has on Sudoku solving algorithms’ decisions and behaviors. Thesis will provide an overview of machine learning by demonstrating a variety of methods and approaches that have been applied to Sudoku puzzles. It is concentrated on the best way to create the environment and activities that are in sync with the agent. The thesis also includes a description of the standard Sudoku solver algorithm and its findings, which will be compared to machine learning environments.

In den letzten Jahren hat die Anwendung des Machine Learning (ML) auf komplexe Aufgabenstellungen zu bahnbrechenden Erfolgen in vielen Bereichen geführt. Die vorliegende Arbeit zielt darauf ab, ML auf das Gebiet der Rucksackprobleme (KP)anzuwenden. KP sind ein interessantes Forschungsgebiet, da sie nicht nur für reale Szenarien wie Logistik und Aktienhandel relevant sind. Auch aus Sicht der theoretischen Informatik sind sie, nachdem sie zur Klasse NP-schwerer Probleme gehören, von Bedeutung. Seit Jahrzehnten wird daran geforscht, entweder besonders schnelle Näherungslösungen zu entwickeln oder die Berechnung optimaler Lösungen zu beschleunigen. Ein Großteil dieser Forschung konzentriert sich die Weiterentwicklung von Algorithmen, während es kaum Arbeiten zur Anwendung von ML auf KPs gibt. Diese Arbeit geht der Frage nach, ob durch die Anwendung von ML auf KP vielversprechende Ergebnisse zu erwarten sind. Um diese Hypothese zu testen, wurden vier experimentelle Deep Q Networks (DQNs) entwickelt und auf unterschiedlich strukturierte Arten von KP angewendet. Im Rahmen der Arbeit war es aber nicht möglich, die Hyperparameter dieser Implementierungen zu optimieren. Die Ergebnisse der mit diesen DQNs trainierten Modelle wurde dann sowohl mit den Lösungen eines sehr schnellen als auch eines Algorithmus zur optimalen Lösung verglichen. Entgegen der ursprünglichen Erwartungen konnte nicht gezeigt werden, dass die experimentellen DQNs in Bezug auf Ergebnisse oder Laufzeit mit den bestehenden Algorithmen mithalten können. Die Evaluierung zeigte jedoch, dass die Ergebnisse der Netze, auch bei unterschiedlich strukturierten KP (in Bezug auf die Anzahl der Elemente und die Reichweite der Koeffizienten), gut generalisieren. Die Ergebnisse der vorliegenden Arbeit zeigten, dass die Verwendung von DQNs zur Lösung von KP wenig Nutzen bietet. Die Arbeit konnte jedoch einige Erkenntnisse zu der Frage liefern, welche DQN-Architektur vielversprechendere Ergebnisse liefert. So konnte gezeigt werden, dass ein Netzwerk, das die Basis-DQN-Architektur verwendet, in den meisten Fällen besser abschneidet als andere Implementierungen, die die Double- oder Dueling-DQN-Optimierungen verwenden. Weitere Arbeiten könnten an diese Ergebnisse anknüpfen und sich auf die Optimierung der Hyperparameter oder die Anwendung von ML auf einen reduzierten Core-Bereich des KP anstatt auf das gesamte Problem konzentrieren. In recent years the application of Machine Learning (ML) on challenging computational tasks have led to breakthrough achievements in many fields. This work aims to apply Machine Learning on the field of Knapsack Problems (KP). KPs are an interesting field of research as they are not only relevant in real live scenarios such as logistics and stock trading but also significant from an academic point of view, especially in terms of NP-hard problems. For decades, research has been conducted on either providing faster approximate solution or speeding up the calculation of perfect solutions. Much of this research focused on improving algorithms while there was hardly any research conducted on applying ML on KPs. This study examines the question of whether promising results can be expected by applying ML to KPs. To test this hypothesis four experimental Deep Q Networks (DQNs) were developed and applied on specific sets of KPs. A limitation was that within the scope of the research it is not possible to optimize network architecture and hyperparameters of those implementations. The results of these networks were then compared with the solutions of a very fast as well as an optimal solution algorithm. Contrary to initial expectations, the experimental DQNs were not shown to match existing algorithms in terms of results or runtime. However, the empirical research shows that the networks generalize in a promising way when differently structured KPs regarding their number of items and range of coefficients are used on them. Given the current state of the experimental DQNs, the preliminary findings show that little is to gain from using DQNs for solving KPs. However, the research could provide some insights regarding the question which DQN architecture delivers more promising results. It could be shown that in most cases a network using basic DQN architecture performs better than other implementations using the Double or Dueling DQN optimizations. Further studies could follow-up on these findings and focus on optimizing the networks hyperparameters or on applying ML to a reduced core part of the KP instead of the whole problem. eingereicht von: Joachim Hofer Abweichender Titel laut Übersetzung der Verfasserin/des Verfassers Bachelorarbeit FH JOANNEUM 2022

Der Bedarf an intelligenten Robotern wächst ständig, was sich in immer mehr Bereichen und Gebieten bemerkbar macht. Die Technologie des automatisierten Fahrens ist ein interessantes Thema für intelligente Städte, und fast alle Fahrzeughersteller arbeiten an der Entwicklung des automatisierten Fahrens, um es sicherer zu machen. Automatisiertes Fahren wird in vielen Bereichen benötigt, z. B. im öffentlichen Verkehr, in der Logistik, bei der Auslieferung und bei verschiedenen anderen Routineaufgaben, die ohne menschliches Zutun erledigt werden können. Daher ist automatisiertes Fahren die ideale Lösung, um die Sicherheit im Verkehr zu erhöhen. In dieser Arbeit wurde versucht, das Problem des automatisierten Fahrens mit Hilfe des Algorithmus des maschinellen Lernens (RL) zu lösen. Das Training findet statt, wenn der Agent Aktionen ausführt, für die er entweder belohnt oder bestraft wird. Die Implementierung des Verstärkungsalgorithmus mit dem OpenAI Gym Framework für automatisiertes Fahren lieferte zufriedenstellende Ergebnisse, wobei die Agenten in verschiedenen Umgebungen trainiert wurden. Der Agent ist in der Lage, mit seiner Umgebung zu interagieren, indem er sie mit Hilfe von (in die Umgebung eingebetteten) High-Level-Sensoren beobachtet. Um den Lernprozess zu unterstützen, stehen außerdem mehrere Belohnungsfunktionen zur Verfügung. Diese Arbeit ist als Grundlage für künftige Arbeiten zu betrachten, die darauf abzielen, mehrere Roboter zu automatisieren, anstatt nur einen einzigen in einer anspruchsvolleren Umgebung. The need for smart robots is continuously growing, which becomes more and more evident in an increasing number of areas and fields. Automated driving technology is an interesting subject for smart cities, and almost all vehicle companies are working on developing automated driving to make it safer. Automated driving is required in many areas such as public transportation, logistics, delivery, and various other routine tasks that can be carried out without human involvement. Therefore, automated driving is the ideal solution to enhance safety in traffic. In this thesis, the problem of automated driving was attempted to be solved by using the Machine Learning algorithm of RL. Training occurs as the agent takes actions, upon which it receives either rewards or punishments. Implementing the Reinforcement algorithm with the automated Environment OpenAI Gym framework delivered satisfactory results where the agents were trained in different environments. The agent is capable of interacting with its environment by observing it using high-level sensors (that are embedded) in the environment. To aid the learning process, multiple reward functions are also available. This thesis is to be considered a foundation for future work which aims to automate several robots rather than solely a single one in a more challenging environment.

Volume 2022, Issue 18, Aufgrund steigender Dynamik und Heterogenität in der Produktion sind auch die Anforderungen an die Intralogistik und im speziellen an Lagersysteme gestiegen. Lagersysteme müssen flexibel sein und einen hohen Durchsatz ermöglichen. Diese Anforderungen werden durch Shuttlesysteme erfüllt. Damit der Durchsatz von Shuttlesystemen softwarebasiert weiter gesteigert werden kann, wurden Konzepte entwickelt, welche mit Deep Reinforcement Learning (DRL) die Blockaden, welche z. B. beim Gassenwechsel oder bei mehreren Auslagerungen in einer Gasse auftreten, durch eine genänderte Auslagerungsreihenfolge minimieren. Die bisher entwickelten Konzepte betrachten ausschließlich eine sehr kleine Anzahl an Lagerplätzen. Reale Shuttlesysteme verfügen teilweise über mehrere tausend Lagerplätze pro Ebene. Daher wird in diesem Beitrag ein DRLKonzept entwickelt, welches in einem realen Shuttlesystem die Auslagerungsreihenfolge anpasst, um durch eine Minimierung der Blockaden eine Durchsatzsteigerung zu erreichen., Due to increasing dynamics and heterogeneity in production, the demands on intralogistics and especially on storage systems have increased. Storage systems must be flexible and enable a high throughput. These requirements are fulfilled by shuttle systems. To be able to increase the throughput of shuttle systems on a software basis, concepts have been developed that use Deep Reinforcement Learning (DRL) to minimise the blockages that arise, e.g. when changing gears or when several withdrawals are made in one gear, by changing the retrieval sequence. These concepts only consider a very small number of storage locations. Real shuttle systems sometimes have several thousand storage locations per level. Therefore, this paper develops a DRL concept that adapts the retrieval sequence in a real shuttle system to minimise blockades and increase throughput.

Der gesamte Band ist unter der DOI 10.24405/14522 abrufbar.

Das Wertschöpfungsnetzwerk ist heute zur dominierenden Wertschöpfungsstruktur im Bereich der Produktion geworden. Für produzierende Unternehmen in solchen Netzwerken ist das Auftragsmanagement eine zentrale Aufgabe, die sich in einem Umfeld wachsender Herausforderungen befindet. Zum einen setzen kürzere Produktlebenszyklen und zunehmende Individualisierung die Unternehmen unter Druck. In diesem Zusammenhang hat die variantenreiche Produktion an Bedeutung gewonnen. Andererseits steigen die Wahrscheinlichkeit und die Auswirkungen von Störungen, insbesondere in Netzwerken, was die Leistungsfähigkeit von Produktionssystemen herausfordert. Ein vielversprechender Ansatz in diesem Zusammenhang ist die Verwendung einer dynamischen Lieferzeit-Preisgestaltung über eine kontinuierliche Preis-Lieferzeit-Funktion. Durch den Einsatz einer dynamischen Lieferzeit-Preisgestaltung könnte es möglich sein, die Nachfrage im Netz mit den Fähigkeiten des Produktionssystems in Einklang zu bringen. Die Idee ist, Nachfragespitzen zu verschieben und die Kunden entsprechend ihrer individuellen Präferenzen zu beliefern. Auf diese Weise kann der Gesamtgewinn gesteigert werden, obwohl die Kapazitäten konstant bleiben. Um die aufgestellten Hypothesen zu untersuchen, wird in dieser Arbeit eine Methodik zur dynamischen Lieferzeit-Preisgestaltung für die variantenreiche Produktion entwickelt. In einem ersten Schritt werden Leistungskennzahlen und eine Zielfunktion festgelegt. In einem zweiten Schritt wird ein Actor Critic Reinforcement-Learning-Verfahren als Grundlage für ein Lösungsmodell motiviert. Für das Training und das spätere Testen des resultierenden Lernagenten wird ein Simulationsmodell als Umgebung entwickelt und ein Verfahren zur Durchführung und Auswertung der Experimente ausgearbeitet. Der Ansatz wurde im Rahmen der BMBF-Forschungsprojekte ReKoNeT und BaSys4SupplyQ diskutiert und angewendet. Die Ergebnisse aus zwei Anwendungsfällen zeigen, dass der Ansatz in der Lage ist, bei gleicher Kapazität deutlich höhere Gewinne zu erzielen und Nachfragespitzen in gewissem Umfang zu glätten. Gleichzeitig zeigen die Ergebnisse, dass das Einsparen von Kapazitäten keine dominante Strategie zu sein scheint. Dies spiegelt die anwendungsspezifische Berücksichtigung verschiedener Ziele wie Service, Kapazitätskosten und Marge wider.

In der heutigen Zeit spielt die Robotik die größte Rolle in der Herstellungsindustrie, aber noch nicht in unseren privaten Leben. Es ist davon auszugehen, dass die Roboter in naher Zukunft auch einen großen Stellenwert in unseren eigenen vier Wänden haben werden. Damit wir aus den Robotern, das Beste herausholen können, ist es wichtig ihnen beizubringen selbständig zu sein. Bei den momentan verfügbaren Robotik Ansätzen, ist dies nicht möglich, da es an Flexibilität mangelt, sie werden oft nur für sehr spezifische Anwendungsfälle verwendet. Das Ziel in der vorliegenden Arbeit ist es zu beantworten, durch welche Ansätze ein Roboter in der Industrie angewendet werden kann. Für die Industrie stellt sich der Ansatz von Deep Reinforcement Learning als vielversprechend dar, ein Algorithmus der durch ''Trial-and-Error'' lernt und somit einfach zum Implementieren ist, aber momentan nicht der beste für den Einsatz in der Robotik ist. Dies zeigte, dass der Einsatz von DRL, in der realen Welt, sei es bei selbstfahrenden Autos oder bei Hausrobotern, noch weit entfernt ist und noch einige Forschungszeit benötigen wird. Weshalb der klassische Ansatz noch für eine Weile, in der Robotik einen Namen haben wird. In today's times, robotics plays the biggest role in the manufacturing industry, but not yet in our private lives. It can be assumed that in the near future, robots will also play a major role in our own homes. To get the most out of robots, it is important to teach them to be independent. With the currently available robotics approaches, this is not possible because of a lack of flexibility, they are often only used for very specific applications. The aim of this thesis is to answer which approaches can be used to apply a robot in industry. For industry, the approach of Deep Reinforcement Learning turns out to be promising, an algorithm that learns by trial-and-error and is therefore easy to implement, but is currently not the best for use in robotics. This showed that the use of DRL, in the real world, be it for self-driving cars or home robots, is still far away and will need some more research time. Which is why the classical approach will still have a name in robotics for a while.

Die relativ neue Wissenschaft der Künstlichen Intelligenz gewinnt immer mehr an Popularität aufgrund der vielfältigen Anwendungsmöglichkeiten in vielen verschiedenen Bereichen, wie zum Beispiel die Robotik. Vor allem bietet Reinforcement Learning eine Reichweite an neuen Möglichkeiten. Verschiedene Programme wurden speziell für das Training eines Agenten entwickelt, jedoch bietet auch die vielfältige Entwicklungsumgebung Unity die Möglichkeit, eine Simulation zu erstellen, in welcher ein Roboter sicher und erschwinglich trainiert werden kann, bevor dieser in der Realität eingesetzt wird. Es stellt sich heraus, dass die Plattform durch das Unity Machine Learning Toolkit einen einfachen Einstieg bietet und das Training von Agenten in vielen verschiedenen Umgebungen ermöglicht. Allerdings darf die Diskrepanz zwischen Realität und Simulation nicht außer Acht gelassen werden. Artificial Intelligence is a relatively new territory with rising popularity. It can be used in many different areas, such as robotics, with reinforcement learning providing a range of new opportunities. Different programs have been developed for the sake of training an agent, but the versatile platform Unity also provides the possibility of creating a virtual environment, in which a robot can inexpensively train without any possible risks or dangers, before it is deployed in the real world. The results show that the engine is beginner friendly and makes it easy to train agents in several different environments, thanks to its Unity Machine Learning Toolkit. However, the discrepancy between the real world and the simulation must be taken into consideration, before deploying a robot with the simulated training data.

Die vorliegende Arbeit beschreibt ein System zur Steuerung einer Produktion, welches gleichermaßen den Energieverbrauch und die logistische Zielerreichung auf Basis der Gesamtkosten regelt. Zu diesem Zweck wird der Energiebezug aus kurzfristigem Stromhandel, Stromspeicher und Eigenerzeugung in die Produktionssteuerung integriert. Als Steuerungsverfahren wird ein Agentensystem entwickelt, welches mittels Reinforcement Learning eine situationsabhängige Steuerungsstrategie erlernt. The present work describes a system for production control, which equally controls the energy consumption and the logistic objectives on the basis of total costs. For this purpose, the energy purchase from short-term electricity trading, electricity storage and self-supply is integrated into the production control. As a solution approach, a multi-agent system is developed which learns a situation-dependent control strategy using reinforcement learning.

Eine funktionsfähige Infrastruktur ist zentrale Voraussetzung für die Wettbewerbsfähigkeit einer Volkswirtschaft. Daher sieht beispielsweise der Bundesverkehrswegeplan bis zum Jahr 2030 allein 141,6 Mrd. Euro für die Instandhaltung der bundesdeutschen Verkehrswege vor. Netzwerke von Straßen oder Brücken sind Beispiele für modulare Systeme, in denen der effiziente Ressourceneinsatz für Instandhaltungsmaßnahmen eine herausragende Rolle spielt. Hier möchte diese Arbeit einen Beitrag leisten, indem sie Planungsansätze vorstellt, die eine effiziente Budgetallokation auf einzelne Komponenten wie z. B. Straßenabschnitte und Perioden ermöglicht, um eine größtmögliche Leistungsfähigkeit des Gesamtsystems zu erreichen. Die Festlegung einer geeigneten Budgetallokation für modulare Systeme unter Unsicherheit stellt eine anspruchsvolle Planungsaufgabe dar, die in der Literatur für unterschiedliche Annahmesysteme untersucht wurde. Besonderheiten der in der Dissertation untersuchten Problemstellung bestehen darin, dass die Planung sich auf einen mehrperiodigen Zeitraum bezieht, für den ein periodenübergreifendes Gesamtbudget zur Verfügung steht, und bei der Modellierung der zeitlichen Entwicklung der Komponentenzustände instationäre stochastische Verschleißprozesse zugelassen werden. Die Wirkungen der Investitionen in Instandhaltungsmaßnahmen der Komponenten auf deren Zustände werden durch eine Funktion beschrieben, die sich als Lösung eines Anfangswertproblems für eine nichtlineare partielle Differentialgleichung ergibt. Die Abhängigkeit der Systemleistung von den Komponentenzuständen wird in Anlehnung an die in der Instandhaltungstheorie übliche Strukturfunktion über eine monoton wachsende Strukturbewertungsfunktion modelliert, wobei der Spezialfall einer quasikonkaven Strukturbewertungsfunktion vertiefend untersucht wird. Als Zielsetzung wird die Maximierung der minimalen Perioden-Systemleistung betrachtet. Als erster Planungsansatz wird eine rollierende Planung untersucht, die unter Verwendung eines Erwartungswertmodells durchgeführt wird. Für die einperiodige Planung wird ein Grenznutzenalgorithmus entwickelt, der in einem Karush-Kuhn-Tucker-Punkt konvergiert, indem als homogener Grenznutzen positiver Investitionsentscheidungen der Lagrange-Multiplikator der Budgetrestriktion angenähert wird. Der Grenznutzen einer Instandhaltungsinvestition ergibt sich dabei jeweils als Produkt aus aktueller Birnbaum- Importanz der Komponente und Effektivität der Investition. Für den Fall quasikonkaver Strukturbewertungsfunktionen konnte die globale Optimalität von Karush-Kuhn-Tucker- Punkten auch für den mehrperiodigen Fall bewiesen werden. Der zweite Planungsansatz entspricht der Umsetzung einer flexiblen Planung zur Berechnung einer Politik, die für jede Periode und jedes Restbudget in Abhängigkeit eines beliebigen zulässigen Systemzustands eine gute Lösung für die zugehörige Budgetallokation liefert. Dazu wird das Optimierungsproblem als stochastisches dynamisches Programm aufgefasst, und die gesuchte Politik wird über die Gewichte eines tiefen neuronalen Netzes repräsentiert. Das Training dieses Netzes geschieht mittels Deep Reinforcement Learning, wobei das eingesetzte Actor-Critic-Verfahren „Deep Deterministic Policy Gradient“ spezifisch auf den Umgang mit überabzählbaren Zustands- und Aktionsräumen ausgelegt ist. Die beiden Planungsansätze werden anhand von zufällig generierten Instanzen für verschiedene Systemstrukturen (Serien-, Parallel-, Serien-Parallel- und Brückenschaltungen) mit einer zufälligen Budgetallokation und untereinander verglichen. Aus diesem Vergleich werden Handlungsempfehlungen für die geeignete Budgetallokation abgeleitet. Mit den in der Arbeit entwickelten Methoden ist es erstmalig möglich, gute periodenübergreifende Budgetallokationen für Probleme der Instandhaltungsplanung modularer Systeme unter instationären Verschleißprozessen innerhalb realistischer Rechenzeiten von – je nach Planungsansatz – einigen Sekunden bis wenigen Stunden zu berechnen., A functioning infrastructure is a key prerequisite for the competitiveness of an economy. For this reason, the German Federal Transport Infrastructure Plan, for example, earmarks 141.6 billion euros for the maintenance of Germany’s transport routes alone by 2030. Networks of roads or bridges are examples of modular systems in which the efficient use of resources for maintenance measures plays a prominent role. This thesis aims to make a contribution by presenting planning approaches that allow efficient budget allocation to individual components such as road sections and periods in order to achieve the highest possible performance of the overall system. Determining an appropriate budget allocation for modular systems under uncertainty is a challenging planning task that has been studied in the literature for different assumption systems. Special features of the problem studied in the dissertation are that the planning refers to a multi-period time frame for which a total budget spanning several periods is available, and non-stationary stochastic deterioration processes are allowed for when modeling the temporal evolution of the component states. The effects of component maintenance investments on their states are described by a function that results as a solution to an initial value problem for a nonlinear partial differential equation. The dependence of the system performance on the component states is modeled by a monotonically increasing structure evaluation function following the structure function commonly used in maintenance theory, and the special case of a quasiconcave structure evaluation function is studied in depth. The maximization of the minimum period system performance is considered as the objective. As a first planning approach, rolling planning is investigated using an expected value model. For single-period planning, a marginal utility algorithm is developed that converges to a Karush-Kuhn-Tucker point by approximating the Lagrange multiplier of the budget constraint as the homogeneous marginal utility of positive investment decisions. In each case, the marginal utility of a maintenance investment is the product of the current Birnbaum importance of the component and the effectiveness of the investment. For the case of quasiconcave structure valuation functions, the global optimality of Karush-Kuhn- Tucker points could also be proven for the multi-period case. The second planning approach corresponds to the implementation of flexible planning to compute a policy that provides a good solution for the associated budget allocation for each period and residual budget depending on any feasible system state. For this purpose, the optimization problem is conceived as a stochastic dynamic program, and the policy sought is represented by the weights of a deep neural network. The training of this network is done using Deep Reinforcement Learning, and the Actor-Critic method "Deep Deterministic Policy Gradient" used is specifically designed to deal with overcountable state and action spaces. The two planning approaches are compared using randomly generated instances for different system structures (series, parallel, series-parallel, and bridge networks) with a random budget allocation and with each other. From this comparison, recommended actions for appropriate budget allocation are derived. With the methods developed in the thesis, it is for the first time possible to compute good period-spanning budget allocations for problems of maintenance planning of modular systems under nonstationary deterioration processes within realistic computation times of - depending on the planning approach - a few seconds to a few hours.