Search

Die Entwicklung sicherer, komfortabler und flexibel einsetzbarer technischer Systeme wird -- mehr denn je -- durch Software und die damit zusammenhängenden Softwareentwicklungsprozesse, -techniken und -methoden bestimmt. Die Qualitätssicherung solcher Systeme hat inzwischen einen Grad an Komplexität erreicht, der nur durch den Einsatz dedizierter Qualitätssicherungstechniken und -methoden zu beherrschen ist. Eingebettete Systeme sind zunehmend vernetzt und setzen Kommunikationsprotokolle ein, die in ihrem Einsatz bisher auf den Bereich der Telekommunikation bzw. das Internet beschränkt waren. Im Gegensatz zu herkömmlichen Softwareanwendungen sind eingebettete Systeme jedoch weiterhin häufig hybride Echtzeitsysteme, die über Sensoren und Aktuatoren mit einer physikalischen Umgebung in Wechselwirkung treten. Sie müssen einerseits kontinuierliche Datenströme verarbeiten, die ihnen ein möglichst exaktes Abbild ihrer Umgebung vermitteln, andererseits nehmen sie Kontrollaufgaben wahr, deren Ergebnisse als diskrete Ereignisse in einem verteilten Systemverbund propagiert werden sollen. Speziell in der Automobilindustrie ist die Anzahl der Steuergeräte in einem Fahrzeug auf 50 bis 80 Stück angestiegen. Eine etablierte Testtechnologie, die einerseits den neuen Anforderungen aus den Bereichen der Telekommunikation gerecht wird und darüber hinaus den bestehenden Anforderungen eingebetteter Systeme nachkommt, gibt es bisher nicht. In dieser Arbeit wird mit TTCN-3 embedded eine Testtechnologie entwickelt, die speziell für das Testen vernetzter, hybrider Systeme geeignet ist und die bestehenden Qualitätssicherungsprozesse in der Automobilindustrie effektiv verbessern kann. Ausgehend von etablierten Formalismen aus der Theorie hybrider Systeme wird eine ausführbare Testspezifikationssprache abgeleitet, die eine intuitive Spezifikation automatisierter Tests für Systeme der Automobilindustrie ermöglicht. Die Spezifikation dedizierte Schnittstellen zur Stimulation, Auswertung und Zeitkontrolle sorgen für eine nahtlose Integration der Sprache in industrielle Werkzeugketten. Die Testspezifikationssprache und ihre Schnittstellendefinitionen sind als Erweiterung des TTCN-3 Standards konzipiert. Die Integration in den TTCN-3 erlaubt einerseits eine einfache und fundierte Industrialisierung der Ideen und schafft andererseits die notwendige Integration mit den Konzepten zum Testen diskreter nachrichtenbasierter Systeme, da diese bereits in TTCN-3 vorhanden sind. Die Grundlagen von TTCN-3 embedded wurden im Forschungsprojekt TEMEA entwickelt. The development of safer, more convenient and flexible technical systems is now, more than ever, determined by software systems and their related development processes, techniques and methods. Technical systems have reached such a high level of complexity that quality can only be assessed and ascertained through the use of testing methods that have been developed for this specific purpose. Embedded systems are now increasingly networked and use communication protocols that were previously limited to the field of telecommunications and the Internet. Embedded systems can be characterized as so called hybrid real-time systems that directly interact with their physical environment through sensors and actuators. These systems are required to perform two tasks simultaneously: they must assess and process continuous streams of data that give them the most accurate representation of their current environment, and they must perform control tasks on basis of the continuous input streams and feed the results of this tasks as discrete events in a distributed network. In the automotive industry, the use of control devices has increased dramatically in recent years: today's average vehicle contains 50 - 80 networked control devices. There is, however, no established test technology which can meet the new and ever-evolving requirements of these modern, networked embedded systems in the way that traditional telecommunication systems nor traditional embedded systems used to do. In this thesis, a test technology, namely TTCN-3 embedded, which supports and facilitates the testing of networked, hybrid systems is developed. TTCN-3 embedded will improve quality assurance processes in the automotive industry. Using the theory of hybrid systems and other well-established formalisms, an executable test specification language of TTCN-3 embedded is developed. This test specification language, in turn, allows for intuitive and practical specification of automated tests for hybrid real-time systems in the automotive industry. Dedicated interfaces for stimulation, evaluation and time control allow for a seamless integration with industrial tool chains. The test specification language and its interfaces are designed as an extension of the TTCN-3 standard. The integration of this new language into the TTCN-3 standard enables a simple, fast and profound industry-wide application and facilitates the integration of hybrid-system testing with the discrete message-based systems testing that already exists. The basis of TTCN-3 embedded has been developed in the context of the project TEMEA.

Dem Bereich des Traffic-Monitoring in IT- und Telekommunikations-Netzen kommt in der Forschung große Bedeutung zu, denn es spielt eine immer wichtigere Rolle bei der Entwicklung moderner Netze, die sich selbst konfigurieren und an Veränderungen in ihrer Nutzungsumgebung sowie an sich ändernde Bedingungen der Netzelemente anpassen können. Im Bereich der selbstverwaltenden IKT-Netze besteht Forschungsbedarf hinsichtlich des grundlegenden Entwurfs sowie der Funktionsprinzipien von Traffic-Monitoring-Komponenten und geeigneten Plattformen für multifunktionale selbstverwaltende IKT-Netze. In einem selbstverwaltenden IKT-Netz arbeiten die Netzelemente und Netz-Management-Systeme kooperativ zusammen, um selbstgesteuerte Prozesse wie Selbstkonfiguration und Selbstmanagement zu bewerkstelligen. Dies geschieht mit dem Ziel, den menschlichen Eingriff überflüssig und damit die Fehleranfälligkeit in einigen komplexeren Aspekten des Netzmanagements hinfällig zu machen bzw. zu minimieren. Im Gegensatz zu nicht selbstverwaltenden IKT-Netzen beanspruchen selbstverwaltende Netze eine höhere Rechnerleistung für die Berechnung von Entscheidungen, welche ein individuelles Netzelement oder das Netz als Ganzes in schwierigen Situationen oder bei Umgebungsveränderungen zu treffen hat. Dies geschieht auf der Basis großer, heterogener Datenmengen, die von den Monitoring-Komponenten gesammelt werden. In selbstverwaltenden Netzen findet unter Umständen ein höherer Informationsaustausch zwischen den Netzelementen (Routern, Hosts, Switches) statt als in nicht selbstverwaltenden Netzen. Um ein globales Selbstadaptionsverhalten des gesamten Netzes zu ermöglichen, müssen Informationen zwischen den Elementen und den Komponenten fließen, die die Daten für den globalen Netzstatus kumulieren, differenzierte Entscheidungen für das Netz berechnen und Monitoring-Informationen an die Netzelemente übermitteln. Es wird eine höhere Speicherkapazität als in nicht selbstverwaltenden Netzen benötigt, um die Statusinformationen des Netzes einschließlich historischer Statusinformationen zu speichern. Deshalb benötigen sie die intelligente und opportunistische Verwendung und Freigabe der verfügbaren Ressourcen der einzelnen Netzelemente wie auch des gesamten Netzes. Auch Flexibilität in Bezug auf die umgebungsabhängige Selbstadaptation der Netz-Funktionen wird erwartet. Um die intelligente und opportunistische Verwendung und Freigabe von Netzressourcen sowie die Selbstadaptation von Netz-Funktionen zu gewährleisten, wird vorgeschlagen, die Netzelemente in ihrem Funktionsablauf so zu konzipieren, dass sie unter anderem den bedarfsorientieren Abruf von Monitoring-Funktionen ermöglichen. Die Dissertation stellt ein bedarfsgesteuertes (on-demand) Monitoring-Paradigma (ODM) vor, dessen Eignung für die dynamische Informationserfassung in selbstverwaltenden Netzen untersucht und demonstriert wird. ODM berücksichtigt die Notwendigkeit, Netzressourcen im gesamten Netz intelligent und opportunistisch einzusetzen, wie auch die, dass Monitoring-Komponenten in der Lage sein müssen, ihre Monitoring-Fähigkeit im Netz selbst zu beschreiben. Die Fähigkeit der Selbstbeschreibung ermöglicht es, dass automatische Tasks eine Monitoring-Komponente mit den gewünschten Kapazitäten bedarfsgesteuert ansteuern, einen Monitoring-Prozess auslösen, die Durchführung dieser Prozesse steuern; Ressourcen der angesteuerten Komponente freigeben, wenn das Monitoring nicht mehr benötigt ist. Die in der Dissertation entwickelten Ergebnisse umfassen: eine mathematische Basis für ODM; Entwurf und Funktionsprinzipien des ODM-Paradigmas; Prinzipien, die einer Komponente Selbstbeschreibungsfähigkeit in Bezug auf Funktionsvermögen und Netzanbindung zuweisen, um so Netz-Funktionen zu ermöglichen, die ein Monitoring an gewünschten Komponenten ermöglichen; eine Sprache zur Beschreibung des Funktionsvermögens; eine Sprache zur Beschreibung des erwünschten Monitoring-Verhaltens; das Konzept des SNMPMIBs für dynamische Monitoring-Datenmodelle; eine Zugriffskontrolle für Monitoring-Anfragen und eine Realisierung des ODM-Paradigmas im Rahmen des GANA-Referenzmodells (Generic Autonomic Network Architecture). Ein ODM-Prototyp dient als Nachweis des grundlegenden Konzepts. Zudem wurden ODM-Metriken berechnet. Dazu wurde eine Methodologie zur Verwendung von Schätzungen zur Ressourcenanforderung hinsichtlich des Warteschlangenverhaltens und der Bearbeitung von Monitoring-Anfragen sowie zur Optimierung der Zulassungskontrolle einer ODM-Komponente entwickelt. Es wurden Beispiele für Netz-Funktionen entwickelt, die den Einsatz und die Anwendbarkeit von ODM demonstrieren. Es werden Vorschläge zur intelligenten und opportunistischen Verwendung von Ressourcen bei ODM-fähigen Traffic-Monitoring-Komponenten erarbeitet. Die Berechnungen und Fallbeispiele mit bedarfsgesteuerten SNMP MIBs verdeutlichen, dass ODM implementierbar und praxistauglich ist. Traffic monitoring in information and telecommunication networks continues to experience a lot of research as it increasingly plays a very significant role in implementing emerging and future networks that self-adapt to changes in their usage context as well as to challenging adverse conditions experienced by the network elements. Self-managing networks call for research on the key design and operational principles for traffic monitoring components and platforms that are suitable for multi-service self-managing networks. A self-managing network is one whose network elements and network management systems work co-operatively to perform so-called self-* operations, such as self-configuration, self-diagnosing, self-repairing, self-optimization, all aimed at eliminating or drastically reducing human intervention in the complex aspects of manual and error prone, or daunting tasks of network management. In contrast to today’s non-self-managing networks, self-managing networks require more computing resources for the computation of decisions taken by individual network elements and by the entire network under adverse conditions or context changes, based on large and diverse information sets collected by monitoring components. In self-managing networks, depending on the network dynamics, a lot more information exchange than in non-self-managing networks may be required to flow between the network elements e.g. routers, hosts, or switches. Information has to flow between the elements and the manager components that aggregate global network state information, compute and perform more sophisticated decisions for the entire network and, communicate control information to the network elements for global self-adaptation behaviour of the whole network. More storage resources are required than in non-self-managing networks, for the storage of the network state information including historical network state data. Therefore, they require intelligent and opportunistic use and sharing of resources available at individual network elements as well as in the entire network. Flexibility to support context-driven (re-)configuration and self-adaptation of the network tasks, is also required. To guarantee intelligent and opportunistic use and sharing of resources of the network, as well as context-driven (re-)configuration and self-adaptation of network tasks, we propose to design functions and components of the individual network elements and the overall network such that their operational principles allow functions, including monitoring functions, to be invoked on-demand by automated tasks that drive a self-managing network. The dissertation presents the on-demand monitoring paradigm (ODM), a monitoring paradigm we researched and demonstrated its suitability for collecting information in self-managing networks dynamically as needed. The ODM-Paradigm takes into account the need to use network resources intelligently and opportunistically throughout the network, as well as the need for monitoring components to self-describe their monitoring capabilities to the network. Self-description of capabilities enables automated tasks to locate and select a monitoring component of desired capabilities (on-demand), trigger monitoring functions and manage their execution, and free resources on the targeted component whenever monitoring is temporarily not required or no longer required by an automated task(s). Artefacts developed are: a mathematical foundation upon which ODM is based; design and operational principles that enable a traffic monitoring component to realize ODM; principles that enable the component to self-describe its capabilities and point of attachment to the network, to enable network tasks to request monitoring on desired components; a language for describing capabilities; a composition language for specifying requested monitoring-behaviours; the concept of on-demand SNMPMIBs for dynamic monitoring data models; admission-control on monitoring-requests; a mapping of ODM within the GANA (Generic Autonomic Network Architecture) reference model. To demonstrate the feasibility of the approach, an ODM-capable probe that serves as proof of concept was developed. Evaluations of metrics associated with ODM were conducted. A methodology was developed on how to measure and use estimations of dynamics of resource demands on a system, in queuing and processing monitoring-requests, and tuning the admission control behavior of an ODM-capable component. Example network tasks that demonstrate applicability of ODM were provided. Arguments are presented on how intelligent and opportunistic use of resources is achievable when traffic monitoring components are ODM-capable. The evaluations and case study with on-demand SNMP MIBs show that ODM can be feasibly implemented and applied in practice.

In den letzten zwei Dekaden hat sich die Anzahl von medizinischen Diensten in Ergänzung der traditionellen medizinischen Versorgung erhöht. Die auf eHealth-Infrastrukturen bezogenen Dienste wie Telemedizin, Telehealth, Electronic Health Record (EHR) sind allgegenwärtig und gehören mittlerweile zum medizinischen Alltag. Eine Hauptcharakteristik der Healthcare Information Systems (HIS) ist, dass sie datenintensive Systeme sind. Eines der größten Probleme bei HIS Lösungen ist die fehlende Interoperabilität der Produkte. Viele Hersteller liefern Lösungen, die eher anbieterzentrierte Ansätze verfolgen (z.B. proprietäre Nachrichtenformate) und damit wenig herstellerübergreifend bzw. interoperabel sind. Die Interoperabilität kann durch Interoperabilitätstesten überprüft werden. Dabei ist für die Interoperabilität von HISs die Etablierung und Einhaltung von Standards wie z.B. der Health Level Seven (HL7) Standard, der die Nachrichtenstruktur für den Austausch von Nachrichten zwischen medizinischen Informationssystemen festlegt, oder von sogenannten IHE Profilen (Integration Healthcare Enterprise) für die Spezifikation von Anwendungsfällen, wichtig. Diese Standards und darauf aufbauende Empfehlungen werden als Basis für das Testen der Interoperabilität herangezogen. Diese Dissertation führt eine Interoperabilitätstest-Methodologie ein und präsentiert die Konzepte für deren technische Realisierung unter Beachtung der Besonderheiten von HIS Systemen. Eine wesentliche Herausforderung dieser Dissertation bestand in einem flexiblen und skalierbaren Entwurf eines Test-Systems, welches auf der einen Seite mit den sehr datenintensiven Systemen umgehen kann und auf der anderen Seite fähig ist, die interagierenden Komponenten zu simulieren. Eine weitere Herausforderung bestand in der automatisierten Anbindung und Konfiguration des Test-Systems bzgl. der Verschiedenartigkeit der Anwendungsszenarien, so dass das Test System in der Lage ist, Interoperabilitätsszenarien durch die Instanziierung der im Voraus programmierten Testkomponenten zu simulieren. Die Methodologie besteht aus drei Teilen: 1) ein Prozess für den Testentwurf, 2) Muster für den Austausch der Nachrichten, die für die Ableitung des Verhaltens der Tests verwendet werden und 3) ein Konzept für eine Testarchitektur eines Test Frameworks. Die entwickelte Interoperabilitätstest-Methodologie wird in einem auf der TTCN-3 Test Technologie basierten Test-System realisiert. Ein wichtiges Element der Realisierung ist das semantische Mapping der HL7 Version 2.x Nachrichtstrukturen nach TTCN-3 Typen, das die Struktur und Semantik der Nachrichten bewahrt. Eine Sammlung von Ableitungsalgorithmen, die passendes TTCN-3 Test-Verhalten erzeugen, vervollständigen die Definition der Testskripts. Das Framework unterstützt auch die Kommunikation mit dem System unter Test und ist in der Lage, sich dynamisch an beliebige Testkonfigurationen, die die Test-Szenarien erfordern, anzupassen. Die Effektivität der entwickelten Interoperabilitätstest-Methodologie wird anhand von zwei Fallstudien demonstriert. In der ersten Fallstudie wird die Interoperabilität der IHE PCD Systeme (Patient Care Devices) untersucht. In der zweiten Fallstudie wird die Methodologie auf IHE ITI (IT Infrastructure) konforme Systeme angewendet. Während die erste Fallstudie in einem Forschungsprojekt durchgeführt wurde, welches die Angemessenheit der Methodologie nachweist, demonstriert die zweite Fallstudie ihre Anwendbarkeit in einem industriellen Kontext. Over the last two decades, the number of healthcare services at the edge of the traditional medical care and computer technologies has increased dramatically, making eHealth infrastructure-related services ubiquitous. Services such as telemedicine, telehealth, Electronic Health Record (EHR) systems are common terms and practices in the actual medical-care sector. A main characteristic of Healthcare Information Systems (HISs) is that they are very data-intensive systems. In this respect, a major problem is the lack of product interoperability. Many vendors provide solutions, which are rather provider-centric approaches (i.e., proprietary protocols and message formats), hence, interoperability is not regarded. The interoperability can be evaluated by means of interoperability testing. The publication of standards such as the Health Level Seven Messaging Standard (HL7) for defining a common message-structuring scheme for message exchange between medical information systems, or the adoption of the Integrating the Healthcare Enterprise (IHE) integration profiles for specifying use cases that implementers should follow, is an important step in enabling interoperable HISs. These standards and recommendations are the basis for interoperability testing. This thesis develops an interoperability testing methodology and its realisation concepts for coping with the aforementioned issues in HISs. The main problem addressed in this thesis is how to design a test system that can deal with very data-intensive systems and, at the same time, is capable of emulating the interacting parties. The challenge in this approach is how to automatically customise and configure the test platform to simulate an interoperability scenario by instantiating test components programmed in advance to simulate the behaviour of particular interacting entities as required by the test scenarios. The methodology consists of three main parts: 1) the test design process 2) the message event patterns which are used to derive test simulators and 3) the conceptual architecture for a test framework. The developed interoperability testing methodology is instantiated in a test framework based on the TTCN-3 test technology. An important component of the realization of the test system is based on the semantic mapping of HL7 version 2.x message structures to TTCN-3 message types that preserves the ontology. A set of derivation algorithms for providing TTCN-3 test behaviours and configurations completes the abstract definition of test scripts. The framework also provides means of communication with System under Test (SUT) and is capable to dynamically adapt to any test configuration as required by test scenarios. The effectiveness of the developed interoperability testing methodology is demonstrated throughout two case studies. The first case study investigates the interoperability of systems from the IHE Patient Care Devices (PCD) domain. The second applies the methodology to another domain, namely IHE IT Infrastructure (ITI). While the first case study realised within a research project shows the suitability of the developed methodology, the second case study demonstrates its feasibility directly in an industrial context.

Softwaresysteme werden heutzutage in immer mehr Bereichen eingesetzt und betreffen mittlerweile fast jeden Aspekt des täglichen Lebens in modernen Gesellschaften. Um den Anforderungen dieser verschiedenen Einsatzgebiete zu genügen, ist die Komplexität von solchen Systemen in den letzten Jahren rasant gestiegen. Ausserdem werden kontinuierlich neue Technologien entwickelt, um den Verbrauchern bessere Dienste zu günstigeren Preisen anbieten zu können. Dabei steht die Software-Industrie unter erheblichem Druck, denn es sollen in kurzen Zeiträumen komplexe Produkte entwickelt werden, die auf diesen neuen Technologien basieren. Zudem sollen diese Produkte ein Mindestmass an Qualität vorweisen, um die Sicherheit der neuen Technologien zu gewährleisten und um deren Akzeptanz nicht zu gefährden. Dies führt dazu, dass neue, bessere Software-Produkte unter erschwerten zeitlichen und finanziellen Bedingungen entwickelt werden müssen. Diese Trends stellen die Testentwicklung vor neuen Herausforderungen, die mit bisherigen Ansätzen nur schwer zu lösen sind. Diese Arbeit stellt einen neuen Ansatz der Testentwicklung für reaktive Softwaresysteme vor, wobei eine modellgetriebene Entwicklung (Model-Driven Engineering; MDE) von Testskripten mit sogenannten Entwurfsmustern (Design Patterns) kombiniert wird. Dieser Ansatz wird als Musterorientiertes modellgetriebenes Testen (Pattern-Oriented Model-Driven Testing) bezeichnet und bietet ein hohes Maß an Möglichkeiten zur Automatisierung an. Dadurch wird die Testentwicklung für Softwaresysteme erheblich vereinfacht und der Testprozess als ganzer sowohl qualitativ als auch quantitativ verbessert. Es wurde ein Entwurfsmuster-Katalog für die Testentwicklung zusammengestellt, der aus praktischer Erfahrung in zahlreichen Projekten ermittelt wurde. Zudem beschreibt die Arbeit eine Methodologie für den vorgeschlagenen Ansatz. Diese basiert auf der Unified Test Modeling Language (UTML), einer neuen Notation zur Unterstützung des musterorientierten modellgetriebenen Testens, die ebenfalls in dieser Arbeit entwickelt wurde. Die UTML ist eine domain-spezifische Modellierungssprache (Domain-Specific Modeling Language; DSML) für das Entwerfen von Testzielen, Testarchitekturen, Testdaten und Testverhalten. Dabei bringt sie die oben genannten Testmustern konzeptuell zum Ausdruck und ermöglicht es, auf dieser Basis neue Testartefakte als Modellelemente zu entwerfen. Die Wirkung des Ansatzes auf den Testprozess wird anhand von konkreten Fallstudien aus unterschiedlichen Einsatzgebieten demonstriert, die einen Gewinn an Effizienz bei erhöhter Qualität belegen. The level of pervasiveness and complexity of software and computing systems has been growing continuously since their introduction. New technologies emerge at regular base, covering ever more aspects of our daily life and leading to shorter product delivery cycles. These ongoing trends are posing new challenges to traditional software testing approaches, because despite those constraints, software products are required to meet a certain level of quality prior to their deployment. Otherwise, confidence in new technologies and products could be harmed, potentially leading to their commercial failure. Therefore, tests have to be developed within harsher time constraints for increasingly complex systems. This thesis introduces a new approach of test development for reactive software systems combining model-driven engineering (MDE) of testcases and test design patterns, that addresses the previously mentioned challenges. The approach is labelled Pattern-Oriented Model-Driven Testing and provides a high potential for automation, through which the development of tests for software systems can significantly be improved, both quantitatively and qualitatively. The thesis presents a catalogue of test design patterns, along with a methodology for the proposed approach. The methodology is based on a new notation called Unified Test Modeling Language (UTML), specifically designed to support pattern-oriented model-driven testing. UTML is a Domain-Specific Modeling Language (DSML)for designing test objectives, test architectures, test data and test behaviour at a high level of abstraction, using predefined test design patterns. The result are so-called abstract test models, that can then be subsequently refined through a series of iterative transformation processes into executable test sequences, scripts or documentation artifacts. To illustrate the approach and to evaluate its impact on the testing process, several case studies from various application domains are discussed.

Die Modellierung von Systemverhalten anhand von Zustandsdiagrammen, beispielsweise anhand der Unified Modeling Language, zählt inzwischen zu den etablierten Vorgehensweisen bei der Erstellung von softwareintensiven Systemen. Um Softwarekomponenten mit einem gewünschten Verhalten herzustellen, wird innerhalb eines modellgetriebenen Arbeitsflusses üblicherweise mit Ansätzen zur Kodeerzeugung gearbeitet. Solch ein Ansatz ermöglicht zwar die Erzeugung eines effizienten Laufzeitystems, allerdings ist das Systemverhalten dann durch die Artefakte des Erzeugungsprozesses statisch festgelegt. Änderungen am Verhaltensmodell ziehen notwendigerweise eine erneute Erzeugung, Übersetzung und das wiederholte Aufspielen der Anwendung nach sich. Bei der Entwicklung autonomer Systeme gehen wir davon aus, dass Systeme ihr Verhalten zur Laufzeit an sich ändernde Umgebungsbedingungen anpassen können. Da statische Artefakte kaum, oder nur sehr schwer, zur Laufzeit geändert werden können, verbietet sich ein Einsatz von Kodeerzeugung für die Erstellung autonomer Systeme. In dieser Arbeit untersuchen wir einen Lösungsansatz für dieses Problem. Anstelle von statischer Kodeerzeugung verwenden wir Techniken der dynamischen Programminterpretation für die Ausführung von Verhaltensmodellen. Damit ermöglichen wir die Änderung von Verhaltensmodellen auf der Ebene einzelner Modellelemente zur Laufzeit. Wir erreichen dieses Ziel durch die Ausarbeitung grundlegender Konzepte der Interpretation von Verhaltensmodellen und demonstrieren anhand von Implementierungen die Machbarkeit des Ansatzes. Wir erachten es nicht als ausreichend nur die generelle Durchführbarkeit zu zeigen, da die Nützlichkeit des Ansatzes von dem beabsichtigten Anwendungszweck eines Systems abhängt. Die Begutachtung unseres Ansatzes erfolgt dabei sowohl durch quantitative als auch durch qualitative Methoden. Zur quantitativen Betrachtung führen wir einen eigens entworfenen Benchmark-Test ein, der den Vergleich der Laufzeitverhalten von erzeugtem und interpretiertem Kode ermöglicht. Die qualitative Begutachtung stützt sich auf Fallstudien aus den Bereichen der Netzwerk- und Systemverwaltung. Wir stellen fest, dass die Interpretation von Verhaltensmodellen zur Laufzeit etwa um einen Faktor 20 langsamer ist als die Verwendung von Kodeerzeugung. Im Kontext der Netzwerk- und Systemverwaltung ist das allerdings unerheblich, da die Ausführungsgeschwindigkeit ausreichend für typische Aufgaben in diesen Gebieten ist. Eine Ausnahme davon bilden Anwendungen, die mit einem sehr hohen Datendurchsatz arbeiten oder die anfällig für kleinste Verzögerungen beim Datentransport sind. Modelling system behaviour by means of statechart-based formalisms, such as the state machine formalism defined in the Unified Modeling Language, is an established practice in software engineering. As part of a model-driven workflow, engineers usually employ a code generation approach to create software components that implement an intended runtime behaviour. Although this approach yields software components with a good runtime performance, the resulting system behaviour is static. Changes to the behaviour model necessarily provoke an iteration in the code generation workflow and a re-deployment of the generated artefacts. In the area of autonomic systems engineering, it is assumed that systems are able to adapt their runtime behaviour in response to a changing context. Thus, the constraints imposed by a code generation approach make runtime adaptation difficult, if not impossible. We investigate a solution to this problem by employing interpretation techniques for the runtime execution of behaviour models, enabling the adaptability of a system's runtime behaviour on the level of single model elements. This is done by devising concepts for behaviour model interpretation, which are then used in proof-of-concept implementations to demonstrate the feasibility of the approach. It is insufficient to show only the general feasibility of behaviour model interpretation, as the usefulness of this approach depends on the context the model is used in, which is determined by a specific application domain. Therefore, an assessment of the approach is carried out, using quantitative as well as qualitative methods. For the quantitative evaluation, a novel benchmark is introduced, that enables a performance comparison between the proof-of-concept implementations and generated code. The qualitative assessment is based on use case studies conducted in the area of network and systems management. Behaviour model interpretation has a performance overhead when compared to code generation. In the context of the network and systems management domain, the performance of the approach is found to be adequate for the vast majority of situations, except when dealing with high-throughput or delay-sensitive data.

Das Testen von servicebasierten Applikationen ist eine wichtige, aber auch herausfordernde Aktivität. Speziell das Integrationstesten, das mit nach-rich-tenbasierter Kommunikation in einer serviceorientierten Umgebung umgehen können muss, ist eine schwierige Aufgabe. In dieser Promotionsschrift wird ein modelbasierter Ansatz für das Integrieren von Services und das Integrationstesten vorgeschlagen. Die Forschungsarbeiten, die zur Realisierung der einzelnen Phasen dieses Ansatzes nötig waren, sind der Hauptbeitrag der Promotion. Zuerst wird MCM, eine domänenspezifische Sprache zur Modellierung von Servicechoreographien, sowie deren präzise Semantik, die das Integrationstesten ermöglicht, vorgestellt. Dann wird ein Framework zur Generierung von Integrationstests für Services präsentiert, das drei verschiedene modelbasierte Testgeneratoren enthält, die je nach Kontext ausgewählt werden können. Weiterhin wird erklärt, wie die generierten Tests in konkrete Testskripte transformiert werden, die deren Ausführung auf einer servicebasierten Unternehmenssoftware ermöglicht. Schließlich wird eine Fallstudie des MCM-basierten Ansatzes in einer industriellen Umgebung beschrieben., The testing of service-based applications is an important but challenging activity. Especially the integration testing is a difficult task that needs to cope with the message-based communication in the service-oriented world. In this thesis, a model-based approach to service integration and integration testing is proposed. The necessary research work to realize its phases is the main contribution of the dissertation. First, MCM, a domain-specific language for service choreography modeling, is introduced together with a precise semantics that makes it suitable for integration testing. Then, a framework for generating service integration tests is presented, incorporating three different model-based test generation techniques that can be chosen according to the test context. Further, it is explained how the generated test cases are transformed into concrete test scripts, thus enabling their execution on an enterprise service-based application. Finally, the conducted case study of the MCM-based approach in an industrial setting is described.

Die Forschung im Bereich Software-Aspekte von eingebetteten Systemen wird in naher Zukunft entscheidenden Einfluss auf Industrie-, Markt- und Alltagsleben haben. Das regt die Untersuchung dieses Anwendungsgebietes an. Weiterhin wird die Erstellung eines konsistenten, wiederverwendbaren und gut dokumentierten Modells die wichtigste Aufgabe bei der Entwicklung von eingebetteten Systemen. Designentscheidungen, die früher auf der Kodeebene beschlossen wurden, werden heute zunehmend auf einer höheren Abstraktionsebene getroffen. Außerdem, wenn die Debatte über die Relevanz von Modellen und modellbasierter Entwicklung für die Softwaretechnik zutreffend ist, dann besitzt sie auch Gültigkeit für Aktivitäten der Qualitätssicherung einschließlich Testen. Hiermit wird das Konzept des modellbasierten Testens entwickelt. Heutzutage erfüllen 44% der eingebetteten Systemdesigns 20% der Erwartungen an Funktionalität und Leistung. Das liegt zum Teil daran, dass ein passender Testansatz für funktionale Validierung und Verifikation fehlt. Folglich bezieht sich das in dieser Dissertation besprochene Problem auf den Qualitätssicherungsprozess auf Modellebene, wenn weder Kode noch Hardware existiert. Eine systematische, strukturierte, wiederholbare und möglichst abstrakte Testspezifikation ist der Hauptschwerpunkt dieser Arbeit. Ein weiteres Ziel ist eine Automatisierung des Testprozesses, da diese den Arbeitsaufwand und die Kosten der Entwicklung beträchtlich senken kann. Der Hauptbeitrag dieser Dissertation gilt für Software der eingebetteten Systemen und bezieht sich die eigentliche Breite dieser Arbeit auf Modelle des Softwares, auf deren Grundlage folglich die Systeme gebaut werden. Ein Ansatz für funktionale Black-Box Tests, die auf den Modellen basieren und die selbst auch ein Testmodell darstellen, wurde entwickelt. Dem stehen derzeit verwendete Testmethoden gegenüber, die zweckbestimmte Lösungen für in der Regel spezialisierte Testzusammenhänge darstellen. Die hier vorgeschlagene Testframework wurde in einer MATLAB®/Simulink®/Stateflow®-Umgebung realisiert und trägt den Namen Model-in-the-Loop for Embedded System Test (MiLEST). Das Signalsmerkmals-orientierte Paradigma erlaubt eine abstrakte Beschreibung eines Signals und spricht sowohl die Probleme des fehlenden Verlaufes von Referenzsignalen als auch der systematischen Testdatenauswahl an. Zahlreiche Signalsmerkmale werden identifiziert und klassifiziert, vordefinierte Testmuster helfen, hierarchische Testspezifikationen zu bilden. Dadurch wird die Verarbeitung von diskreten und kontinuierlichen Signalen möglich, so dass das hybride Verhalten des Systems adressiert wird. Das Testen mittels MiLEST beginnt in der Anforderungsphase und geht hinunter auf das Testdurchführungsniveau. Einige Prozessschritte sind automatisiert, wobei die Testdatengenerierung und die Testauswertung zu den wichtigsten zählen. Drei Fallstudien, die auf der Funktionalität des Tempomats basieren, werden vorgestellt. Diese Beispiele entsprechen den Komponententests, Component-in-the-Loop-Tests und Integrationsniveautests. Außerdem, werden die Qualität des Testspezifikationsprozesses, des Testmodells und der resultierenden Testfälle genauer untersucht. Die Testqualitätsmetriken werden dann während der Testkonstruktion und der Testdurchführung angewendet, um einzuschätzen, ob und in welchem Maße sich die vorgeschlagene Methode von bekannten Techniken unterscheidet. Qualitätsgewinn von mindestens 20% wird abgeschätzt. Gedruckte Version im Fraunhofer IRB Verlag [http://www.irb.fraunhofer.de/irb_verlag/] erschienen. Software aspects of embedded systems are expected to have the greatest impact on industry, market and everyday life in the near future. This motivates the investigation of this field. Furthermore, the creation of consistent, reusable, and well-documented models becomes an important stage in the development of embedded systems. Design decisions that used to be made at the code level are increasingly made at a higher level of abstraction. The relevance of models and the efficiency of model-based development have been demonstrated for software engineering. A comparable approach is applicable to quality-assurance activities including testing. The concept of model-based testing is emerging in its application for embedded systems. Nowadays, 44% of embedded system designs meet only 20% of functionality and performance expectations. This is partially attributed to the lack of an appropriate test approach for functional validation and verification. Hence, the problem addressed by this innovation relates to quality-assurance processes at model level, when neither code nor hardware exists. A systematic, structured, and abstract test specification is in the primary focus of the innovation. In addition, automation of the test process is targeted as it can considerably cut the efforts and cost of development. The main contribution of this thesis applies to the software built into embedded systems. In particular, it refers to the software models from which systems are built. An approach to functional black-box testing based on the system models by providing a test model is developed. It is contrasted with the currently applied test methods that form dedicated solutions, usually specialized in a concrete testing context. The test framework proposed herewith, is realized in the MATLAB®/Simulink®/Stateflow® environment and is called Model-in-the-Loop for Embedded System Test (MiLEST). The developed signal-feature – oriented paradigm allows the abstract description of signals and their properties. It addresses the problem of missing reference signal flows as well as the issue of systematic test data selection. Numerous signal features are identified. Furthermore, predefined test patterns help build hierarchical test specifications, which enables a construction of the test specification along modular divide-and-conquer principles. The processing of both discrete and continuous signals is possible, so that the hybrid behavior of embedded systems can be addressed. The testing with MiLEST starts in the requirements phase and goes down to the test execution level. The essential steps in this test process are automated, such as the test data generation and test evaluation to name the most important. Three case studies based on adaptive cruise control are presented. These examples correspond to component, component-in-the-loop, and integration level tests. Moreover, the quality of the test specification process, the test model, and the resulting test cases is investigated in depth. The resulting test quality metrics are applied during the test design and test execution phases so as to assess whether and how the proposed method is more effective than established techniques. A quality gain of at least 20% has been estimated. Printed version available from Fraunhofer IRB Verlag: [http://www.irb.fraunhofer.de/irb_verlag/]

In den letzten Jahren hat sich das Angebot an Telekommunikationsdiensten erweitert, was dazu geführt hat, dass der Markt für Dienste, die sich auf Netzwerkinfrastrukturen beziehen, mittlerweile sehr umkämpft ist. Ausserdem werden die traditionellen Telekommunikationssysteme mit Internet Technologien kombiniert, um eine grössere Auswahl an Diensten anbieten zu können. Daraus resultieren offensichtlich eine Zunahme der Teilnehmeranzahl und ein erhöhter Dienst-Bedarf. Infolge dieser Komplexität werden Leistungstests der sich kontinuierlich entwickelnden Telekommunikationsdienste zu einer echten Herausforderung. Effizientere und leistungsfähigere Testlösungen werden benötigt. Das Leistungsvermögen hängt ab vom Workload Design und von der effizienten Nutzung der Hardware für die Testdurchführung. Die Leistungstests der Telekommunikationsdienste führen zu einer interessanten Problemstellung: Wie soll man adäquate Lastprofile erstellen, um die Leistung solcher Systeme zu testen? Traditionelle Methoden zur Darstellung der Last, die auf Anfrage/Sekunde basieren, sind nicht zweckmässig, da sie keine geeigneten Modelle zur Anordnung des Datenverkehrs nutzen. In diesen Umgebungen soll der Nutzer mit dem Netzwerk über fortlaufende Anfragen, sogenannten Transaktionen, interagieren. Mehrere Transaktionen erzeugen einen Dialog. Ein Benutzer kann gleichzeitig zwei oder mehrere Dienste abrufen und es können verschieden Navigationsmuster für verschiedene Benutzergruppen beobachtet werden. Diese Promotion schlägt eine Methodologie für Leistungstests vor, die sich mit den vorher genannten Charakteristika beschäftigt. Diese Methodologie setzt sich aus Verfahrensweisen und Modellen zusammen, die eine adäquate Last von Multi-Dienst Systemen realisieren sollen. Die Leistungsfähigkeit dieser Methodologie wird in einer Fallstudie nachgewiesen, die sich mit Leistungstests von IMS-Systemen (IP Multimedia Subsystem) befasst., Over the last few years, the scope of telecommunication services has increased dramatically, making network infrastructure-related services a very competitive market. Additionally, the traditional telecoms are now using Internet technology to provide a larger range of services. The obvious outcome, is the increase in the number of subscribers and services demanded. Due to this complexity, the performance testing of continuously evolving telecommunication services has become a real challenge. More efficient and more powerful testing solutions are needed. This ability depends highly on the workload design and on the efficient use of hardware resources for test execution. The performance testing of telecommunication services raises an interesting problem: how to create adequate workloads to test the performance of such systems. Traditional workload characterization methods, based on requests/second, are not appropriate since they do not use proper models for traffic composition. In these environments, users interact with the network through consecutive requests, called transactions. Several transactions create a dialog. A user may demand in parallel two or more services and different behavioural patterns can be observed for different groups of users. This thesis proposes a performance testing methodology which copes with the afore mentioned characteristics. The methodology consists of a set of methods and patterns to realize adequate workloads for multi-service systems. The effectiveness of this methodology is demonstrated throughout a case study on IP Multimedia Subsystem performance testing.

Vor dem Hintergrund der steigenden Nachfrage nach mehr Komfort, Sicherheit und Umweltfreundlichkeit ist die Entwicklung von E/E-Systemen (elektrik/elektronik) zu einer zentralen Aufgabe für die Automobilhersteller geworden. In der gegenwärtigen Situation, die durch die rapide Zunahme von software- und elektronikbasierten Bestandteilen in modernen Fahrzeugen und den damit verbundenen harten Konkurrenzkampf auf dem Automobilmarkt gekennzeichnet ist, ist es notwendig, optimale Architekturen für automobile E/E-Systeme in relativ kurzer Zeit zu entwickeln. Die optimale Architektur eines E/E-Systems muss die Hardwarenutzung (d. h. Prozessoren, Datenspeicher, Kommunikationskabel, I/O Module, etc.) und die Betriebskosten (Energie- und Treibstoffverbrauch, Wartung, Verschrottung, etc.) verringern und gleichzeitig die Funktionstüchtigkeit und die Qualität (Leistung, Zuverlässigkeit, Sicherheit, etc.) des Systems verbessern. In dieser Arbeit schlagen wir vor, dieses Problem durch computergestützte Werkzeuge zu lösen. Dies macht einschneidende Veränderungen sowohl in den Entwicklungsmethoden als auch in den Designprozessen erforderlich. Wir schlagen einen systemorientierten Entwicklungsprozess vor, der die modellbasierte Definition der Architekturen von automobilen E/E-Systemen unterstützen kann. Diese Arbeit definiert die passenden Modellierungstechniken und die Algorithmen, die eine automatische Partitionierung von System-level-E/E-Modellen ermöglichen. Because of the increasing demand for more comfort, security and environmental compatibility, the development of E/E-systems (Electric/Electronic) has become a central task for automobile manufacturers. In the actual context that is characterized by the rapid increase of software- and electronic-based components in modern vehicles and the related hard competition in the automobile market, it is necessary to design optimal architectures for automobiles' E/E-systems in a relatively short time. An optimal architecture of an E/E-system must minimize the usage of the hardware (i.e. processing units, memory elements, communication cables, etc.) as well as the operating costs (energy and fuel consumption, maintenance, waste disposal, etc.) and concurrently optimize the functioning and the quality (i.e. performance, reliability, safety, security, etc.) of the system. In this thesis we suggest to solve this problem by means of CAD-supported tools. This requires drastic changes within both the established development methods and the design processes. We propose a system-oriented design process and an automatic partitioning method with appropriate modeling techniques to support the model-based definition of the architectures of automobiles' E/E-systems.

Die Automatisierung der Testfallermittlung für den struktur-orientierten Unit-Test objektorientierter Software verspricht enorme Kostenreduktion und Qualitätssteigerung für ein Softwareentwicklungsprojekt. Die Herausforderung besteht darin, automatisch Testsequenzen zu generieren, die eine hohe Überdeckung des Quellcodes der zu testenden Klasse erreichen. Diese Testsequenzen modellieren bestimmte Szenarien, in denen die zu testende Klasse geprüft wird. Der Grad an erzielter Code-Überdeckung ist ein Maß für die Testabdeckung und damit der Testqualität generell. Die existierenden Automatisierungsansätze beruhen hauptsächlich auf entweder symbolischer Ausführung und Constraint-Lösung oder auf einem Suchverfahren. Sie haben jedoch verschiedene Begrenzungen, die sowohl ihre Anwendbarkeit für unterschiedliche zu testende Klassen als auch ihre Effektivität im Hinblick auf die erreichbare Code-Überdeckung einschränken. Die Ansätze basierend auf symbolischer Ausführung und Constraint-Lösung weisen die Beschränkungen dieser Techniken auf. Dies sind beispielsweise Einschränkungen hinsichtlich der Skalierbarkeit und bei der Verwendung bestimmter Programmierkonstrukte wie Schleifen, Felder und komplexer Prädikate. Die suchbasierten Ansätze haben Schwierigkeiten bei komplexen Prädikaten und komplexen Methodenaufrufabhängigkeiten. Die Ansätze adressieren weder den Test nicht-öffentlicher Methoden, ohne die Objektkapselung zu verletzen, noch die Behandlung von Laufzeitausnahmen während der Testgenerierung. Objektkapselung, nicht-öffentliche Methoden und Laufzeitausnahmen sind jedoch grundlegende Konzepte objektorientierter Software, die besonderes Augenmerk während des Tests erfordern. Die vorliegende Dissertation schlägt einen neuen Ansatz zur automatischen Generierung objektorientierter Unit-Tests vor. Dieser Ansatz verwendet Genetische Programmierung, ein neuartiges meta-heuristisches Optimierungsverfahren. Dadurch kann die Testsequenz-Generierung geeigneter als Suchproblem formuliert werden als es die existierenden Ansätze gestatten. Effektivere Suchen nach Testsequenzen zur Erreichung von hoher Code-Überdeckung werden so ermöglicht. Der Ansatz umfasst außerdem den Test nicht-öffentlicher Methoden ohne Kapselungsbruch und berücksichtigt Laufzeitausnahmen, indem er die für die Suche verwendeten Zielfunktionen adequat definiert. Eine umfangreiche Fallstudie demonstriert die Effektivität des Ansatzes. Die dabei verwendeten Klassen besitzen nicht-öffentliche Methoden und führen in zahlreichen Fällen zu Laufzeitausnahmen während der Testgenerierung. Die erreichten Code-Überdeckungen werden den Ergebnissen eines Zufallsgenerators sowie zweier kommerzieller Testsequenz-Generatoren gegenübergestellt. In der Mehrheit der Fälle übertraf der hier vorgeschlagene Ansatz die alternativen Generatoren. Automating the generation of object-oriented unit tests for structural testing techniques has been challenging many researchers due to the benefits it promises in terms of cost saving and test quality improvement. It requires test sequences to be generated, each of which models a particular scenario in which the class under test is examined. The generation process aims at obtaining a preferably compact set of test sequences which attains a high degree of structural coverage. The degree of achieved structural coverage indicates the adequacy of the tests and hence the test quality in general. Existing approaches to automatic test generation for object-oriented software mainly rely either on symbolic execution and constraint solving, or on a particular search technique. However, these approaches suffer from various limitations which negatively affect both their applicability in terms of classes for which they are feasible, and their effectiveness in terms of achievable structural coverage. The approaches based on symbolic execution and constraint solving inherit the limitations of these techniques, which are, for instance, issues with scalability and problems with loops, arrays, and complex predicates. The search-based approaches encounter problems in the presence of complex predicates and complex method call dependences. In addition, existing work addresses neither testing non-public methods without breaking data encapsulation, nor the occurrence of runtime exceptions during test generation. Yet, data encapsulation, non-public methods, and exception handling are fundamental concepts of object-oriented software and require also particular consideration for testing. This thesis proposes a new approach to automating the generation of object-oriented unit tests. It employs genetic programming, a recent meta-heuristic optimization technique, which allows formulating the task of test sequence generation as a search problem more suitably than the search techniques applied by the existing approaches. The approach enables testing non-public methods and accounts for runtime exceptions by appropriately designing the objective functions that are used to guide the genetic programming search. The value of the approach is shown by a case study with real-world classes that involve non-public methods and runtime exceptions. The structural coverage achieved by the approach is contrasted with that achieved by a random approach and two commercial test sequence generators. In most of the cases, the approach of this thesis outperformed the other methods.