Time sensitive networking for virtualized integrated real-time systems

Abstract

For many years, embedded computer systems have been designed based on federated architectures where every service of a system is mapped to a dedicated hard-ware unit. A federated system architecture, despite several advantages such as low architectural complexity and high level of dependability, requires a new dedicated node for every newly added function. Therefore, integrated system architectures were introduced to address the scalability issues of federated systems, assuming that every node comprises several isolated partitions and different services can execute on a single node. Nevertheless, the integrated systems require many modifications in case of any changes in a system which lead to the costly design, integration, verification and maintenance processes. Thereby, a domain-specific integrated system can be transformed into a more generic solution through resource virtualization. Such a virtualized integrated system can host several functions with different reliability constraints and temporal requirements on the virtualized computing resources. The key advantage of the virtualized integrated systems is that they are reconfigurable easily and at very low cost. Each function in the virtualized integrated system may reside either on different partitions of a single processing node or on different computers and communicate with other functions via a common networking infrastructure. Therefore, the non-functional requirements of the virtualized integrated system, including reliability, availability, integrity, safety and maintainability highly depend on the capabilities of the communication infrastructure. Moreover, the networking technology of the integrated system has a significant impact on the design, complexity management and integration process. The Ethernet standard due to its widespread usage is considered as a promising networking solution for the virtualized integrated system. However, Ethernet does not offer the fault-tolerant and deterministic communication infrastructure that is essential for modern embedded systems. Therefore, this thesis introduces a communication layer of a virtualized integrated system based on the principles of the Time-Sensitive Networking (TSN) standard, which encompasses a series of protocol extensions to the Ethernet standard. TSN offers real-time capability and performance improvements while benefiting from high bandwidth and seamless connectivity of Ethernet technologies. It is essential to verify the correctness and applicability of TSN mechanisms as a networking solution for the virtualized integrated system. Therefore, this thesis presents a simulation framework for the TSN standard, which is developed as a multi-hop switched Ethernet network. The simulation framework is generic with stable interfaces between simulation components. Therefore, it can be universally applied to simulate different applications and to gain insights into different architectural decisions (e.g. different topologies, different redundancy degrees). In addition, it can be extended using additional sub-protocols of TSN and modified to incorporate future changes introduced by the TSN working group. The TSN simulator also includes dynamic configuration services, thereby enabling the modelling of dynamic applications (like train inauguration) and system adaptation (e.g. fault recovery). Furthermore, there is neither an existing simulation framework nor an actual TSN device which contains different TSN features such as remote configuration, clock synchronization and time-aware shaping simultaneously. Hence, the presented TSN simulator provides a comprehensive simulation platform for modelling, performance and reliability evaluation of TSN networks. The empirical results based on a real-world use case illustrate that the central configuration model of TSN enables the remote management and configuration of the emulated network. Moreover, according to the experimental results, the simulation models with TSN features satisfy the stringent timing and reliability requirements of the virtualized integrated system. TSN offers determinism using Time-Triggered (TT) transmission schedules which are expressed as Gate Control Lists (GCL). The scheduling problem arising from the GCL synthesis is NP-complete. Moreover, the feasibility of running real-time applications over different virtualized computing resources makes the search space of legitimate schedules even bigger. Therefore, the optimization algorithms for the search space exploration are a vital element for the deployment of TSN. This thesis presents a fast Genetic Algorithm (GA) and a Heuristic List Scheduler (HLS) which are designed to compute GCLs by addressing the interdependence of routing and scheduling constraints. The primary goal of these schedulers is to satisfy the deadlines of real-time applications while optimizing the TT transmission makespan and the overhead of TT communication. The experimental results show that GA and HLS improve the transmission makespan on average by 31 % and 39 % respectively compared to an existing scheduling strategy which uses fixed routing. Moreover, in experiments, it is observed that the schedulability ratios of GA and HLS significantly increase (on average by 71 % and 73 % respectively) compared to a two-step scheduler. The seamless recovery from faulty behaviours is vital for many modern embedded systems, since failures in such systems may result in irreparable environmental damages and substantial financial losses. Therefore, this thesis extends the scheduling strategies described above to support the TSN redundancy management mechanism. To this end, the message replication, elimination of replicas and the redundant path selection are incorporated to the TSN schedulers. The main goal of the fault-tolerant TSN schedulers is to optimize the overall system reliability based on application and platform models while satisfying the real-time constraints of the application. The system reliability considers the redundancy in the application models (e.g. redundant and non-redundant real-time jobs), the redundancy in the platform models and the reliability of the TSN platform components (e.g. end systems, switches and links) and novel TSN-based fault-tolerance mechanisms such as IEEE 802.1CB. The empirical results show that the fault-tolerant TSN schedulers enhance the system reliability of the schedules compared to TSN schedulers without fault-tolerance mechanism at the expense of an increased makespan.

Embedded-Computer-Systeme werden Seit vielen Jahren entwickelt. Sie basieren auf föderierten Architekturen, bei denen jeder Dienst eines Systems auf eine dedizierte Hardwareeinheit abgebildet wird. Eine föderierte Systemarchitektur erfordert trotz mehrerer Vorteile wie geringe Architekturkomplexität und hohe Zuverlässigkeit für jede neu hinzugefügte Funktion einen neuen dedizierten Knoten. Daher wurden integrierte Systemarchitekturen eingeführt, um die Skalierbarkeitsprobleme von föderierten Systemen zu lösen, vorausgesetzt, dass jeder Knoten aus mehreren isolierten Partitionen besteht und verschiedene Dienste auf einem einzigen Knoten ausgeführt werden können. Dennoch erfordern die integrierten Systeme Modifikationen, wenn sich in einem System Änderungen ergeben, die zu kostspieligen Design-, Integrations-, Verifikations- und Wartungsprozessen führen. Dadurch kann ein domänenspezifisches integriertes System durch Ressourcenvirtualisierung in eine generische Lösung umgewandelt werden. Ein solches virtualisiertes integriertes System kann mehrere Funktionen mit unterschiedlichen Zuverlässigkeitseinschränkungen und zeitlichen Anforderungen an die virtualisierten Computerressourcen verwalten. Der ausschlaggebende vorteil der virtualisierten integrierten Systeme besteht darin, dass sie einfach und kostengünstig rekonfigurierbar sind. Jede Funktion im virtualisierten integrierten System kann sich entweder auf verschiedenen Partitionen eines einzelnen Verarbeitungsknotens oder auf verschiedenen Computern befinden und über eine gemeinsame Netzwerkinfrastruktur mit anderen Funktionen kommunizieren. Daher hängen die nicht-funktionalen Anforderungen an das virtualisierte integrierte System, einschließlich Zuverlässigkeit, Verfügbarkeit, Integrität, Sicherheit und Wartbarkeit, stark von den Fähigkeiten der Kommunikationsinfrastruktur ab. Darüber hinaus hat die Netzwerktechnologie des integrierten Systems einen wesentlichen Einfluss auf das Design, das Komplexitätsmanagement und den Integrationsprozess. Der Ethernet-Standard gilt aufgrund seiner weiten Verbreitung als vielversprechende Netzwerklösung für das virtualisierte Gesamtsystem. Ethernet bietet jedoch nicht die fehlertolerante und deterministische Kommunikationsinfrastruktur, die für moderne Embedded-Systeme unerlässlich ist. Daher wird in dieser Arbeit eine Kommunikationsschicht eines virtualisierten integrierten Systems vorgestellt, das auf den Prinzipien des Time-Sensitive Networking (TSN) Standards basiert, der eine Reihe von Protokollerweiterungen zum Ethernet-Standard umfasst. TSN bietet Echtzeitfähigkeit und Leistungssteigerung und profitiert gleichzeitig von der hohen Bandbreite und der nahtlosen verbindung von Ethernet-Technologien. Es ist unerlässlich, die Richtigkeit und Anwendbarkeit von TSN-Mechanismen als Netzwerklösung für das virtualisierte integrierte System zu überprüfen. Daher stellt diese Arbeit einen Simulationsrahmen für den TSN-Standard dar, der als Multi-Hop-Switched-Ethernet-Netzwerk entwickelt wurde. Das Simulationsframework ist generisch mit stabilen Schnittstellen zwischen den Simulationskomponenten. Daher kann es universell eingesetzt werden, um verschiedene Anwendungen zu simulieren und Einblicke in verschiedene Architekturentscheidungen (z.B. unterschiedliche Topologien, unterschiedliche Redundanzgrade etc) zu gewinnen. Darüber hinaus kann es durch zusätzliche Unterprotokolle des TSN erweitert und an zukünftige Änderungen der TSN-Arbeitsgruppe angepasst werden. Der TSN-Simulator beinhaltet auch dynamische Konfigurationsdienste, die die Modellierung dynamischer Anwendungen (z.B. Zuginbetriebnahme) und Systemanpassungen (z.B. Fehlerbehebung) ermöglichen. Darüber hinaus gibt es weder ein bestehendes Simulationsframework noch ein aktuelles TSN-Gerät, das verschiedene TSN-Features wie Fernkonfiguration, Uhrensynchronisation und zeitgesteuerte Formgebung gleichzeitig enthält. Damit bietet der vorgestellte TSN-Simulator eine umfassende Simulationsplattform zur Modellierung, Leistungs- und Zuverlässigkeitsbewertung von TSN-Netzen. Die empirischen Ergebnisse, die auf einem realen Anwendungsfall basieren, zeigen, dass das zentrale Konfigurationsmodell von TSN die Fernverwaltung und Konfiguration des emulierten Netzwerks ermöglicht. Darüber hinaus erfüllen die Simulationsmodelle mit TSN-Features nach den experimentellen Ergebnissen die hohen Anforderungen an Timing und Zuverlässigkeit des virtualisierten Gesamtsystems. TSN bietet Determinismus mit Time-Triggered (TT) Übertragungsplänen, die als Gate Control Lists (GCL) ausgedrückt werden. Das Planungsproblem, das sich aus der GCL-Synthese ergibt, ist NP-complete. Darüber hinaus macht die Möglichkeit, Echtzeitanwendungen über verschiedene virtualisierte Computerressourcen auszuführen, den Suchraum für legitime Zeitpläne noch größer. Daher sind die Optimierungsalgorithmen für die Suchraumerkundung ein wesentliches Element für den Einsatz von TSN. Diese Arbeit stellt einen schnellen genetischen Algorithmus (GA) und einen heuristischen Listenplaner (HLS) vor, die dazu bestimmt sind, GCLs zu berechnen, indem sie die Wechselwirkung von Routing und Scheduling-Beschränkungen berücksichtigen. Das Hauptziel des Planer ist es, die Fristen von Echtzeitanwendungen einzuhalten und gleichzeitig die TT-Übertragungszeit und den Aufwand der TT-Kommunikation zu optimieren. Die experimentellen Ergebnisse zeigen, dass GA und HLS die Übertragungsspanne im Durchschnitt um 31 % bzw. 39 % verbessern, verglichen mit einer bestehenden Planungsstrategie, die ein festes Routing verwendet. Darüber hinaus wird in Experimenten beobachtet, dass die Planbarkeitsverhältnisse von GA und HLS im Vergleich zu einem zweistufigen Planer signifikant steigen (durchschnittlich um 71 % bzw. 73 %). Die nahtlose Wiederherstellung von Fehlverhalten ist für viele moderne eingebettete Systeme von entscheidender Bedeutung, da Ausfälle in solchen Systemen zu irreparablen Umweltschäden und erheblichen finanziellen Verlusten führen können. Daher erweitert diese Arbeit die oben beschriebenen Planungsstrategien, um den TSN Redundanzmanagementmechanismus zu unterstützen. Zu diesem Zweck werden die Nachrichtenreplikation, die Eliminierung von Replikaten und die redundante Pfadauswahl in die TSN-Scheduler integriert. Das Hauptziel der fehlertoleranten TSN-Scheduler ist es, die Gesamtsystemzuverlässigkeit basierend auf Anwendungs- und Plattformmodellen zu optimieren und gleichzeitig die Echtzeitbeschränkungen der Anwendung zu erfüllen. Die Systemzuverlässigkeit berücksichtigt die Redundanz in den Anwendungsmodellen (z.B. redundante und nicht-redundante Echtzeitaufträge), die Redundanz in den Plattformmodellen und die Zuverlässigkeit der TSN-Plattformkomponenten (z.B. Endsysteme, Switches und Links) und neuartige TSN-basierte Fehlertoleranzmechanismen wie IEEE 802.1CB. Die empirischen Ergebnisse zeigen, dass die fehlertoleranten TSN-Scheduler die Systemzuverlässigkeit der Scheduler im Vergleich zu TSN-Schedulern ohne Fehlertoleranzmechanismus auf Kosten einer erhöhten Makepan verbessern.