Machine learning with nonlinear state space models

Abstract

Contemporary automation systems require accurate models for analysis, design, and control. Oftentimes, it is not possible to derive satisfactory models by first principles. This is often the case in process engineering or in mechatronic systems, where the overall process is just too complex, or the development of those first-principle models would just be too expensive. Thus, there is a strong demand for data-driven modeling approaches. Additionally, there are enormous successes in machine learning concerning the generation of models solely by the use of data. Driven by the need for accurate models as well as the successes and advances in machine learning, a novel class of model structures and associated training algorithms for building data-driven nonlinear dynamic models is developed. The new identification procedure and the resulting model is called local model state space network (LMSSN). It fuses nonlinear state space models with local model networks (LMNs). The LMSSN is designed as a user-friendly and deterministic approach with warm-start initialization (with a linear model), incrementally growing complexity, favorable and robust extrapolation behavior, easy interpretation, and straightforward incorporation possibilities for prior knowledge. Furthermore, recurrent neural networks (RNNs) and their similarities to nonlinear state space models are elaborated on. Popular RNNs like the long short-term memory (LSTM) and gated recurrent unit (GRU) models are translated into controls perspective and a comprehensive study comparing different RNN structures is carried out. The overall outstanding performance of the LMSSN is demonstrated on various applications. It is shown that the LMSSN can accurately model a wide variety of processes by consistently computing expressive yet compact models. The LMSSN is benchmarked against state-of-the-art nonlinear system identification algorithms and achieves similar or superior results. The practical usefulness and applicability of LMSSN are strikingly demonstrated on two real-world processes.

Genaue Modelle sind die Voraussetzung für die Analyse, Auslegung und Regelung von modernen Automatisierungssystemen. Allerdings können genaue Modelle oft nicht durch physikalische Modellbildung entwickelt werden. Dies gestaltet sich insbesondere in der Verfahrenstechnik und für mechatronische Systeme als sehr herausfordernd, da die Gesamtprozesse oft zu komplex oder die Entwicklung eines physikalischen Modells oft zu teuer ist. Datengetriebene Modelle gewinnen deshalb zunehmend an Bedeutung. Dieser Trend wird außerdem durch Erfolge im Bereich des maschinellen Lernens stark begünstigt. Aufgrund des starken Bedarfs an genauen Modellen und motiviert durch die Erfolge des maschinellen Lernens wird eine neue Klasse von Modellstrukturen und dazugehörigen Trainingsalgorithmen für die datengetriebene Modellierung von nichtlinearen dynamischen Prozessen entwickelt. Der neue Identifikationsalgorithmus und das resultierende Modell heißen Local Model State Space Network (LMSSN). Es vereint nichtlineare Zustandsraummodelle mit lokalen Modellnetzen (LMNs). LMSSN ist ein benutzerfreundlicher und deterministischer Algorithmus, der mit einem linearen Modell initialisiert wird (Warmstart). LMSSN hat inkrementell steigende Komplexität, ein gewünschtes und robustes Extrapolationsverhalten, eine einfache Interpretierbarkeit und bietet unkomplizierte Möglichkeiten zur Einbringung von Vorwissen. Außerdem werden rekurrente neuronale Netze (RNNs) und deren Ähnlichkeit zu nichtlinearen Zustandsraummodellen behandelt. Beliebte RNNs wie das Long Short-Term Memory (LSTM) und Gated Recurrent Unit (GRU) Modell werden aus einer regelungstechnischen Perspektive veranschaulicht und unterschiedliche RNN-Strukturen werden umfassend in einer Simulationsstudie verglichen. Die insgesamt herausragende Leistungsfähigkeit von LMSSN wird anhand einiger Anwendungsbeispiele demonstriert. Eine Vielzahl unterschiedlicher Prozesse können mit LMSSN sehr gut modelliert werden, wobei stets aussagekräftige, aber dennoch kompakte Modelle generiert werden. Die LMSSN-Methode wird mit anderen modernen Algorithmen zur nichtlinearen Systemidentifikation verglichen. Hier liefert LMSSN gleichwertige, wenn nicht sogar bessere Ergebnisse. Die praktische Anwendbarkeit wird eindrucksvoll an zwei industriellen Prozessen veranschaulicht.