Synthesising large, low cost and diverse datasets for robust semantic segmentation in self-driving tasks

Abstract

Robust scene understanding algorithms are crucial for the success of autonomous navigation. The supervised learning of semantic segmentation unfortunately requires large and diverse datasets. For some self-driving tasks, such as navigating a robot within an industrial facility, freely available datasets are not available, and manual annotation of large datasets is impractical for smaller development teams. While there are approaches to automatically generate synthetic data, they can be computationally expensive, require significant preparation effort, or miss a wide variety of features. This paper presents a new framework for generating synthetic datasets with high variance for low computing demands that can be easily adapted to different self-driving tasks. The details of the framework can be found at https://github.com/cITIcar/SAD-Generator. As a demonstration, this approach was applied to a semantic segmentation task on a miniature road with random obstacles, lane markings, and disturbing artifacts. A U-Net was trained using synthesized data and later fine-tuned with a small amount of manually annotated data. This resulted in an improvement of 2.5 percentage points in pixel accuracy (PA) and 11.19 percentage points in mean intersection over union (mIoU).

Robuste Algorithmen zum Verstehen von Situationen sind entscheidend für den Erfolg der autonomen Navigation. Das überwachte Lernen der semantischen Segmentierung erfordert leider große und vielfältige Datensätze. Für einige Aufgaben des autonomen Fahrens, wie z. B. die Navigation eines Roboters in einer Industrieanlage, sind frei verfügbare Datensätze nicht verfügbar, und die manuelle Beschriftung großer Datensätze ist für kleinere Entwicklungsteams unpraktisch. Es gibt zwar Ansätze zur automatischen Generierung synthetischer Daten, diese können jedoch rechenintensiv sein, einen erheblichen Vorbereitungsaufwand erfordern oder eine Vielzahl von Merkmalen auslassen. In diesem Artikel wird ein neuer Framework für die Generierung synthetischer Datensätze mit hoher Varianz bei geringem Rechenaufwand vorgestellt, der sich leicht an verschiedene Aufgaben des selbstfahrenden Autos anpassen lässt. Die Details des Frameworks können unter https://github.com/cITIcar/SAD-Generator gefunden werden. Zur Demonstration wurde dieser Ansatz auf eine semantische Segmentierungsaufgabe auf einer Modellstraße mit zufälligen Hindernissen, Fahrbahnmarkierungen und störenden Artefakten angewendet. Ein U-Net wurde mit synthetischen Daten trainiert und später mit einer kleinen Menge von manuell annotierten Daten feinabgestimmt. Dies führte zu einer Verbesserung von 2,5 Prozentpunkten bei der Pixelgenauigkeit (PA) und 11,19 Prozentpunkten bei der mittleren Schnittmenge über der Vereinigung (mIoU).