Synthesising large, low cost and diverse datasets for robust semantic segmentation in self-driving tasks

Abstract

Robust scene understanding algorithms are essential for the success of autonomous navigation. Unfortunately the supervised learning of semantic segmentation requires large and diverse datasets. For certain self-driving tasks like navigating a robot inside an industrial facility no datasets are freely available and the manual annotation of large datasets is impracticable for smaller development teams. Although approaches exist to automatically generate synthetic data, they are either too computational expensive, demand a huge preparation effort or miss a large variety of features. This paper presents a novel framework to generate synthetic datasets with great variance for low computing demand that are easily adaptable to different self-driving tasks (Available at https://github.com/cITIcar/SAD-Generator). As demonstration this approach was applied to a semantic segmentation task on a miniature road with random obstacles, lane markings and disturbing artefacts. Training thus synthesized data in a U-Net and and later fine-tuning it with a small amount of manually annotated data, improved pixel accuracy (PA) by 2.5 percentage points and mean intersection over union (mIoU) by 11.19 percentage points.

Robuste Algorithmen zum Verständnis von Umgebungen sind für den Erfolg der autonomen Navigation unerlässlich. Leider erfordern neuronale Netze für die semantische Segmentierung große und vielfältige Datensätze. Für bestimmte Aufgaben des autonomen Fahrens, wie der Navigation eines Roboters in einer Industrieanlage, sind keine Datensätze frei verfügbar, und die manuelle Annotation großer Datensätze ist für kleinere Entwicklerteams unpraktikabel. Es gibt zwar Ansätze zur automatischen Generierung synthetischer Daten, aber diese sind entweder zu rechenintensiv, erfordern einen hohen Vorbereitungsaufwand oder lassen eine Vielzahl von Merkmalen außer Acht. In diesem Artikel wird ein neuartiges Verfahren vorgestellt, mit dem synthetische Datensätze mit großer Varianz bei geringem Rechenaufwand erzeugt werden können, die sich leicht an verschiedene Aufgaben des selbstfahrenden Autos anpassen lassen (verfügbar unter https://github.com/cITIcar/SAD-Generator). Zur Demonstration wurde dieser Ansatz mit einer semantische Segmentierungsaufgabe auf einer Miniaturstraße mit zufälligen Hindernissen, Fahrbahnmarkierungen und störenden Artefakten getestet. Ein sogenanntes U-Net wurde mit den so generierten Daten trainiert und später mit einer kleinen Menge manuell etikettierten Daten feinjustiert. Die Pixelgenauigkeit stieg mithilfe der synthetischen Daten um 2,5 Prozentpunkte und die mittlere Intersection over Union um 11,19 Prozentpunkte.