Functional lifting, direct approaches and applications of nonconvex optimization in computer vision

Abstract

Optimization problems are ubiquitous in computer vision, machine learning, economics and basically any field in the domain of natural and engineering sciences. Developments in optimization theory and algorithms have hence always been tightly interconnected to the problems arising from practical applications. This work follows the same path studying and developing various optimization techniques and models depending on the problem at hand. Fruitful optimization theory has been developed around convex problems and applied in computer vision tasks. In this work we extensively study theoretical properties of functional lifting techniques which make even nonconvex problems amenable to the tools from convex optimization by increasing the dimensionality of the original problem formulations. Furthermore we propose enhancements making existing approaches either more faithful or more efficient. Following the idea of increasing the dimensionality we study the effects of reparameterizations and neural network models with adaptive expressivity in the domain of machine learning. For linear inverse problems we devise an optimization approach combining data driven priors with provable convergence guarantees. Finally, we propose an optimization based approach for solving high-dimensional problems arising from attacks on data security in the application of federated machine learning.

Optimierungsprobleme sind allgegenwärtig in den Bereichen Bildverarbeitung, maschinelles Lernen, Wirtschaftswissenschaften und nahezu allen Feldern der Natur- und Ingenieurswissenschaften. Entwick- lungen in der Optimierungstheorie und daraus resultierende Algorithmen sind von daher stets eng mit den Problemen und Fragestellungen aus praktischen Anwendungen verbunden. Diese Arbeit folgt diesem Pfad, indem sie verschiedene Optimierungstechniken und Modelle im Bezug auf die jeweiligen Anwendungen untersucht und entwickelt. Insbesondere auf dem Gebiet der konvexen Optimierung wurden dabei ergiebige Theorien entwickelt und unter anderem in der Bildverarbeitung angewandt. In dieser Arbeit beschäftigen wir uns ausführlich mit Techniken des functional liftings, welche Konzepte der konvexen Optimierung auch auf nicht-konvexe Probleme anwendbar machen, indem die Dimen- sionalität der ursprünglichen Problemstellung erhöht wird. Des Weiteren werden Ansätze entwickelt, welche bestehende Methoden entweder genauer oder effizienter machen. Basierend auf der Idee, die Dimensionalität zu erhöhen, untersuchen wir den Effekt von Reparameterisierungen und neuronale Netze mit adaptiver Ausdrucksstärke im Bereich des maschinellen Lernens. Weiterhin entwickeln wir einen Optimierungsansatz für lineare inverse Probleme, welcher datengetriebene Methoden mit beweisbaren Konvergenzgarantien verbindet. Zuletzt entwickeln wir einen Optimierungsansatz für hochdimensionale Probleme, welche sich aus Attacken auf Datensicherheit in der Anwendung des verbündeten maschinellen Lernens ergeben.