Visually Integrated Clinical Cooperation - algorithmic concepts, implementation and evaluation

Abstract

The workflow in modern hospitals entails that the medical treatment of a patient is distributed between several physicians and nurses. This leads to an intensive cooperation, which takes place under particular time pressure and requires an efficient conveyance of the relevant patient-related medical data to colleagues. This requirement is difficult to achieve with traditional data representation approaches, which usually do not consider the specifics of the cooperative work. This thesis introduces a concept of Visually Integrated Clinical Cooperation (VICC) to support the information transfer in cooperative tasks in a hospital. Developed in the context of an interdisciplinary research project, it exploits findings of a sociological field study in a hospital and feedback from the discussions with physicians. Accordingly, the VICC concept aims at an multivariate visualization on a mobile device that provides a synopsis of the relevant data and is intuitively comprehensible for medical personnel. The core components of the proposed concept are anatomically integrated in-place visualization and iconic glyphs. The anatomically integrated visualization uses a 3D human avatar as spatial representation of visually encoded medical data with an (inherent) anatomical reference. This component comprises a set of formal requirements and procedures for this kind of visual encoding as well as a prototypical implementation for the diagnosis of spinal disc herniation, evaluated by neurosurgeons. The VICC concept also includes a personalization option of the generic 3D human avatar, using a 3D reconstruction of a patient’s body from range data. To allow it, a method for robust camera pose tracking for the spatially and temporally low-resolution range data, given in mobile applications, is proposed. It combines a geometry-based pose estimation by means of the iterative closest point (ICP) algorithm with inertial tracking, using an extended Kalman filter (EKF). In particular, it uses the extrapolated ICP pose estimates as virtual measurements and the output of the EKF as initial guess for the next ICP-based pose estimation. The iconic glyph approach allows for representation of a patient’s data without anatomical reference. It aims to combine visual metaphors, inherent for icons, and the glyph capability for multivariate visualization. Technically, it is based on a parametric representation that utilizes diffusion curves, enriched with new degrees of freedom in arc-length parametrization, which allows for automated, controllable manipulation of the icon contours’ geometry and the related colour attributes. Besides the generic concept, an implementation for a specific design, based on periodic, wavelike contour modifications along with a perception and quantization model for these kinds of visual variables are proposed. The practicality of the approach is demonstrated by examples for visualization of weather forecast uncertainty, COVID-19 statistic trends and intracranial pressure.

Die Arbeitsabläufe im modernen Krankenhaus sehen vor, dass die Patientenbehandlung zwischen mehreren Ärzten und Pflegekräften verteilt ist. Dies hat eine intensive Kooperation zur Folge, die unter einem besonderen Zeitdruck stattfindet und eine effiziente Übermittlung der relevanten medizinischen Patientendaten an Kollegen erfordert. Diese Anforderung kann mit den traditionellen Datendarstellungsansätzen, bei denen die Besonderheiten der kooperativen Arbeit in der Regel nicht berücksichtigt werden, kaum erfüllt werden. Die vorliegende Arbeit stellt ein Konzept der Visuell Integrierten Klinischen Kooperation (VIKK) zur Unterstützung vom Informationstransfer im Kontext der kooperativen Aufgaben im Krankenhaus vor. Es wurde im Rahmen eines interdisziplinären Forschungsprojekts entwickelt und basiert auf den Erkenntnissen einer sozialwissenschaftlichen Feldstudie im Krankenhaus sowie auf dem Feedback aus den Diskussionen mit den Ärzten. Daraus resultierend bezweckt das VIKK Konzept eine multivariate Visualisierung auf einem mobilen Endgerät, die eine Synopsis der relevanten Daten zur Verfügung stellt und für medizinisches Personal intuitiv verständlich ist. Die Kernkomponenten des vorgeschlagenen Konzepts sind anatomisch integrierte Visualisierung und ikonische Glyphen. Die anatomisch integrierte Visualisierung nutzt einen 3D Menschenavatar als räumliche Darstellung von visuell kodierten medizinischen Daten mit einem (inhärenten) anatomischen Bezug. Diese Komponente schließt eine Reihe von formalen Anforderungen und Verfahren für diese Art von visuellen Kodierungen ein, sowie eine prototypische Implementierung für die Diagnose Bandscheibenvorfall, die von Neurochirurgen evaluiert wurde. Das VIKK Konzept sieht auch eine Option der Personalisierung des 3D Avatars vor, wofür eine 3D Rekonstruktion des Patientenkörpers aus Tiefendaten benutzt wird. Um dies zu ermöglichen, wurde eine Methode zur robusten Verfolgung der Kameraposen anhand von Tiefendaten mit geringer räumlicher und zeitlicher Auflösung, typisch für mobile Anwendungen, vorgeschlagen. Sie kombiniert eine geometriebasierte Posenschätzung durch den Iterative Closest Point (ICP) Algorithmus mit inertialem Tracking, indem sie ein Erweitertes Kalman-Filter (EKF) anwendet. Insbesondere nutzt sie die Extrapolation der mit ICP geschätzten Posen als virtuelle Messungen und die Ausgabe von EKF als Initialwert für die nächste ICP-Posenschätzung. Die ikonischen Glyphen ermöglichen Darstellung der Patientendaten ohne anatomischen Bezug. Das Ziel dieses Ansatzes ist eine Vereinigung der visuellen Metaphorik von Icons mit dem Potential der Glyphen für multivariate Visualisierung. Technisch gesehen, nutzt er eine parametrische Darstellung, die auf den mit zusätzlichen Freiheitsgraden und Bogenlängenparametrisierung erweiterten Diffusionskurven basiert und eine automatisierte, kontrollierte Manipulation der Geometrie der Iconkonturen sowie der dazugehörenden Farbattribute ermöglicht. Außer dem generischen Konzept wurde eine Implementierung für ein spezifisches, auf den wellenartigen, periodischen Konturmodifikationen basierendes Design sowie ein Wahrnehmungs- und Quantisierungsmodell für diese Art von visuellen Variablen entwickelt. Die Praktikabilität des Ansatzes wurde durch Beispiele für Visualisierung von Wettervorhersageunsicherheit, Trends in COVID-19-Statistiken und intrakraniellem Druck gezeigt.