Auf den Holodecks der Star-Trek-Filme ist alles möglich. Nicht nur galaktische Wesen treten per Hologramm auf, sondern ganze Landschaften und Epochen. „This is the wrong chapter“, muss Captain Picard dann schon mal alarmiert feststellen. Und auch die Band Abba nutzt Holographie-Projektion – bei der Welttournee 2022 stehen die Musiker als Avatare auf der Bühne. Ob Star Trek oder Abba, Mixed Reality scheint für die große Show gemacht, für verspielte Imagination und immersive 360-Grad-Erlebnisse. Sucht man allerdings den Mehrwert über die reine Show hinaus, muss man schon länger nachdenken. Ausgerechnet aus der Medizin kommen jetzt spannende Use Cases: Mixed Reality für ein längeres Leben.
Einsatz der Microsoft Hololens in der Medizin | Foto: https://news.microsoft.com/hololens2_healthcare2/
„Teams“ ist der neue virtuelle Konferenztisch. Täglich Tausende Meetings werden mit der Microsoft-Software abgehalten. Kamera an, Mikro an, teilnehmen – ganz einfach. Und einfach bleibt es, wenn das Device statt Laptop oder Smartphone eine Augmented Reality-Brille ist. Der einzige Unterschied: Bei der „Hololens“ von Microsoft startet man das Teams-Meeting mit einem Griff in den leeren Raum. Etwas gewöhnungsbedürftig, aber machbar.
In Laborversuchen ziehen Brille und Teams jetzt auch in Operationssäle ein. Arzt oder Ärztin bringen via Augmented Reality weitere Experten virtuell mit in den OP. Oder sie lassen am realen OP-Tisch virtuelle OP-Assistenzen auftauchen. Alles scheint möglich. Und die Brillen werden immer besser: Bei der Hololens 2 hat jedes Auge drei Laser vor sich. So entstehen Holographien, die enorm farbintensiv und detailgetreu sind.
Aber auch Virtual Reality Brillen, dreidimensionale Videoaufzeichnungen im Körper und virtuelle Modelle von Körperorganen finden Einzug in den Medizinbetrieb. Klinische Innovationsteams experimentieren zusehends mit Mixed-Reality. Dieser Artikel beleuchtet fünf mögliche Anwendungsbereiche der Zukunft.
In der Industrie sind AR-Brillen schon länger im Einsatz. Ist irgendwo in der Welt eine große Industrieanlage defekt, der Techniker selbst aber mehrere Flugstunden entfernt, so kommen die kabellosen Computerbrillen zum Einsatz. Einer vor Ort setzt sich die Brille auf und holt den Experten aus der Ferne in den Call. So schauen vier Augen direkt in die Maschine, befinden sich unmittelbar davor. Das spart Zeit und Kosten.
Was für teure Apparate Sinn macht, gilt erst recht für teure Operationen. Der Remote-Arzt übernimmt nicht nur den Blick des Arztes vor Ort. Er kann auch im virtuellen Raum zeichnen, zum Beispiel die perfekte Schnittlinie für das Skalpell skizzieren. Der Arzt vor Ort sieht sowohl den realen Patienten vor sich als auch die virtuelle Linie, die der Arzt aus der Ferne eingezeichnet hat. Alles findet im Mixed-Reality-Raum statt, die perfekte Assistenz.
Zwar ist das Vor-Ort-Team immer hoch qualifiziert und vollständig geeignet für die Aufgabe. Aber nicht jede Operation zählt zu den Standardeingriffen wie das Einsetzen von Kniegelenken. Es gibt Indikationen und Eingriffe, die sind selten. Nur wenige Topexperten verfügen über die nötigen Routinen. Auch Konsultationen mit anderen medizinischen Disziplinen sind via Mixed Reality während einer Operation möglich.
Zwar ist das Coworking-Prinzip unter Medizin-Halbgöttern nicht unbedingt en vogue. Aber das ändert sich gerade – und kann mittels AR-Technologie perfekt unterstützt werden. Das Video eines Techniktests mit der Hololens 2 im improvisierten OP, das wir beim Think Tank HealthCare Futurists selbst durchgeführt haben, finden Sie hier:
Selbst wenn kein weiterer Kollege virtuell durch die AR-Brille schaut, könnte der Mehrwert enorm sein. Denn der Operateur kann im virtuellen Raum zusätzliche Daten abrufen: MRT- oder CT-Bilder zum Beispiel, die er dreidimensional als Holographie in den Raum projiziert. Beispielsweise beim künstlichen Hüftgelenk. Auf den echten – und noch ungeöffneten – Oberschenkel des Patienten legt die AR-Technologie das Röntgenbild. So kann der Arzt ins Innere sehen, obwohl der OP-Cut noch nicht gesetzt worden ist. Der Operateur sieht, wo das Gelenk exakt liegt – und kann präziser arbeiten.
Das Imperial College in London experimentiert schon länger mit der Verbindung aus OP und AR. Radiologen und Chirurgen projizierten bildgebende 3D- Daten auf die Beine von Patienten, die schwere Unfallverletzungen erlitten haben. Indem sie die interne Anatomie der Patienten auf deren Körper projizierten, können die Chirurgen vorab sehen, in welchen Partien der Eingriff sicher verlaufen wird und keine Venen oder Arterien verletzt werden. Jeden Knochen, jedes Blutgefäß, jede Sehne und jeder individuelle Schaden lässt sich auf diese Weise an der exakten Stelle im Körper visualisieren.
Allerdings benötigen die 3D-Holographien viel Rechnerleistung. Zudem müssen die Bilddateien exakt programmiert sein, so dass kein Millimeter Verschiebung zum unter der Haut liegenden Original visualisiert wird. Bis die Technik routinemäßig angewendet wird, dürfte noch Zeit vergehen. Näher an der Serienreife sind AR-Systeme, wie sie an der Uniklinik München in Erprobung sind. Informatikstudenten haben in die Brillen eine Art Gebrauchsanweisung für OP-Instrumente eingebaut. Per Sprachbefehl erklärt die Software die Funktionsweise und blendet Erklärvideos virtuell ein. Für den Laien klingt das sonderbar. Aber häufiger als man denkt, sind im modernen OP neue Instrumente im Einsatz, mit denen das OP-Team noch wenig Routine hat.
Unser Körper ist aufgebaut wie ein Schweizer Uhrwerk: Fast 80 Organe, 200 Knochen und mehrere 1000 Kilometer Blutbahnen sind auf kleinstem Raum verbaut. Nur mit viel Training bekommen und behalten Ärztinnen und Ärzte den Durchblick. Und immer öfter mit technischer Übersetzung. Beim OP-Roboter Da Vinci schaut der Arzt nicht mehr direkt in den Körper, sondern eine Stiftkamera. Wenige Millimeter im Durchmesser, fungiert sie als technisches Auge des Arztes. Minimalinvasiv eingeführt liefert sie HDTV-Bilder in bis zu zehnfacher Vergrößerung. Das macht die Arbeit leichter.
Erst recht, seitdem Kameras im Einsatz sind, die auch dreidimensionale Bilder erzeugen. So wird beispielsweise das innere des Herzens räumlich sichtbar. Die Ärzte operieren wie unter dem Mikroskop und erkennen feinste Strukturen in Regionen, die das menschliche Auge vorher nur unzureichend einsehen konnte. Bei Da Vinci führt der Operateur auch die Instrumente nicht mehr selbst, sondern lässt Roboterarme machen. Ärztin oder Arzt navigiert via Joystick aus der Ferne.
Werden mobile Übertragungsraten von 5G oder gar 6G irgendwann Realität, könnten Ärzte aus Berlin mittels Da Vinci theoretisch Patienten in Paris operieren. Technisch wäre das kein Problem. Aber zurück zur Holographie. Mixed Reality wird den Bildschirm, über den das Ärzteteam in den Körper schaut, überflüssig machen. Dann wird das Kamerabild virtuell vor das Sichtfeld des Operateurs projiziert.
Schon seit Längerem im Einsatz ist Mixed Reality in der Medizinerausbildung und bei Trainings. Zu einiger Berühmtheit hat es der Magic Mirror der Uniklinik München gebracht. Studierende treten vor einen Spiegel und sehen plötzlich ihre inneren Organe und Strukturen eingeblendet – sowohl im Längs- als auch im Querschnitt. Auch wenn der Spiegel nur einen menschlichen Standard ohne Individualisierungen widerspiegelt, so sorgt er doch für faszinierende Erlebnisse.
Der Standard mit humanen Körperspendern zu arbeiten und an ihnen das Operieren zu üben, ist und bleibt ein Usus. Allerdings werden die virtuellen Technologien zusätzliche Simulationsmöglichkeiten schaffen. So hat die Uniklinik Ulm ein menschliches Herz für VR-Trainings dreidimensional kreiert. Angehende Ärzte und Ärztinnen können – mit der VR-Brille auf der Nase – das Einsetzen einer künstlichen Mitralklappe trainieren. Dafür müssen sie nicht am selben Ort sein.
Noch fantastischer klingt eine Testanwendung der Universität Chemnitz. Angehende Chirurgen und Chirurginnen setzen virtuell Hüftprothesen ein – und erhalten zusätzlich ein haptisches Feedback. Die VR-Brille auf dem Kopf, operieren sie zwar im virtuellen Raum, jedoch mit echten Instrumenten. Vor ihnen steht eine manipulierte Fräse, die sie bedienen und damit den notwendigen Kanal in den Knochen fräsen. Sie sehen in der Brille, wie die Fräse in den Knochen hineinbohrt, während sie den Roboterarm bewegen.
Die Fräse selbst simuliert die haptischen Antworten des Patientenkörpers. Sie ruckelt und antwortet wie eine Bohrmaschine, die eine Wand bohrt. Das „Loch bohren“ für das spätere Einsetzen einer künstlichen Hüftprothese ist einer der kritischsten Momente bei der OP. Mit der Technologie könne jeder einzelne Operationsschritt erfühlt werden. Damit überwinden die Chemnitzer eine Hürde, die Mixed Reality immer vorgeworfen wird. Sie kombinieren das Virtuelle mit dem für Ärzte so wichtigen haptischen Feedback.
Nicht nur für medizinisches Personal, sondern auch für Patienten könnte VR vermehrt zum Einsatz kommen. Schon mehrere Start-ups lassen Schlaganfall-Patienten mit halbseitigen Lähmungen VR-Brillen tragen. Während der Patient eine bestimmte, therapeutische Übung ausführt, simuliert die virtuelle Realität, dass auch der gelähmte Arm in Bewegung ist.
Die Illusion gaukelt einen gesunden Arm vor. Dieser greift im Training nach der Tasse und es scheint, als greife auch der gelähmte Arm nach dem Tee. Als würde der Patient beide Arme bewegen. Das könne die Heilung des gelähmten Arms unterstützen, heißt es. Denn das Gehirn werde so angeregt, in den beschädigten Bereichen neue Verbindungen aufzubauen.
Text: Ron Voigt
Am beliebtesten