Überall, wo Zusammenarbeit auch über Distanzen hinweg nötig ist, eröffnen Mixed Reality-Anwendungen neue Möglichkeiten – etwa im Bereich Remote Assistance. Muss ein Monteur vor Ort etwas reparieren, kann sich zum Beispiel in Zukunft sein Kollege im Büro über eine VR-Brille ein virtuelles Bild von der Situation in 3D verschaffen und sogar virtuell und berührungslos in die Szenerie eingreifen, indem er dem Monteur etwa die richtigen Bauteile oder Handgriffe zeigt.

»Die von uns dafür entwickelte Lösung kann eine simulierte Welt in Echtzeit und hoher Qualität mit der echten Welt verbinden und neue Blickwinkel oder Kollaborationen eröffnen«, erklärt Paul Chojecki, Projektleiter am Fraunhofer HHI. »Die körperliche Interaktion ohne störende Controller ist natürlicher und bequemer. Die Lösung lässt sich flexibler etwa an die Körpergröße des Nutzers anpassen und erhöht die Immersion. Zugleich kann sie Symptome der Bewegungskrankheit mindern, die häufig durch VR-Szenarien aufkommen.«

Das Verfahren basiert im Wesentlichen auf zwei Technologien: In der echten Welt erfassen acht Kameras, jeweils vier Paare, die Szene von allen Seiten und erzeugen mit bis zu 30 Hertz Tiefenkarten davon. Zudem werden Gesten und dynamische Bewegungen erkannt. Diese Daten werden dann durch Algorithmen zusammengefasst, codiert und in Echtzeit mit den dazugehörigen 3D-Texturen an die VR-Station übertragen.

Im virtuellen Szenario hingegen nimmt eine weitere 3D-Kamera den VR-Nutzer auf. Dank der Fraunhofer HHI-Algorithmen zur 3D-Körpererfassung und Gesteninterpretation kann dieser ohne störende Controller oder Marker natürlich in der VR-Szene interagieren. Er wird dort sozusagen als beweglicher Ganzkörper-Avatar repräsentiert und sieht seinen eigenen Körper und seine Gestik im virtuellen Raum. »Erst die Kombination der beiden Technologien ermöglicht eine einzigartige Lösung für neue Mixed Reality Interaktions- und Kollaborationsszenarien«, so Chojecki.

Das Feedback aus der virtuellen Welt wird in der realen Szene mittels einer Projektion dargestellt. Für diese projizierte Augmentierung kommen spezielle Bildverarbeitungsalgorithmen ebenfalls aus der Fraunhofer-HHI-Schmiede zum Einsatz. Diese sorgen dafür, dass die Hinweise und Bedienelemente optisch korrekt dargestellt sind, auch wenn die Flächen, auf die projiziert wird, sich bewegen oder geneigt werden.

Die Anwendungsfelder der X-Reality-Lösung sind vielseitig: Neben Remote Assistance lässt sich das Verfahren im Rapid Prototyping, bei der Mensch-Roboter-Interaktion und der Telekommunikation einsetzen oder in Telepresence- sowie Gaming-Sessions. So können zwei räumlich getrennte Personen etwa ein Brettspiel miteinander spielen.

Am Fraunhofer-Stand auf der CEBIT können Besucher sich an einem 3D-Puzzle probieren und sich Hilfe aus der virtuellen Welt holen. In der Demo wird dem VR-Nutzer das reale Objekt live in die VR-Umgebung projiziert und erläutert. Er kann dann virtuell darauf reagieren und diese Reaktionen in die reale Situation zurückspiegeln.