Forschende entwickeln völlig mobile Virtual Reality für ortsunabhängige Nutzung
Zwei neue Projekte des Sensing, Interaction & Perception Lab von Professor Christian Holz weiten die Nutzungsvielfalt der heutigen VR-Plattformen aus und setzen dazu gängige Geräte wie Fitnessuhren oder Smartphones ein. Durch die Entwicklung neuer Frameworks für KI ermöglichen sie VR-Nutzerinnen und -Nutzern, frei im 3D-Raum zu interagieren und Gegenstände zu ergreifen, die sich ausser Sichtweite befinden.
«Hand Out Of View» (HOOV)-Interaktion für virtuelle Realität
In ihrem ersten Projekt entwickelten die Forschenden eine KI-Methode, die einen unserer wichtigsten Sinne nachahmt: die Propriozeption. Auch wenn eine Person ihre Augen schliesst, kann sie problemlos ihre Nase berühren oder ein Glas zu ihrem Mund führen. Wie sieht es damit aus, sich am Hinterkopf zu kratzen oder einen Pferdeschwanz zu binden? All diese Dinge sind dank der Propriozeption möglich, der Fähigkeit, unseren eigenen Körper im Raum wahrzunehmen.
Im Gegensatz dazu sind Geräte der VR und Augmented Reality (AR) ganz von visuellen Informationen abhängig, um den Raum um eine Person herum zu rekonstruieren. Das bedeutet, dass Nutzende von VR-Brillen nur mit Objekten interagieren können, die sich direkt vor ihnen befinden und sie ständig auf ihre Hände schauen müssen. Das ist unpraktisch und schränkt die Nutzbarkeit der VR stark ein. Ein simples Bogenschiessenspiel, bei dem die Hand, die den Bogen spannt, das Sichtfeld der Benutzerin oder des Benutzers schnell wieder verlässt oder Spiele mit Schwertern, Tennisschlägern oder Rudern können nicht zufriedenstellend reproduziert werden. Bedeutende VR-Produzenten haben nun Kameras in ihre Steuerungen eingebaut, um hier Abhilfe zu schaffen, aber solche Hardwareveränderungen führen zu mehr Komplexität, Berechnungen und Kosten.
Das Team von Professor Christian Holz hat eine einfachere, wirksamere und weniger kostspielige Lösung entwickelt: das «Hand Out Of View»-Tracking von propriozeptiven Interaktionen. Bei dieser neuen, auf maschinellem Lernen basierenden Methode wird ein leichtes Armband eingesetzt, das die Position der Hand der Nutzenden im dreidimensionalen Raum ständig erfasst. Zu diesem Zweck werden Eingangssignale eines einfachen Bewegungssensors, wie er bereits in allen Fitnessuhren und Smartwatches existiert, genutzt. Auf diese Weise können die Benutzerinnen und Benutzer verschiedene Tätigkeiten rund um ihren Körper effizient ausführen, ohne den Kopf senken zu müssen, um auf ihre Hände zu schauen.
«HOOV bringt uns einen Schritt näher an das Ziel, in der VR wie in der realen Welt zu interagieren, ohne zusätzliche Instrumente oder komplexe stationäre Konfigurationen.»Christian Holz, Professor und Leiter des Sensing, Interaction & Perception Lab
Paul Streli, leitender Doktorand im Projekt, erklärt: «Wir haben eine seit Langem bestehende Herausforderung in der Robotik in Angriff genommen: die Ableitung von 3D-Orten aus verrauschten inertialen Bewegungssignalen. Die rechnergestützte Pipeline der HOOV-Technologie erreicht dies durch die Nutzung der kinematischen Einschränkungen des menschlichen Körpers.»
HandyCast: Mobiler, bimanueller Input für virtuelle Realität bei engen Platzverhältnissen
In einem zweiten Projekt beschäftigen sich die Forschenden mit einer anderen Herausforderung: Die heutigen VR-Systeme sind für den stationären Gebrauch gemacht, typischerweise für zu Hause oder in leeren Umgebungen.
Mit HandyCast macht das Team von Professor Holz die Nutzung von VR überall möglich. Denn mithilfe dieser Methode können Benutzerinnen und Benutzer mit beiden Händen in grossen virtuellen Räumen interagieren, wo auch immer sie sich befinden – selbst auf engstem Raum wie auf einem Flugzeugsitz, wo es nicht angenehm oder schlichtweg unmöglich ist, aufzustehen oder mit den Armen herumzuwedeln.
Das zentrale Element dieser neuen Methode der Forschenden ist die Nutzung eines Smartphones zur Steuerung der virtuellen Realität. HandyCast wandelt die kleinen Bewegungen des Smartphones um und kombiniert sie mit präzise abgestimmten Berührungen zur 3D-Position von virtuellen Händen. Die Technologie stützt sich auf die Beobachtung, dass Benutzerinnen und Benutzer ganz natürlich ihre Handlungen mit ihrem Körper begleiten, wenn sie eine Steuerung bedienen. So neigen sie sich beispielsweise in eine Richtung, um ihre Eingabe zu verstärken, oder drücken stärker auf die Knöpfe.
«Unsere Forschung zeigt, dass diese natürlichen Körperbewegungen präzise genug für die Verstärkung durch HandyCast sind, um bei Verwendung eines einzelnen Telefons eine sehr feinkörnige, gleichzeitige Steuerung von zwei virtuellen Händen zu ermöglichen», erläutert Christian Holz.
Mohamed Kari, Doktorand und Leiter des Projekts, ergänzt: «Obwohl unser Posen- und Berührungstransfer die Eingaben aus zwei Modalitäten zusammenführt, haben wir unsere Verstärkungsfunktion so konzipiert, dass die Benutzer lernen können, die beiden unabhängigen VR-Hand-Avatare in einer gemeinsamen und reibungslosen Bewegung zu steuern. Die meisten Teilnehmerinnen und Teilnehmer brauchten weniger als eine Minute, um dies zu lernen.»
ACM CHI conference
Beide Projekte, HOOV und HandyCast, wurden am Mittwoch, den 26. April, von den Studenten Paul Streli (HOOV) und Mohamed Kari (HandyCast) auf der diesjährigen ACM CHI Conference, einer der grössten internationalen Konferenzen auf dem Gebiet der Mensch-Computer-Interaktion, vorgestellt.