27. März 2017
6 Minuten zu lesen

Next Level Augmented Reality mit Google Tango

Next Level Augmented Reality mit Google Tango

Dies ist ein Gastartikel von Lukas von Niederhäusern. Lukas ist Designer und Entwickler und hat sich mit seinem Unternehmen Vision 11 auf die Konzeption und Entwicklung von herausragenden Virtual- und Augmented Reality Lösungen spezialisiert.

Augmented Reality gibt es schon länger. Damals im 2009 gab es bereits eine Welle von Augmented Reality Experimenten. Die Prozessoren der Smartphones waren da aber noch zu schwach und deshalb genoss man die Spielereien über die Webcam am eigenen Laptop. Für das Tracking benötigten die Systeme einen Marker, bzw. QR-Code.

Die Technologie hat sich aber rasant entwickelt und Augmented Reality ist wieder aktueller denn je. Allen voran experimentiert Microsoft mit der futuristischen Hololens, die wir hier auch schon ausführlich vorgestellt haben. Aber auch von Apple wird im 2017 etwas Grosses erwartet. Die Gerüchteküche brodelt.

Es gibt aber auch andere Projekte und Technologien. Verschiedene Anbieter von Augmented Reality Lösungen bieten mittlerweile Markerless Tracking an. Reines optisches Tracking hat aber den Nachteil, dass nach kurzer Zeit ein Kamera-Drift entsteht und das Tracking ungenau werden kann.

Die Antwort auf dieses Problem liefert Google mit dem Projekt Tango. Tango ist in der Lage eine Umgebung über Infrarot-Sensoren in 3D zu erfassen und bietet damit ein deutlich präziseres Augmented Reality Erlebnis. Als Benutzer kann ich mich mit meinem Tango-Enabled Smartphone frei im Raum bewegen. So können virtuelle Welten auf eine neue Art erlebt werden. Mit Google Tango ergeben sich spannende Anwendungen wie zum Beispiel das platzieren von virtuellen Möbeln in der eigenen Wohnung, das vermessen von echten Objekten, das visualisieren von Immobilien für die Architektur, das Herstellen einer interaktiven Bedienungs-Anleitungen und viele mehr.

In diesem Bericht möchte ich mit euch meiner ersten Erfahrungen im Umgang mit Tango und in der Entwicklung von einer eigenen Tango-App teilen. Brack.ch hat mir dazu freundlicherweise ein Lenovo Phab 2 Pro ausgeliehen, das erste Consumer Smartphone welches die Technologie unterstützt.

Über Google Tango

Google Tango wurde bereits 2014 erstmals vorgestellt. Bei Google Tango handelt es sich um eine Technologie-Platform (Software) und diese wurde ursprünglich von Jonny Lee und seinem Team entwickelt. Jonnny Lee war zuvor Teil des Entwickler Teams für die Microsoft Kinect.

Für Tango stellt Google drei Kerntechnologien über entsprechende SDKs zur Verfügung: Motion Tracking, Depth Perception und Area Learning.

Um was geht es dabei genau: Die Motion-Tracking Technologie kann mit Hilfe einer hochauflösenden Fish-Eye Camera und den Bewegungs-Sensoren die Bewegung des Gerätes im Raum rekonstruieren. Man spricht in diesem Zusammenhang auch von 6DoF (Six degrees of freedom). Depth perception erkennt die Abstände vom Gerät zu echten Objekten und Wänden über einen Infrarot Emitter und eine TOF-Kamera. Depth perception erstellt dabei eine sogenannte Point-Cloud, eine grosse Sammlung von Referenzpunkten, welche mit der echten Welt übereinstimmen. Diese Point-Cloud kann zum Beispiel für Mixed-Reality Anwendungen genutzt werden wo virtuelle Objekte auf echten Objekten platziert werden. Und mit Area Learning erkennt Google Tango eine Umgebung und kann sich so perfekt lokalisieren. Die entsprechende Umgebung muss allerdings im Vorfeld gescannt und angelernt werden. Dieser Datensatz, sogenannte ADF-Daten, enthalten dann alle visuellen Merkmale der Umgebung und dient Tango als Input für eine Lokalisierung.

Lenovo Phab 2 Pro

Lenovo Phab 2 Pro

Das Lenovo Phab 2 Pro ist seit dem 1. November 2016 erhältlich. Das Gerät gibt es in zwei Farben: Champagne Gold und Gunmetal Grey. Es handelt sich dabei um ein Phablet. Von den Abmessungen also grösser als ein übliches Smartphone aber kleiner als die gängigen Tablets. Die Hardware ist in ein Alu-Unibody verpackt. Auffallend auf der Rückseite sind die vielen Kameras und Sensoren welche unter anderem von Google Tango genutzt werden. Die CPU, ein Qualcomm® SnapdragonTM 652 Prozessor wurde im Phab 2 Pro eigens für Tango optimiert. Die Bildschirmauflösung in QHD mit 1440×2560 ist ordentlich hoch und ermöglicht ein gestochen scharfes Bild.

Mein Erfahrungsbericht

Die Inbetriebnahme gestaltete sich angenehm. Ich konnte mich über mein Google Konto anmelden und habe mich mit dem Wifi verbunden. Danach, und noch bevor der Home-Screen zu sehen ist, startet automatisch eine erste Google Tango Demo. In Google Tango Experience werden alle Vorzüge dieser neuartigen Technologie hervorgehoben. Der Raum wird sichtbar mit tausend kleinen Punkten gescannt. Das sieht beeindruckend aus. Man taucht ein in eine farbeprächtige virtuelle Welt und kann sie frei erkunden. Pflanzen und Tiere reagieren wenn man Ihnen zu nahe kommt. Zum Schluss wechselt die Experience in eine Mixed Reality Experience. Das eigene Wohnzimmer wird sichtbar und virtuelle Pflanzen wachsen plötzlich entlang vom Teppich und Plattenboden.

https://youtu.be/MH9LbaCKZjM

Über einen eigenen App-Store für Tango kann man sich weitere Apps herunterladen. Viele Apps stehen gratis zur Verfügung. Ich habe selbstverständlich auch einige der Vermessungs-Apps ausprobiert. Mit zwei Klicks kann man eine Linie ziehen wo dann die Distanz abgelesen werden kann. Über andere Apps ist es möglich virtuelle Möbel aus einem Katalog in der Wohnung zu platzieren. Die Möbel werden massstabsgetreu dargestellt und können nachträglich auch noch rotiert und verschoben werden. Eine App welche mich sehr beindruckt hat, ist die BMW iVisualiser App (Entwickelt von BMW und Acenture). Mit der App kann sowohl der BMW i3 als auch der BMW i8 direkt im Wohnzimmer platziert werden. Die App bietet Möglichkeiten, sowohl das Exterior als auch das Interior, zu konfigurieren. Die 3D-Modelle sind sehr aufwändig und detailreich umgesetzt. Animationen, wie das Öffnen der Türen ergänzen die Expierence.

https://youtu.be/XAsHaNJxV3M

Eigene Apps entwickeln mit Google Tango Motion-Tracking

Mein eigentliches Interesse bei Google Tango liegt natürlich darin, die Technologie für eigene Apps und Visualisierungen zu nutzen. Über die Google-Tango Website ist alles bestens dokumentiert und für mich als Unity-Entwickler steht das passende SDK zum Download bereit. Dieses SDK kann man ohne Probleme in ein bestehendes Unity Projekt importieren. Neben hilfreichen Scripts liefert Google auch einige Demoszenen wo man viel über die Funktionsweise und die Technologie lernen kann. Innerhalb kurzer Zeit war es möglich eine eigene Tango-App zu exportieren, in welcher virtuelle Objekte im Raum platziert werden können.

https://youtu.be/0r2zQYCJw9c

Damit sich virtuelle Objekte gut in die reale Welt einfügen ist es hilfreich, die Objekte mit einem einfachen Schatten auszustatten. Für eine besonders realistische Dartsellung ist es hilfreich wenn man im Vorfeld ein 360° Bild der Umgebung aufnehmen kann. In Unity kann man dies für die Beleuchtung und Reflexionen nutzen. Natürlich stellen sich hier Fragen im Bezug auf das Interaction Design: Wie interagieren wir mit den Objekten und wie muss das User-Interface gebaut sein. Durch die Möglichkeit das User-Interface im Raum zu platzieren ergeben sich auf jeden Fall viele neue und spannende Möglichkeiten.

Eigene Apps entwickeln mit Google Tango Area Learning

Die Technologie rund um Area Learning wollte ich ebenfalls ausprobieren. Alle nötigen Bausteine sind im SDK integriert. In einem ersten Schritt muss ich einen Raum erfassen bzw. scannen. Dies geschieht über eine spezielle App welche die Daten nach dem Scan auf dem Gerät speichert. Dieser Datensatz liefert die Grundlage für meine App und ermöglicht mir Objekte passgenau zu plazieren. Ich habe dazu testweise verschiedene Texte im Raum verteilt. Sobald ich die App starte wird die Umgebung sofort geprüft. Wenn eine Umgebung erkannt wird, wird das Gerät positoniert und alle virtuellen Objekte sind perfekt positioniert.

https://youtu.be/YRjaPAhJ708

Dieses Konzept hat für mich ein unglaubliches Potenzial, da hier die echte Welt und die virtuelle Welt tatsächlich ineinander übergehen. Denken wir an ein Kunst-Museum welches so den Besuchern ermöglicht, spannenden Mehrwert direkt beim Kunstwerk über das Smartphone abzurufen. Zum Beispiel in Form von weiteren Informationen, Videos oder Animationen. Auch für die Ausbildung sehe ich Chancen. Als Automechaniker kann ich zum Beispiel ein Getriebe von einem Auto sichtbar machen ohne dass das Gerät auf die Hebebühne gesetzt werden muss.

Zukunft

Wir dürfen gespannt sein wie sich die Tango in Zukunft weiter entwickelt. Eine zusätzliche Technologie ist im SDK bereits als „Experimental» verfügbar, funktioniert aber noch nicht ganz zuverlässig. Bei der sogenannten Real-World-Occlusion geht es darum, dass echte Objekte, virtuelle Objekte verdecken
können.
Weiter wäre es thereotisch auch möglich mit dem Lenovo Gerät ein Tetherless-VR, also kabelloses VR- Erlebniss zu bauen, mit welchem ich mich frei im Raum bewegen könnte. Zurzeit kann das nur die HTC Vive oder die Oculus Rift mit entsprechenden Sensoren und jede Menge Kabel. Das Gerät erreicht aber noch nicht die notwendige Leistung um ein flüssiges VR-Erlebniss zu ermöglichen. Die VR-Community blickt deshalb gespannt auf die nächste Gernation von Tango Smartphones, allen voran das Asus ZenFone AR.

Lenovo Phab 2 Pro im Grössenvergleich

Lenovo Phab 2 Pro im Grössenvergleich

Fazit

Entdeckt hatte ich Google Tang leider erst kürzlich aber es hat mich voll und Ganz überzeugt. Wenn ich Kunden Google Tango zeige sind alle ausnahmslos begeistert.

Die Technologie ist noch ganz am Anfang. Und deshalb gibt es auch Limitationen. Der Akku wird tatsächlich stark beansprucht. Wenn man das Gerät über USB am Computer angeschlossen hat und Tango Applikationen entwickelt und hin und wieder testet, reicht der Strom nicht aus. Nach einem halben Tag muss da Gerät über den Netzadapter an einer normalen Steckdose geladen werden. Entsprechend einem Test bei Ars Technica ist der Akku unter Voll-Last bereits nach einer Stunde leer.

Die vielen Games und Applikationen überzeugen ebenfalls noch nicht ganz. Die Bedienung ist nicht immer selbsterklärend. Wie bei jeder Technologie müssen sich hier auch noch geeignete Muster im Interface Design etablieren.

Augmented Reality Technologie wird viele spannende Use-Csses ermöglichen, davon bin ich überzeugt. In den nächsten Monaten werden weitere Hersteller ihre Smartphones mit Augmented Reality Technologie ausstatten. Google Tango bietet bereits heute die Technologie um als Unternehmen mit Augmented Reality erste Erfahrungen zu machen und sich gegenüber Mitbewerber mit innovativer Technologie einen Vorsprung zu verschaffen. Damit kann man rechzeitig mit spannenden Applikationen parat sein, wenn die Technologie im Massenmarkt ankommt.

Eine Augmented Reality Experience selber entwicklen?

Im September wird Vision 11 in Zusammenarbeit mit der Zürcher Hochschule der Künste (ZHdK) ein dreitägiges Immersive Design Modul mit dem Schwerpunkt Virtual- und Augmented Reality anbieten. Die Teilnehmerzahl ist beschränkt. Wer Interesse hat oder mehr Informationen benötigt, darf sich gerne mit mit Lukas in Verbindung setzen.

4 Comments

  1. der andere hans

    Tango, VR …
    Das alles hat grosses Potential.
    WENN …
    Ja, wenn u.a. das Akkuproblem gelöst werden kann. Dieses Problem wird meiner Meinung nach in der aktuellen Diskussion stark unterschätzt. Nach aktuellem realistischem Stand der Dinge wird der Akku DAS Hemmnis für den raschen Durchbruch dieser Technologien.
    Und ich bin auch nicht so zuversichtlich, dass dieser Engpass so schnell beseitigt wird. Denn er hat sehr wenig damit zu tun, dass sich die Technologie noch am Anfang befindet. Ganz im Gegenteil: ganz verschiedene Industriezweige kämpfen schon langem mit besseren Batterie- und Akku-Kapazitäten (Elektro-Autos. E-Bikes, Notebooks, Kameras, IoT, Sportuhren/Aktivitätstracker …etc. etc.). Es gibt zwar Fortschritte, aber die sind doch (deutlich!) kleiner, als erhofft und die Schritte sind deutlich zu klein, als dass die Batterieproblematik nicht mehr ein zentraler Flaschenhals in der Weiterentwicklung wäre.

  2. blub

    hmmnn mich würde interessieren wie weit die Tango Sensoren sehen können..Am besten unterschiedlichen Lichtverhältnissen und mit Genauigkeit – dazu hab ich leider noch nichts gefunden 🙁

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahren Sie mehr darüber, wie Ihre Kommentardaten verarbeitet werden .

Hat Ihnen der Artikel gefallen? Bitte teilen Sie Ihre Gedanken mit anderen.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahren Sie mehr darüber, wie Ihre Kommentardaten verarbeitet werden .