Das XR-SDK von Niantic kommt für Quest 3(S)-Entwickler mit zentimetergenauem Outdoor-VPS, Live-Szenen-Meshing und vielen weiteren praktischen Features.
Niantic dürftet ihr noch von Pokémon Go kennen, allerdings hat sich das Unternehmen mittlerweile aufgespalten – die Poketmonster-Entwicklung wurde mitsamt des gesamten Spielegeschäftes an das saudi-arabische Unternehmen Scopely verkauft, um Niantic Spatial die Finanzierung von XR-Raumtechnik zu ermöglichen. Einen der Erfolge dieser Strategie seht ihr in Form des Niantic SDK 3.5, das jetzt auch für Quest 3(S) verfügbar ist.
Die Features des Niantic SDK auf Meta Quest 3(S)
Wusstet ihr, dass GPS nur eine recht mäßige Genauigkeit von etwa einem Meter aufweist? In eng bebauten Gegenden wird die Ungenauigkeit sogar noch schlimmer. Das reicht für das Navigieren mit dem Auto oder Smartphone, bei AR-Anwendungen, die auf deutlich bessere Ergebnisse angewiesen sind, ist das aber nicht praktikabel.
Visual Positioning System – 3D-Karten für AR
Google hat das bei der Fußgängernavigation von Maps bereits vor einiger Zeit erkannt und ein Visual Positioning System (VPS) integriert, das anhand optischer Marker, die mit einer hochauflösenden 3D-Karte verglichen werden, die Position viel genauer bestimmen kann. Mittels ARCore lassen sich die Google-Maps-Daten auch in Smartphone-AR nutzen.
Nachteil: Eine solche 3D-Karte muss in großer Ausführlichkeit für die jeweilige Umgebung überhaupt erst einmal vorliegen. Auftritt Niantic: Mit ihrem Spiel Pokémon Go haben sie die große Nutzergemeinde die Welt bereits sehr genau vermessen lassen. So deckt die VPS-Karte dank Pokémon und Scaniverse laut Niantic bereits über eine Million Standorte ab.
Und diese 3D-Karte kann nicht nur auf Smartphones genutzt werden sondern jetzt auch für MR-Software in Metas Quest 3(S). Niantic macht das aber natürlich nicht einfach so: Die ersten 10.000 VPS-Abrufe pro Monat sind noch kostenlos, danach fallen 0,01 US-Dollar pro Aufruf an.
Raumscans erzeugen 3D-Raumnetze
Das 3D-Mesh beim Raumscan mit einer VR-Brille wie PSVR2 oder Quest kennt ihr. Dieser Scan wird benötigt, damit die Brille sich im Raum zurechtfinden kann und die Softwareaugmentierungen an die richtigen Stellen platziert. Allerdings dauert so ein Scan immer einige Sekunden und wenn ihr was im Raum verändert, stimmen die Scandaten natürlich später nicht mehr.
Niantics Spatial SDK geht aber ein paar Schritte weiter. Im wahrsten Sinne des Wortes: Bisherige Live-Lösungen wie Depth API bieten zwar Livescans via Tiefensensor, aber nur bis etwa 4 Meter Entfernung. Niantic integriert aber auch die Passthrough-Kameras und eigene Computer-Vision-Routinen, um ein Mesh mit deutlich mehr Reichweite aufzubauen.
Objekterkennung mit Beschriftungen
Stellt euch eine beliebige Outdoor-AR-Anwendung vor – die Chance, dass dabei sich bewegenden Gegenstände oder Personen als solche identifiziert und am besten noch beschriftet und zugeordnet werden müssen, ist recht hoch. Und genau das will das SDK ebenfalls bieten: Fahrende Autos werden als fahrende Autos erkannt, stehende als ebensolche, genauso wie Ampeln, Lichtmasten, etc. .
Im Bereich der Segmentierung ist die Quest mit dem SDK in der Lage, die Szene in beliebige erkannte Inhalte aufzuteilen. Ihr wählt “Personen” aus und blickt herum – alle Personen werden eingefärbt dargestellt. Oder wie auch immer eure Software sie behandeln soll.
Mit diesen Funktionen und vor allem der großen Datenbasis von Niantic dürfte sich das SDK unter Quest-MR-Entwicklern höchstwahrscheinlich bald größerer Beliebtheit erfreuen – auch wenn der Zugriff auf VPS-Zugriffe ab Aufruf 10.000 Geld kostet – immerhin mit 0,01 US-Dollar pro Zugriff halbwegs überschaubar (ab 500.000 Aufrufen lassen sich individuelle Vereinbarungen mit Niantic treffen). Computer Vision und Spatial-SDK sind unbegrenzt nutzbar, zumindest gegen eine monatliche Zahlung pro aktivem User (ab User 500). Hier ist die genaue Preisliste.
Mit Snap Inc. (Snapchat) steht bereits eine Partnerschaft an, die Snapchat Zugriff auf die 3D-Karten von Niantic bietet und so die AR-Fähigkeiten ausbauen soll.
