Meta hat einen Durchbruch in der Entwicklung seiner Codec Avatars erzielt. Forscher haben herausgefunden, wie sie ihre beeindruckenden Ganzkörper-Avatare in Echtzeit auf einer Quest 3 ausführen können.
Die neue Technik ermöglicht es, bis zu drei fotorealistische digitale Darstellungen von Menschen gleichzeitig mit 72 Bildern pro Sekunde auf dem mobilen Chipsatz des Headsets darzustellen. Diese Leistung ist bemerkenswert, da die Technologie bisher auf leistungsstarke PC-Grafikkarten angewiesen war.
Seit rund einem Jahrzehnt arbeitet Meta an den Codec Avatars, deren Ziel es ist, soziale Präsenz zu schaffen – das Gefühl, wirklich mit einer anderen Person zusammen zu sein, obwohl man sich in einer virtuellen Umgebung befindet.
Diese Technologie, die von der Gesichts- und Blickerfassung des VR-Headsets gesteuert wird, überwindet die “Uncanny Valley”-Problematik, das unheimliche Gefühl, das oft bei zu realistischen, aber doch unvollkommenen digitalen Darstellungen entsteht.
Abgespecktes Rechenmodell, gute Ergebnisse
Möglich wurde dieser Fortschritt durch ein Verfahren, das die Forscher in einem Fachbeitrag mit dem Titel „SqueezeMe: Mobile-Ready Distillation of Gaussian Full-Body Avatars“ beschrieben haben. Dabei wurde ein großes, rechenintensives Modell genutzt, um ein viel kleineres Modell zu trainieren, das die Leistung effizient und mit minimalem Qualitätsverlust nachbilden kann.
Trotz des großen Sprungs gibt es jedoch Einschränkungen. So erforderte die Generierung eines Codec-Avatars ursprünglich ein aufwändiges Aufnahme-Array mit über 100 Kameras und Hunderten von Lichtern. Inzwischen wird dieses Array nur noch zum Trainieren eines „universellen Modells“ genutzt.
Das bedeutet, dass neue Codec-Avatare jetzt mit einem einfachen Selfie-Video, in dem man den Kopf dreht, erstellt werden können. Für die volle Qualität ist jedoch immer noch eine etwa einstündige Verarbeitung auf einem leistungsstarken Server-GPU notwendig.
Zudem verfügen die Avatare über eine statische Beleuchtung und unterstützen keine dynamische Neubeleuchtung – eine zentrale Funktion der neuesten PC-basierten Versionen, die für eine nahtlose Integration in VR-Umgebungen entscheidend wäre. Die gute Nachricht: Die Prototypen unterstützen jetzt auch veränderbare Frisuren.
Ob es weitere Neuigkeiten zu den Codec Avatars geben wird, bleibt abzuwarten. Es ist jedoch gut möglich, dass das Unternehmen auf der Meta Connect 2025 am 17. September mehr über die Fortschritte bei der Entwicklung berichten wird.
