Gerendertes 3D-Modell eines Dinosauriers anhand eines Videos

Ein 3D-Modell aus Video-Formaten erstellen: Lohnt sich der Aufwand?

Videogrammetrie ist eine Mess- und Analysemethode, mit der aus Videomaterial 3D-Daten erfasst werden, um daraus ein 3D-Mesh zu rekonstruieren. Wie die Fotogrammetrie scheint dies ein interessantes Verfahren zu sein. Grund genug, sich mit zwei wichtigen Unterschieden zwischen der Verwendung von Standbildern und Video zu befassen.

Nicht immer einfach: Erstellung von 3D-Modellen aus Videos.

Die Generierung von 3D-Objekten aus Videos ist aus zwei Gründen etwas komplizierter als aus Standbildern.

1. Auflösung.

Die Auflösung des Clips ist wesentlich für das Ergebnis beim 3D-Scannen. Eine hohe Auflösung bedeutet einen hohen Detailgrad im Bild, was wiederum die Qualität der 3D-Scans steigert. Die größten Probleme bei der 3D-Erfassung entstehen durch geringe Auflösungen und ggf. vorhandene Artefakte. Grundsätzlich gilt: je detailreicher das Bild, desto detailreicher das 3D-Objekt.

 

Es gibt zwar 8K-Kameras, doch diese sind extrem teuer. Am Ende rechnet es sich nicht, nur für eine höhere Auflösung eine High-End-Videokamera zu verwenden, wenn Standbilder denselben Zweck erfüllen. Fotos ergeben in allen Kategorien saubere Bilder mit höheren Auflösungen und kosten weniger.

2. Bewegungsunschärfe.

Eine weiteres Problem, dass bei der Erstellung von 3D-Modellen aus Videos entstehen kann, ist die Bewegungsunschärfe. In Standbildern tritt die Unschärfe nur auf, wenn diese mit einer sich bewegenden Kamera bzw. einer Handkamera mit langer Belichtungszeit aufgenommen wurden. Geht es um 3D-Bilderfassung, ist dies kein wirkliches Problem. Mithilfe eines Stativs lassen sich gestochen scharfe Bilder eines Objekts aus jedem Blickwinkel machen.

 

Bei Videos lässt sich das Problem der Bewegungsunschärfe jedoch nicht so leicht beheben. Die beste Lösung ist immer noch eine kürzere Belichtungszeit. Aufnahmen mit höheren Frame-Raten sind durchaus machbar. Man sollte allerdings nicht vergessen, dass eine kürzere Belichtungszeit auch bedeutet, dass weniger Licht auf die Kamerasensoren trifft. Dies lässt sich in einer Umgebung mit kontrollierter Beleuchtung gut ausgleichen. Aber auch zu viel Licht kann aufgrund der entstehenden Schatten und Glanzlichter die Qualität des Scans beeinträchtigen.

3D-Dinosaurier-Modell aus Videodaten

Bild von Andrew Palmer

Vorteil der Videogrammetrie: Schnelligkeit.

Es gibt also gewichtige Gründe, die gegen eine Verwendung von Video sprechen. In manchen Fällen kann es sich aber trotzdem lohnen, Video den Vorzug zu geben.

 

Für einen 3D-Scan werden in der Regel Dutzende Fotos des Objekts aus allen Blickwinkeln benötigt, was mit großem Zeitaufwand verbunden ist. Es gibt eine Reihe von Smartphone-Apps, mit denen sich 3D-Modelle anhand eines Video-Clips generieren lassen. Der Vorteil liegt auf der Hand: Ein Video ist viel schneller erstellt als zahllose Einzelfotos.

 

Wenn du eine schnelle Lösung suchst, ist die 3D-Modellerstellung per Smartphone-Video und -App sicherlich der einfachste Weg. Standbilder mit hoher Auflösung liefern jedoch grundsätzlich bessere Ergebnisse. Man sollte sich trotzdem vor Augen halten, dass es sich bei den verwendeten Video-Frames im Grunde auch um Standbilder handelt. So ist es immer eine Frage der Abwägung, ob die Zeitersparnis die höhere Qualität einer Aufnahme mit Stativ und Kamera aufwiegt.

Mit Videogrammetrie erzeugtes 3D-Modell eines Auges aus Videodaten

Bilder von Andrew Palmer

Software für Videogrammetrie

Bilder von Andrew Palmer

Hardware-Anforderungen.

Um optimale Ergebnisse mit einem Smartphone zu erzielen, empfehlen wir Modelle mit LiDAR-Sensoren, z. B. das iPhone 12 oder 13 Pro.

 

Wir bieten mit Substance 3D Sampler – Teil der Adobe Substance 3D-Familie – ein effizientes und intuitives Tool zur 3D-Bilderfassung, mit dem sich aus Fotos 3D-Objekte generieren lassen. Exakte Foto- und Video-Scans von Objekten erfordern viel Rechenleistung. Für 3D Sampler (Stand: 2023) empfehlen wir einen Intel i7-, AMD Ryzen 7- oder vergleichbaren Prozessor sowie eine leistungsfähige GPU wie die der 30er-Serie und höher. Als Arbeitsspeicher genügen 32 GB, optimal sind für viele Projekte jedoch 64 GB.

 

Einen vollständigen Leitfaden zu den Hardware-Anforderungen und Empfehlungen findest du in unserer Dokumentation.

Erfasse realistische 3D-Elemente mit Adobe.

Substance 3D Sampler eignet sich hervorragend für den Einstieg in die Fotogrammetrie. 3D Sampler bietet keine Unterstützung für Videos, jedoch erleichtert die integrierte KI-Technologie den Vorgang deutlich. Es genügt, wenn du scharfe, gut beleuchtete Bilder machst. Den Rest erledigt 3D Sampler.

 

Sampler maskiert deine Bilder automatisch mithilfe derselben Maskierungstechnologie wie in Photoshop, sodass nur das Hauptobjekt rekonstruiert wird. Wenn du mit der Maskierung zufrieden bist, verarbeitet Sampler die Bilder, erstellt eine Punktwolke und generiert ein 3D-Mesh mit Texturen.

 

Mit 3D Sampler kannst du Materialien mischen und verblenden, um das Erscheinungsbild des Modells beliebig zu verändern.

Entdecke die 3D-Bilderfassung mit Substance 3D Sampler.

Wie oben erläutert, hat die Generierung von 3D-Modellen aus Videos ihre Vorteile, ist allerdings in den meisten Fällen nicht die beste Lösung. In unserem Einführungsvideo erfährst du mehr über die 3D-Bilderfassung und die vielen Möglichkeiten mit Adobe Substance 3D Sampler. Einer unserer 3D-Artists demonstriert darin den gesamten Erfassungsprozess mit Standbildern.

Häufig gestellte Fragen.

Bei der Fotogrammetrie werden Informationen zu den Abmessungen abgebildeter Objekte gewonnen. Wenn genügend Bilder eines Objekts aus verschiedenen Perspektiven vorhanden sind, kann daraus ein 3D-Modell rekonstruiert werden. Für diesen Prozess ist spezielle Software nötig. Videogrammetrie basiert auf demselben Prinzip, allerdings werden statt Bildern Video-Clips als Quelle für die Vermessung verwendet.

Videogrammetrie wird von 3D Sampler nicht direkt unterstützt. Um in Sampler das Tool zur 3D-Bilderfassung zu nutzen, musst du eine Reihe an Standbildern in den Assistenten importieren. Das Extrahieren von Standbildern aus einem Video geht relativ einfach mit Programmen wie Photoshop oder Software für Videobearbeitung. Für optimale Ergebnisse empfehlen wir die Verwendung von Standbildern mit hoher Auflösung.

3D-Objekte, die aus Bildern generiert werden, sind oft eine Bereicherung für die 3D-Pipeline. Objekte, die im Vordergrund einer Aufnahme stehen, verdienen eine sorgfältige Modellierung per Hand. Doch ein Großteil der Aufnahmen enthält auch viele Objekte im Hintergrund. Hier lässt sich durch Fotogrammetrie erzeugte 3D-Objekte viel Zeit einsparen.