Modelle mit Photogrammetrie erstellen - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:16

Wer bin ich?

Ich bin Samuel Conklin und ich bin ein Student im zweiten Jahr bei E. L. Meyers Gymnasium. Ich habe in den letzten Monaten mit Photogrammetrie experimentiert und hoffe, Ihnen helfen zu können, wenn Sie sich entscheiden, dieses Produkt neu zu erstellen. Ich bin daran interessiert zu sehen, wie andere Menschen diese neue und sich ständig weiterentwickelnde Technologie nutzen können.

Was ist Virtual Reality und SteamVR?

Virtual Reality ist eine neue Form des künstlerischen Ausdrucks und Erlebens. Es ist immer noch eine neue Grenze der Technologie, da unzählige Unternehmen und Menschen daran arbeiten, das Medium zu verbessern. Sie tun sich selbst keinen Gefallen, wenn Sie VR noch nie ausprobiert haben, da es den Seh- und Klangsinn des Benutzers vollständig einkapselt. Eine der wichtigsten Plattformen für Virtual Reality ist SteamVR von Valve. SteamVR ermöglicht es Benutzern, Umgebungen und Versatzstücke kostenlos miteinander zu teilen. Es ist größtenteils Open-Source und ermöglicht eine Vielzahl von Headsets. Dazu gehören unter anderem die HTC Vive-Serie, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality usw. SteamVR ist die Plattform, mit der wir unsere Umgebung erstellen.

Was ist Photogrammetrie und wie kann sie verwendet werden?

Photogrammetrie ist der Vorgang, bei dem Fotos oder Videos aufgenommen und die Bilder in ein 3D-Modell umgewandelt werden. Das bekannteste Beispiel für den Einsatz dieser Technologie ist Google Earth. Google verwendet Satellitenbilder und Straßenansichten, um Landschaften und Gebäude zu rekonstruieren. Wenn man sich Google Earth ansieht, ist klar, dass sie nur wenige Bilder hatten, mit denen sie arbeiten konnten, sodass einige Gebäude unförmig aussehen werden. Bei richtiger Anwendung ist die Photogrammetrie eine äußerst überzeugende Möglichkeit, 3D-Modelle zu erstellen. Dieses Projekt verwendet diese Technologie, um historische Wahrzeichen zu erhalten. Erosion und Witterungseinflüsse führen dazu, dass historische Wahrzeichen irgendwann verfallen und die Menschen sie vergessen. Mittels Photogrammetrie können wir alles digital konservieren, damit kommende Generationen diese Strukturen erleben und schätzen können. Dies bedeutet auch, dass weltweit mehr Menschen andere Kulturen ohne Reisekosten oder Reiserisiko erleben können.

Welches Zubehör benötige ich?

Für dieses Projekt habe ich Reality Capture, SteamVR und Krita verwendet. Es gibt Autodesk-, Agisoft- und Zephyr-Programme, die anstelle von Reality Capture verwendet werden können, wenn Sie nicht über die erforderliche Nvidia-GPU verfügen, um es auszuführen. Photoshop oder andere Bildbearbeitungsprogramme können anstelle von Krita verwendet werden, aber da es kostenlos und öffentlich ist, habe ich es für dieses Projekt verwendet. Sie benötigen außerdem ein Desktop-VR-Headset, das direkt an Ihren Computer angeschlossen werden kann. Schließlich wird eine hochwertige Kamera benötigt. Eine mobile Kamera ist anständig, aber ich habe eine Nikon D7000 verwendet, da Reality Capture die Blende der Kamera automatisch erkennen kann, was zu hochwertigeren Modellen führt.

Schritt 1: Fotos aufnehmen

Dies ist der wichtigste Teil dieses Projekts, da Sie es in einem Schuss richtig machen müssen. Wenn Sie dies nicht tun, müssen Sie zum Standort zurückkehren und alles wiederholen.

Zuerst müssen Sie einen geeigneten Standort und eine geeignete Struktur finden. Die Struktur sollte groß und leicht erkennbar sein. Dies bedeutet, dass die Photogrammetrie-Software die Unterschiede zwischen der Struktur und dem Hintergrund erkennen kann.

Normalerweise ist es am besten, an einem bewölkten Tag zu fotografieren. Dies liegt daran, dass ein sonniger Tag die Möglichkeit hat, einige Fotos zu überbelichten und andere zu unterbelichten. Es könnte auch unerwünschte Schatten erzeugen. Ein Modell mit wenig bis gar keinen Schatten erleichtert die Beleuchtung im Abschnitt zur Levelentwicklung. Darüber hinaus benötigt die Software, dass die Farbbalance bei jedem Foto gleich bleibt, da sie Farben verwendet, um die Größe des Objekts zu berechnen. Das Fotografieren an einem bewölkten Tag verbessert jedoch die Qualität der Struktur. Die Wolken am Himmel fungieren als natürlicher Diffusor für die Kamera. Es verteilt das Licht gleichmäßiger und bedeutet, dass das Modell während des Rendervorgangs präziser wird.

Der letzte Ratschlag ist, so viele Fotos wie möglich zu machen. Die meisten Programme wählen aus, welche Fotos sie für das Endprodukt verwenden werden. Durch mehr Fotos wird alles genauer und gibt dem Programm etwas Luft zum Atmen. Ich hatte ungefähr 150-300 Fotos für jedes Modell.

Schritt 2: Erste Schritte mit der Photogrammetrie-Software

Jetzt importieren wir die Fotos in die Software. Beachten Sie, dass für Reality Capture eine Nvidia-Grafikkarte erforderlich ist. Sie können den Abschnitt Bilder ausrichten ohne ihn nicht überwinden.

Wenn Sie einen Ordner mit allen Bildern haben, die Sie verwenden möchten, wählen Sie die Option Ordner in der oberen linken Ecke. Dadurch gelangen Sie zum Dateimanager und Sie können den Ordner auswählen. Eingaben ermöglichen es Ihnen, einzelne Fotos mit dem Dateimanager auszuwählen.

Als nächstes beginnen wir mit der Erstellung des Modells. Oben auf dem Bildschirm befindet sich unter Workflow ein Abschnitt Prozess. Wir wollen den größeren Startknopf drücken. Dadurch werden die Bilder ausgerichtet. Das vierte Foto zeigt kurz, was während dieses Prozesses vor sich geht. Es erkennt das linke Auge des Hirsches und vergleicht die Entfernung mit anderen Fotos. Es vergleicht weiterhin verschiedene Fotos, bis es alle möglichen Kombinationen durchlaufen hat. Dieser Schritt ist abgeschlossen, wenn Sie kleine Punkte sehen, die der Struktur ähneln.

Schritt 3: Berechnen und vereinfachen

Im nächsten Schritt wird das Modell berechnet. Dazu klicken wir im Abschnitt Prozess auf Modell berechnen. Dadurch wird alles, was auf den Fotos gefunden wird, direkt in 3D-Form übersetzt. Die Ergebnisse sind ziemlich nah an dem, was das Modell aussehen soll, aber es gibt drei Probleme mit dieser Version des Modells. Erstens gibt es Löcher im Modell, die nicht in der realen Struktur vorhanden sind. Zweitens ist die Oberfläche viel zu holprig. Da das Programm seine Berechnungen approximiert, macht es fälschlicherweise einige glatte Oberflächen holprig. Drittens gibt es zu viele Dreiecke. Jedes Modell in Reality Capture wird mit kleinen Dreiecken erstellt. Jedes Dreieck repräsentiert eine kleine Fläche des Modells. Wir wollen so wenig Dreiecke wie möglich, um das Modell zu optimieren. Wenn zu viele Dreiecke vorhanden sind, kann dies zu Leistungsproblemen führen.

Diese Probleme können mit dem Simplify-Tool gelöst werden. Alle Modelle haben nach der Phase Modell berechnen 3 000 000 Dreiecke, und wir können diese Zahl höher oder niedriger einstellen. Für alle Modelle wie die in diesem Projekt gefundenen habe ich die Anzahl der Dreiecke auf 1.000.000 gesenkt. Das Ergebnis ist im zweiten Bild zu sehen, wo alle holprigen Oberflächen glatter sind und es weniger Löcher gibt. Darüber hinaus wird die Leistung mit weniger zu rendernden Dreiecken besser, wenn wir in VR einsteigen.

Schritt 4: Farbe und Textur

Jetzt benötigt das Modell Farbe und Textur, um es noch lebendiger zu machen. Diese beiden Teile sind in dem, was sie erreichen, ähnlich, unterscheiden sich jedoch in ihrer Funktionsweise. Mit Farbe, die sich im Abschnitt Prozess befindet, wird das Programm das Modell einfärben. Das Tool nimmt die Bilder auf, die es zum Erstellen des Modells verwendet hat, und wickelt Ihre Bilder um die verschiedenen Oberflächen Ihres Modells. Textur hingegen färbt die vereinfachten Teile des Modells ein. Beim ersten Bild ist deutlich zu erkennen, wie das Programm die Bilder um das Modell gewickelt hat, aber im zweiten Bild nach dem Texture-Prozess werden die scharfen Seiten der Bilder nun geglättet.

Schritt 5: Exportieren und SteamVR

In Reality Capture werden wir die Modelle auf SteamVR übertragen. Wählen Sie oben auf dem Bildschirm unter Exportieren die Option Mesh aus, die sich neben dem Abschnitt Process befindet. Sie sollten dieses Popup sehen, in dem Sie die Einstellungen und Parameter des Modells ändern können. Es ist am besten, alle Einstellungen auf Standard zu belassen, außer das Texturformat JPEG zu ändern. Das Programm exportiert nun eine Datei im OBJ-Format, die die Mesh-Datei ist, und eine JPEG, die die Texturdatei für das Modell ist. Zu Referenzzwecken sollte das JPEG wie das zweite Bild in diesem Schritt aussehen.

Jetzt müssen wir unsere Modelle in SteamVR importieren. Öffnen Sie zuerst SteamVR und navigieren Sie dann zu Create/Modify an Environment, das sich auf der Registerkarte Workshop befindet. Die SteamVR Workshop-Tools werden nun geöffnet. Wählen Sie Leeres Add-on erstellen und klicken Sie auf Tools starten.

Der Asset-Browser wird nun mit verschiedenen bereits enthaltenen Materialien und Modellen geöffnet. Oben links befindet sich ein Symbol mit einem Hammer-Symbol. Dies ist der integrierte SteamVR Hammer-Editor, mit dem Sie Karten erstellen können. Karten sind die Umgebung, in der der VR-Benutzer während des Spiels leben wird.

Schritt 6: Erstellen Sie Ihre SteamVR-Karte

Wenn der Hammer-Editor in SteamVR geöffnet ist, können wir jetzt einen Würfel erstellen. Wir möchten einen Würfel erstellen, um mit dem Bau der Umgebung zu beginnen. Mit dem Programm können Sie die Größe des Würfels ändern, bevor er befestigt wird. Im Moment sind nur die Außenflächen des Würfels sichtbar. Durch Drücken von STRG+F werden alle Flächen invertiert und verwandeln den Würfel in einen Raum. Außerdem müssen Sie ein Objekt namens info_player_start hinzufügen, das Hammer mitteilt, wo der Benutzer beim Laden des Programms erscheinen soll.

Um den Raum realistischer zu gestalten, müssen wir auch Texturen hinzufügen. Wir können einige benutzerdefinierte Bilder über den Material-Editor hinzufügen. Dies ist das kreisförmige Symbol rechts neben der Hammer-Schaltfläche im Asset-Browser. Wenn Sie den Material-Editor auswählen, gelangen Sie zu einem neuen Fenster, in dem Sie ein Bild importieren können, das in eine Textur umgewandelt werden soll. Sie können Ihre eigenen Bilder verwenden oder Bilder von Stock-Textur-Websites wie textures.com abrufen. Klicken Sie auf die Schaltfläche Datei unter der Farbauswahl, um das Bild auszuwählen, das Sie verwenden möchten. Nachdem Sie Ihr Bild ausgewählt haben, stellen Sie sicher, dass Sie es speichern, indem Sie auf das Diskettensymbol oben links im Material-Editor-Fenster klicken. Schließen Sie nun den Material-Editor und navigieren Sie zurück zum Asset-Browser. Suchen Sie hier nach der Texturdatei, die Sie verwenden möchten, klicken Sie darauf und ziehen Sie sie in den Hammer-Editor. In diesem Fenster können Sie Ihre Textur auf die verschiedenen Flächen des Würfels anwenden.

Wir müssen auch den Raum beleuchten. Dazu platzieren wir ein light_omni oder einen light_spot auf unserer Karte, die sich im Entity-Bereich links neben der Kartenansicht befindet. Ein light_omni strahlt in alle Richtungen, während ein light_spot Licht in eine bestimmte Richtung strahlt. Für dieses Projekt habe ich mindestens zwei light_spots für jedes Objekt und ein light_omni verwendet, um den Raum zu erhellen.

Schritt 7: Hinzufügen unserer Objekte zur Karte

Jetzt ist es an der Zeit, unsere Objekte in unsere Karte zu verschieben. Im Asset-Browser befindet sich rechts neben dem Material-Editor-Symbol der Modell-Editor, der einem humanoiden Symbol ähnelt. Beim Öffnen des Modelleditors haben Sie die Möglichkeit, eine neue VDML zu durchsuchen oder eine neue VDML zu erstellen, die die Hammer-Editor-Version einer OBJ-Datei ist. Wählen Sie die Option zum Erstellen einer neuen VDML und Sie müssen einen Ordner erstellen. In diesem Ordner wird die VDML-Datei gespeichert. Stellen Sie sicher, dass es sich im Ordner Add On befindet, und drücken Sie auf Weiter.

Dadurch gelangen Sie zu einem Bildschirm mit Ihrem Modell, der eine weiße Textur hat. Um die Textur für dieses Modell hinzuzufügen, wählen Sie Materialien aus der Symbolleiste auf der linken Seite. Dadurch gelangen Sie zum Material-Editor und Sie können das JPEG aus dem Reality Capture-Export auswählen. Stellen Sie sicher, dass Sie die Textur und das Modell speichern, indem Sie auf das Diskettensymbol klicken. Kehren Sie zum Hammer-Editor zurück.

In Hammer können Sie das Modell per Drag & Drop aus dem Asset-Browser auf die Karte ziehen. Das Modell wird höchstwahrscheinlich winzig sein und Sie müssen die Größe ändern. Durch Drücken von T auf Ihrer Tastatur können Sie die Position auf der Karte ändern. Durch Drücken von E werden die Proportionen des Modells geändert, während R es dreht.

Schritt 8: Erstellen der Objektbeschriftungen

Die neben jedem Orientierungspunkt angezeigten Objektbezeichnungen bieten Kontext und Verlauf, um die Benutzererfahrung zu verbessern. Für meine Objektetiketten habe ich einfach Fotos von den Informationstafeln an jedem Ort gemacht, um wichtige Informationen, die ich später verwenden wollte, einfach festzuhalten. Ich habe dann Krita, ein kostenloses Fotobearbeitungsprogramm, verwendet, um die Objektetiketten einschließlich zusätzlicher Bilder und Texte zu erstellen.

Für die Miner Park- und Anchor-Seite des Raums gab es keine Probleme beim Hinzufügen von Labels als Texturen. Fügen Sie sie einfach über den Material-Editor zu Ihrem Asset-Browser hinzu und fügen Sie das Bild zu einem Block hinzu, der im Hammer-Editor erstellt werden kann. Probleme traten auf, als ich Bretter für die andere Seite des Raumes erstellte. Alle Texte und Bilder waren rückwärts und es gab keine klare Möglichkeit, die Texturen im Editor umzukehren. Um dies zu beheben, ging ich zurück zu Krita und vertauschte die Bretter für das Reh und den Bären und zum Glück hat dies das Problem behoben.

Darüber hinaus habe ich verschiedene Bilder von Wilkes-Barre hinzugefügt, da ich einen Raum schaffen wollte, der die Atmosphäre und das Ambiente eines Boutique-Museums hat.

Schritt 9: Fazit

Zusammenfassend lässt sich sagen, dass sowohl Virtual Reality als auch Photogrammetrie die Kraft haben, unzählige Branchen erheblich zu verbessern, einschließlich, aber nicht beschränkt auf Sport, Immobilien und Forensik. Heute habe ich Photogrammetrie verwendet, um einige kleine, aber wichtige Teile der lokalen Geschichte meiner Heimatstadt zu bewahren. VR und Photogrammetrie sind beides noch experimentelle Technologien, die Sie manchmal herausfordern können. Trotz einiger Mängel ist die Zahl der innovativen Einsatzmöglichkeiten für beide Verfahren spannend und grenzenlos. Ich danke Ihnen, dass Sie über dieses Projekt gelesen haben und hoffe, dass dies Sie dazu inspiriert hat, etwas Neues mit Virtual Reality auszuprobieren.

Den Downloadlink zum Projekt finden Sie hier.