Smartphone zücken, die neue Küche fotografieren und Freunde zur virtuellen Besichtigung einladen – die Anwendungsmöglichkeiten der Technologie sind vielfältig. Das Forschungsprojekt „Just Scan It 3D“ zeigt, dass der Nutzen weit über privates Vergnügen hinausgeht. Wissenschaftler*innen der Bergischen Universität arbeiten gemeinsam mit dem Bildungsdienstleister schnaq, dem Versicherungsdienstleister Control Expert und dem Deutschen Bergbau-Museum Bochum an Lösungen, um hochwertige virtuelle Welten einfach zu erstellen.

Rückmeldung in wenigen Sekunden

Das Interesse an 3D-Visualisierungen, ob im Gaming oder für Mitarbeiterschulungen, ist stark gestiegen. Bisher erforderten die Methoden teures und anspruchsvolles Equipment sowie zeitintensive Nachbearbeitung. Das fertige 3D-Modell hängt stark von der Anzahl und Qualität der Originalbilder ab. Ziel des Projektkonsortiums ist es daher, die Verfahren zur Bilderzeugung mithilfe von Künstlicher Intelligenz (KI) zu beschleunigen und zu vereinfachen sowie den Detailgrad und die Genauigkeit der 3D-Modelle zu verbessern. „KI-basierte Methoden gewinnen auch in der 3D-Rekonstruktion immer mehr an Relevanz“, betont Erik Freier, Geschäftsführer des Interdisziplinären Zentrums Machine Learning and Data Analytics (IZMD) der Bergischen Universität. Die im Projekt „Just Scan It 3D“ entwickelten Verfahren sollen später offen zugänglich für verschiedene Nutzergruppen sein, beispielsweise über eine Smartphone-App.

Vorgehensweise

Die Forschenden kombinieren bestehende 3D-Rekonstruktionsverfahren (wie Photogrammetrie und Neural Radiance Fields) mit Methoden der Künstlichen Intelligenz, insbesondere Deep Learning. Die weiterentwickelten Verfahren sollen fehlende Bilddaten schnell erkennen und ohne lange Verarbeitungszeit hochwertige 3D-Modelle erstellen. „Die Vision ist“, so Freier, „den Anwender*innen in wenigen Sekunden Rückmeldung zu geben, ob weitere Aufnahmen benötigt werden und von welcher Stelle genau.“

Die Erarbeitung der Lösung orientiert sich an drei Anwendungsfällen aus der Praxis:

• KI-basierte Erkennung und Regulierung von Schäden an Kraftfahrzeugen auf Basis von Vor-Ort-Bildaufnahmen (Control Expert)
• Aufnahmen zur Erschaffung von interaktiven 3D-Lernräumen für unterschiedliche (Weiter-)Bildungsformate (schnaq)
• Digitale Archivierung, öffentliche Zugänglichmachung und Zustandsüberprüfung von Objekten des kulturellen und industriellen Erbes (Deutsches Bergbau-Museum Bochum)

Bewährte Expertise aus der Wissenschaft

Die Bergische Universität bringt die Expertise aus verschiedenen Forschungsteams ein: Neben dem IZMD ist unser Lehrstuhl für Technologien und Management der Digitalen Transformation sowie die Nachwuchsgruppe Applied and Computational Mathematics AI Lab um Dr. Matthias Rottmann beteiligt.