Robustere Umgebungskarten für das autonome Fahren: TMDT-Beitrag zur WACV 2027 angenommen
Bildhinweis: Abbildung adaptiert aus der Veröffentlichung.
Wie können autonome Fahrzeuge ihre Umgebung zuverlässig erfassen, wenn andere Verkehrsteilnehmer die Sicht verdecken? Dieser Frage widmet sich die Forschungsarbeit ObjectGuidedMap aus dem Forschungsbereich Industrial Deep Learning (IDL) am TMDT. Der Beitrag wurde zur IEEE/CVF Winter Conference on Applications of Computer Vision 2027 (WACV) angenommen und entstand im Rahmen einer Promotionskooperation mit Aptiv.
Fahrzeuge als Informationsquelle nutzen
Für das autonome Fahren müssen kamerabasierte Modelle Fahrspuren, Fußgängerüberwege und Bordsteine erkennen und in einer Karte aus der Vogelperspektive abbilden. Diese sogenannten Bird’s-Eye-View-Karten (BEV-Karten) stoßen jedoch an Grenzen, wenn beispielsweise ein Transporter Fahrbahnmarkierungen oder ein geparktes Auto den Bordstein verdeckt.
Der Ansatz von ObjectGuidedMap nutzt verdeckende Fahrzeuge als zusätzliche Informationsquelle: Die Position eines geparkten Autos kann etwa Hinweise darauf liefern, wo der nicht sichtbare Bordstein verläuft. Dazu verbindet das Modell die Vorhersage von Kartenelementen mit der dreidimensionalen Objekterkennung.
Vernetzte Aufgaben und schrittweises Training
Die entwickelte Multitask-Architektur bearbeitet Kartenvorhersage und 3D-Objekterkennung in zwei parallelen Verarbeitungszweigen. Informationen aus der Objekterkennung fließen auf zwei Ebenen in die Kartenvorhersage ein: durch die Verknüpfung räumlicher Merkmale in der Vogelperspektive und durch einen aufgabenübergreifenden Aufmerksamkeitsmechanismus zwischen einzelnen Karten- und Objektinstanzen.
Entscheidend für ein stabiles Training ist die schrittweise Kopplung beider Aufgaben. Ein vollständiger Informationsaustausch bereits zu Trainingsbeginn erwies sich als instabil. Deshalb wird zunächst der Kartenzweig eigenständig trainiert, bevor der Einfluss der Objekterkennung nach und nach zunimmt. Dieses Vorgehen führte zugleich zu konsistenteren Ergebnissen über mehrere Trainingsdurchläufe hinweg.
Größte Verbesserungen bei eingeschränkter Sicht
Die Evaluation auf den Datensätzen nuScenes und Argoverse 2 zeigt die Vorteile des Ansatzes. Gegenüber einem unter identischen Bedingungen trainierten Mask2Map-Vergleichsmodell verbessert sich die mittlere Erkennungspräzision, gemessen als Mean Average Precision (mAP), insgesamt um rund 5% auf nuScenes und 7,6% auf Argoverse 2.
Besonders deutlich fallen die Verbesserungen unter erschwerten Sichtbedingungen aus:
- Bei starken Verdeckungen steigt die mAP um 21%.
- Bei Regen verbessert sie sich um 11%.
- Bei Nacht beträgt die Verbesserung 21%.
Bei geringen Verdeckungen bleibt der Effekt dagegen klein. Die Ergebnisse stützen damit die zugrunde liegende Annahme: Objektinformationen helfen insbesondere dort, wo relevante Kartenelemente nicht unmittelbar sichtbar sind. Die Qualität der 3D-Objekterkennung bleibt dabei erhalten.
Der Ansatz hat jedoch auch Grenzen. Verdeckt beispielsweise ein Bus nahezu das gesamte Kamerabild, reichen die verfügbaren Objektinformationen nicht aus, um die dahinterliegende Straßenstruktur zuverlässig zu rekonstruieren.
Forschungsreihe zur Zusammenarbeit von Lernaufgaben
Für Christian Bohn ist ObjectGuidedMap die dritte Veröffentlichung zur Frage, wie Aufgaben innerhalb eines Multitask-Netzes miteinander interagieren sollten. Während die erste Arbeit auf der ICONIP 2024 den Umgang mit widersprüchlichen Trainingsgradienten untersuchte, stand bei der zweiten Veröffentlichung auf der ICONIP 2025 die effiziente Gestaltung aufgabenübergreifender Aufmerksamkeitsmechanismen im Mittelpunkt.
Die aktuelle Arbeit zeigt nun, dass die gezielte Zusammenarbeit von Lernaufgaben nicht nur der gemeinsamen Nutzung von Rechenressourcen dient, sondern auch die Robustheit der Wahrnehmung verbessern kann. Sie leistet damit einen Beitrag zum Forschungsziel des Bereichs Industrial Deep Learning am TMDT: Modelle zu entwickeln, die auch unter erschwerten Bedingungen zuverlässig arbeiten.
Veröffentlichung und Autorenteam
Die Arbeit „ObjectGuidedMap: An Object-Aware Model for Robust Bird’s Eye View Map Prediction in High-Occlusion Scenarios“ wurde von Christian Bohn, Harsh Yadav, Dr. Klaus Friedrichs, Dr.-Ing. Hasan Tercan und Prof. Dr.-Ing. Tobias Meisen verfasst.
Der Beitrag wird auf der WACV 2027 vorgestellt. Eine Veröffentlichung des Quellcodes ist vorgesehen.
