Promotionsstipendium: Visual Action Models for In-Cabin and Robotic Applications
Wie wird aus Video, Audio und Kontext ein Modell, das menschliches Handeln nicht nur erkennt, sondern in adaptive Aktionen übersetzt? Genau das erforschst du in dieser Promotion am TMDT - an der Schnittstelle von Computer Vision, maschinellem Lernen und Mensch-Maschine-Interaktion. In enger Kooperation mit dem Interior-Sensing-ML-Team von Aptiv arbeitest du an multimodalen Visual Action Models für zwei eng verwandte Anwendungsfelder: das Fahrzeuginnere und die Robotik.
Förderhöhe: 2.000 €/Monat · Laufzeit: 3 Jahre · Beginn: zum nächstmöglichen Zeitpunkt · Bewerbungsfrist: 15.08.2026
Worum es geht
Visuelle Wahrnehmung ist die Grundlage dafür, dass Maschinen menschliches Verhalten verstehen und sinnvoll darauf reagieren. In diesem Projekt entwickelst du multimodale Modelle, die Video, Audio und kontextuelle Informationen zu einem handlungsorientierten Verständnis verschmelzen, also nicht bei der reinen Klassifikation stehenbleiben, sondern den Weg von der Beobachtung zur Aktion schließen.
Das Fahrzeuginnere bietet dafür ein ideales Forschungsumfeld: eine strukturierte, datenreiche Umgebung, in der sich solche Modelle unter realistischen sensorischen Bedingungen trainieren und evaluieren lassen. Die hier gewonnenen Repräsentationen und Erkenntnisse lassen sich auf die Robotik übertragen, wo dieselben Wahrnehmungs- und Reasoning-Fähigkeiten gebraucht werden, um menschliches Verhalten zu interpretieren und in physische Handlungen zu übersetzen. Damit leistet das Projekt einen Beitrag zu aktuellen Forschungsthemen wie Robotic Foundation Models und Vision-to-Policy-Ansätzen.
Forschungsfokus
Das Projekt verbindet zwei Anwendungsdomänen, die auf gemeinsamen multimodalen Repräsentationen aufbauen.
In-Cabin: Wahrnehmung im Fahrzeuginneren
Ziel ist es, Sicherheit, Komfort und Interaktion im Fahrzeug durch ein tieferes visuelles Handlungsverständnis zu verbessern. Themen sind unter anderem:
- Mensch-Maschine- und Mensch-Mensch-Interaktion: Gesten und Verhalten erkennen und interpretieren, um intuitive Interfaces und soziales Kontextverständnis zu ermöglichen.
- Sicherheitskritische Situationen: Automatische Erkennung kritischer Ereignisse, um geeignete Reaktionsprotokolle auszulösen.
- Soziale Interaktion & Kontext: Verständnis sozialer Situationen im Fahrzeug zur Anreicherung des Kontextbewusstseins.
- Erkennung neuer Gesten: Modelle, die auch nutzerdefinierte, neue Gesten für personalisierte Interaktion lernen.
Robotik: Vom Sehen zum Handeln
Aufbauend auf den im In-Cabin-Kontext entwickelten Repräsentationen erweiterst du das visuelle Handlungsverständnis Richtung robotische Wahrnehmung und Steuerung. Ziel ist, dass Roboter komplexe menschliche Handlungen interpretieren und nachvollziehen – auf Basis derselben multimodalen Embeddings:
- Visual-to-Action-Transfer: Übersetzung von beobachtetem menschlichem Handeln in ausführbare robotische Bewegungsprimitive.
- Imitation Learning ohne Motion Capture: Lernen aus menschlichen Demonstrationen direkt aus Video und Kontext, statt aus klassischen MoCap-Systemen.
- Joint State & Motion Estimation: Schätzung von Gelenkkonfigurationen und Bewegungstrajektorien aus visuellem Input für adaptive Manipulation.
Zentrale Forschungsfragen
Über die Anwendungen hinaus adressiert die Promotion grundlegende methodische Herausforderungen, die für eine Publikation auf führenden Konferenzen relevant sind:
- Simulation & Sim-to-Real-Transfer: Wie lassen sich simulierte Umgebungen so realitätsnah gestalten, dass trainierte Modelle zuverlässig in die reale Welt übertragen werden?
- Action Policy Learning: Wie leiten Modelle aus visuellen Signalen optimale Handlungsstrategien ab?
Warum am TMDT promovieren
Am TMDT verbinden wir anspruchsvolle Methodenforschung mit echtem Industrietransfer. Das heißt für dich: Du arbeitest an einem realen, industriell relevanten Problem – mit dem Anspruch, Ergebnisse auf führenden KI-Konferenzen zu publizieren. Wissenschaftliche Tiefe und Anwendungsnähe sind hier kein Widerspruch.
Wie nah In-Cabin-Wahrnehmung und Spitzenforschung beieinanderliegen, zeigt eine aktuelle Arbeit unseres Teams zur robusten Synthetic-to-Real-Segmentierung in automobiler NIR-Bildgebung, angenommen auf der ECML PKDD 2026. Genau diese Methodik, Modelle, die von synthetischen Trainingsdaten zuverlässig auf reale Sensordaten übertragen, steht im Zentrum dieser Promotion.
Synthetic-to-Real-Segmentierung in NIR-Innenraum- und Außenszenen. Quelle: Stillger et al., „Texture-Shape Bias Balancing for Robust Synthetic-to-Real Semantic Segmentation in Automotive NIR Imagery", ECML PKDD 2026.
Was dich erwartet:
- Forschung mit Publikationsanspruch: Wir verstehen die Promotion als wissenschaftliche Arbeit mit dem Ziel hochwertiger Publikationen, nicht als reine Auftragsentwicklung.
- Zugang zu realen Daten und Deployment-Umgebungen über die Kooperation mit Aptiv – ein Vorteil, den rein akademische Projekte selten bieten.
- Moderne Forschungsinfrastruktur für das Training und die Evaluation großer multimodaler Modelle.
- Strukturierte Betreuung in einem Team, das angewandte KI-Forschung und Industrietransfer als gemeinsame Aufgabe versteht.
Kooperation mit Aptiv
Du arbeitest eng mit dem Interior-Sensing-Machine-Learning-Team von Aptiv zusammen und trägst zu realen Anwendungen visueller Handlungsmodelle in Automobilsystemen der nächsten Generation bei. Diese Konstellation verbindet akademische Forschung mit industrieller Innovation, mit Zugang zu realen Daten, Sensorik-Expertise und Deployment-Umgebungen.
Dein Profil
Wir suchen eine:n hochmotivierte:n Kandidat:in mit abgeschlossenem Masterstudium in Informatik, Elektrotechnik, Data Science, Computational Engineering, Robotik oder verwandten Fachrichtungen und einem starken Hintergrund in einem oder mehreren der folgenden Bereiche:
- Computer Vision
- Machine Learning / Deep Learning
- Robotik
- Simulation und Reinforcement Learning
Vorausgesetzt werden sichere Kenntnisse in Python und PyTorch oder TensorFlow. Erfahrung mit 3D-Simulationsumgebungen (z. B. Blender, Unity, Gazebo) ist ein Plus. Analytisches Denken, Kreativität und Begeisterung für anwendungsnahe Forschung runden dein Profil ab.
Konditionen und Bewerbung
Das Stipendium beträgt 2.000 €/Monat, ist auf drei Jahre befristet und dient der Vorbereitung einer Promotion. Rechtsgrundlage ist die Rahmenordnung für die Vergabe von Stipendien zur Vorbereitung von Promotionen an der Bergischen Universität Wuppertal. Das Stipendium begründet kein Arbeits- oder Dienstverhältnis und unterliegt nicht der Sozialversicherungspflicht.
Einzureichende Unterlagen:
- Anschreiben inkl. möglichem Startzeitpunkt
- Lebenslauf, ggf. mit Arbeitszeugnissen und Fortbildungsnachweisen
- Kopie des Nachweises über den Hochschulabschluss (beglaubigt oder unter Vorlage des Originals)
- Nachweis über eine eventuelle Berufstätigkeit
- Eine Studienbescheinigung ist im Falle der Stipendienvergabe nachzureichen.
Über die Vergabe entscheidet die Auswahlkommission aus Dr. Timo Rehfeld (Aptiv) und Prof. Dr.-Ing. Tobias Meisen (Bergische Universität Wuppertal). Gutachten sind nicht einzureichen.
Wichtig - Bewerbungsweg: Bewerbungen sind ausschließlich auf dem Postweg einzureichen. Elektronisch übermittelte Bewerbungen können nicht berücksichtigt werden. Bitte richte deine Unterlagen an:
Bergische Universität Wuppertal Fakultät für Elektrotechnik, Informationstechnik und Medientechnik Lehrstuhl für Technologien und Management der Digitalen Transformation Herrn Univ.-Prof. Dr. Tobias Meisen 42097 Wuppertal
Bewerbungsfrist: 15.08.2026
