Verkehrsschilderkennung für hochautomatisiertes Fahren (SAE Level 4)
Ob Hauptverkehrsschild oder Zusatzinformationen – ein hochautomatisiertes Fahrzeug ab SAE Level 4 muss alle Verkehrszeichen zuverlässig erkennen. Auf Basis von Deep Learning Methoden entwickelten wir ein Erkennungs- und Tracking-Moduls.
Herausforderung: Verkehrsschilder auf Basis von Bilddaten verschiedener Kamerasystemen erkennen
Sicher jedes Haupt- und Zusatzschild erkennen und darauf reagieren können. Ab dieser Automatisierungsstufe übernimmt das Fahrzeug die Kontrolle, der Fahrende muss nun nicht mehr jederzeit die Steuerung übernehmen. Daher ist die Ausfallsicherheit der Systeme besonders wichtig. Neben der Konzeption und Einordnung in die Architektur lag der Fokus bei der Entwicklung eines Moduls auf der Erkennung von Haupt- und Zusatzschildern auf Basis von Bilddaten aus mehreren Kamerasystemen. Im Anschluss musste das Modul in ein Testfahrzeug integriert und geprüft werden.
Textbasierte Verkehrsschilder fordern Erkennungssysteme besonders heraus
Das System muss die Textschilder erkennen, den Text extrahieren und auch verstehen können. Das ist bei einer höheren Geschwindigkeit oder bei einem schlechten Wetter keine triviale Aufgabe. In anderen Ländern gibt es zum Beispiel auch wichtige Hauptzeichen, die nur aus Text bestehen. Eine Missinterpretation dieser Schilder könnte zu einer lebensbedrohlichen Situation führen.
Lösung: Entwicklung eines Erkennungs- und Tracking-Moduls auf Basis von Deep-Learning Methoden
Vom Konzept bis hin zum prototypischen Implementierung: Unser Team entwickelte ein CNN-basiertes (Convolutional Neural Networks; dt: faltendes neuronales Netzwerk) Erkennungs- und Tracking-Modul für verschiedene Kameratypen. Für eine sichere Interpretation der Text-basierten Schilder wurde darüber hinaus ein OCR-Modul (Optical Character Recognition) zur optischen Zeichenerkennung integriert. Insbesondere Zusatzschilder enthalten verkehrsrelevante Informationen als Text, die erkannt und sicher interpretiert werden müssen. Nach der Entwicklung auf Basis einer NVIDIA Hardware folgte die Optimierung und Integration des Moduls als Prototyp im Fahrzeug.
Technologien im Einsatz:
- Separate Netze für Objekterkennung und Klassifikation
- Optimierung der Netze mit TensorRT
- Entwicklung in TensorFlow
- NVIDIA Hardware
- Systemkommunikation über ROS
- Einrichtung automatischer Softwaretests
- Kontinuierliche Integration von Software-Komponenten
Mehrwert: Sicheres Erkennungssystem und wiederverwendbare Datensätze
Ergebnis ist ein voll funktionsfähiges Erkennungssystem für Haupt- und Zusatzverkehrszeichen – geeignet für SAE Level 4 und 5. Die Lösung unterstützt mehrere Kameratypen und weist durch das integrierte Tracking-System eine verbesserte Performance und damit eine höhere Sicherheit auf. Dabei kann das Modul mit dem gleichen Sensor-Set auf andere Plattformen übertragen werden. Außerdem ist der Datensatz der Verkehrszeichen wiederverwendbar.
