Hochwertige Mikrofone, die in die Fahrzeughülle integriert und mit dem Bordnetz verbunden sind, zeigen zusammen mit sprachgesteuerten Interaktionen zentrale Aspekte künftiger Assistenzsysteme und des autonomen Fahrens. Foto: FraunhoferIDMT/Hofmann
Moritz Brandes leitet das Projekt The Hearing Car und koordiniert die Forschung des Fraunhofer IDMT im Projekt KI4BoardNet. Foto: FraunhoferIDMT/Hofmann
Die Versuchsfahrzeuge des Fraunhofer IDMT und der CARIAD SE unterwegs, um neue Sensorik und Messtechnik bei Eis und Schnee auf die Prüfung zu stellen. Foto: FraunhoferIDMT/Hofmann
Erstmals wurde eine eigenes entwickelte Fraunhofer-Messtechnik in die Autos integriert. So können die Forschenden die Technik leicht an individuelle Bedürfnisse anpassen. Foto: FraunhoferIDMT/Hofmann
Moderne Fahrzeuge verfügen über zahlreiche Fahrerassistenzsysteme, wie Kamera, Lidar und Radar, die beim Einparken oder Spurhalten helfen. Sie fungieren quasi als Augen und erfassen die relevanten Objekte in der Umgebung. Was den Automobilen bislang noch fehlt, ist der Hörsinn. Um das Verkehrsgeschehen rundherum aufmerksam zu verfolgen, ist es jedoch sehr wichtig, Außengeräusche wahrzunehmen und einzuordnen. Denn viele Ereignisse im Straßenverkehr kündigen sich akustisch an, wie ein herannahendes Einsatzfahrzeug durch seine Sirene. Das Fraunhofer IDMT in Oldenburg entwickelt KI-basierte Technologien zur akustischen Ereigniserkennung sowie Methoden und Konzepte zur optimalen Signalaufnahme am Fahrzeug.
In der Anwendung können diese Entwicklungen verbesserte Reaktionszeiten, smarte Entscheidungsgrundlagen für die Fahrenden sowie vorausschauende Wartungsintervalle ermöglichen. Noch relevanter werden die »Ohren fürs Auto« bei autonomen Fahrzeugen. Von ihnen wird erwartet, dass sie nicht nur mindestens genauso gut sehen können, wie ein Mensch, sondern auch hören. Danilo Hollosi, Gruppenleiter Akustische Ereignisdetektion, erklärt: „Für autonome Fahrzeuge existieren externe akustische Wahrnehmungssysteme bisher nicht, trotz ihres hohen Anwendungspotenzials. Sie signalisieren beispielsweise im Bruchteil einer Sekunde, wenn ein Fahrzeug mit eingeschaltetem Martinshorn naht. So weiß das autonome Fahrzeug, dass es ausweichen muss, damit eine Rettungsgasse gebildet werden kann.“
Am Institutsteil Hör-, Sprach- und Audiotechnologie in Oldenburg erarbeiten Expertinnen und Experten in enger Zusammenarbeit mit Automobilherstellern und Zulieferern die nötigen Sensor- und Analysetechnologien für das „Hörende Auto“. Dafür kommt ein eigenes Fahrzeug zum Einsatz, das im Projekt als rollender Prototyp fungiert und das Aufzeichnen wichtiger Trainingsdaten ermöglicht. So können die Ereignis-Erkenner über Machine-Learning-Verfahren mit den akustischen Signaturen der relevanten Töne trainiert werden. Es entstehen intelligente Sensorplattformen mit effektiver Erkennerleistung.
Um das „Hörende Auto“ zu verwirklichen, bringen die Entwickler spezielle Projekterfahrungen im Bereich Automotive sowie gruppenübergreifende Kompetenzen mit. Neben der Entwicklung von KI-Algorithmen zur akustischen Ereigniserkennung, widmen sich die Forschenden am Fraunhofer IDMT auch weiteren Herausforderungen. Dazu zählen die optimale Signalaufnahme durch Sensorpositionierung, die Signalvorverarbeitung und -verbesserung sowie die Störgeräuschbefreiung. Um den Einfluss von Fahrtwindgeräuschen zu minimieren, entwickelt und testet das Team um The Hearing Car beispielsweise auch geeignete Einhausungen und Abschirmungen von Luftschallsensoren.
Der Beitrag des „Gehörs fürs Auto“ endet nicht bei der Erkennung eines Martinshorns. Vielmehr soll es mehr Sicherheit und Zuverlässigkeit im Straßenverkehr ermöglichen, insbesondere beim autonomen Fahren. Die akustische Umfeldanalyse kann perspektivisch nicht nur den Rettungswagen erkennen, sondern auch andere akustische Szenen, wie spielende Kinder beim Einbiegen in einen verkehrsberuhigten Bereich. Solche wichtigen Zusatzinformationen könnten das Bordsystem erreichen noch bevor Kameras und Radarsensoren die Situation erfasst haben. Das versetzt automatisierte Fahrsysteme in die Lage, der Situation entsprechend mit erhöhter Vorsicht zu agieren und damit vergleichbar einem Menschen am Steuer zu handeln, der die spielenden Kinder hört.
The Hearing Car hat darüber hinaus zum Ziel, die Sicherheit und den Komfort von Automobilen im Allgemeinen zu verbessern. Akustische Sensoren an verschiedenen Stellen in und am Auto liefern Daten an eine Analyseeinheit. Aufnahmen aus dem Radkasten können zum Beispiel auf die Beschaffenheit der Straße schließen und automatische Fahrwerksanpassungen im Bereich der Federung oder dem Bremssystem anstoßen. Die kontinuierliche akustische Überwachung von Betriebsgeräuschen des Autos lassen sich darüber hinaus Schäden oder Verschleiß erkennen. Ein unrunder Motorlauf, abgenutzte Bremsen oder aber auch ein Nagel im Reifen ließen sich vorausschauend identifizieren.
Dies ermöglicht smarte Wartungsintervalle und Reparaturen bevor es zu Aus- oder gar Unfällen kommt. Darüber hinaus sorgen Kommunikationslösungen zur Sprachinteraktion außerhalb des Fahrzeugs für mehr Komfort und Sicherheit, z. B. mit einer sprachbasierten Öffnung von Türen oder beim Auslösen eines Notrufs. (FraunhoferIDMT/PM/Sr)