Fraunhofer IDMT entwickelt für Mercedes intelligente Soundvisualisierung

Mercedes hat zusammen mit dem Fraunhofer-Institut (Ilmenau) für Digitale Medientechnologie IDMT eine Soundvisualisierung für die aktive Ambientebeleuchtung entwickelt. Seit dem Frühjahr dieses Jahres kann man die Innovation in der neuen Generation von E-Klasse Fahrzeugen erleben. Mit der neuen Algorithmik passt sich die Lichtstimmung im Fahrzeug an Musik und Sounds an.

Die neue E-Klasse von Mercedes ermöglicht es dank intelligenter Musikanalyse die Musik auch visuell zu erleben. Ein Lichtband im Fahrzeuginnenraum wird passend zu Musik und Sounds angesteuert.

Durch die neue Aktive Ambientebeleuchtung mit Soundvisualisierung können die Fahrzeuginsassen Musik jetzt mit drei Sinnen erleben: sie hören Musik, sie „fühlen“ die Musik mittels integrierter Körperschallwandler in den Autositzen und seit diesem Jahr „sehen“ sie die Musik dank passender Lichtsteuerung. Für dieses neuartige visuelle Erlebnis werden die Lichtbänder genutzt, die in der Instrumententafel und in den vorderen Türverkleidungen verbaut sind.

Für die Entwicklung und die technische Umsetzung des neuen Innenraum-Features setzte der Automobilhersteller auf die jahrelange Expertise des Ilmenauer Forschungsinstituts im Bereich der Echtzeitverarbeitung von Audiodaten. Das Fraunhofer IDMT ist international anerkannt für seine Audiosignalverarbeitung und Musikanalyse mittels Künstlicher Intelligenz (KI) und war bereits Forschungs- und Entwicklungspartner für verschiedene interaktive Musikanwendungen.

Bei der Umsetzung der soundgesteuerten Lichtanpassung gab es verschiedene Herausforderungen zu meistern. So mussten die spektralen und dynamischen Eigenschaften verschiedener Audiosignale in Echtzeit in eine ausgewogene und beat-synchrone farbliche Darstellung übersetzt werden.

Eine nachvollziehbare Visualisierung mit geringer Latenz ist enorm wichtig für das synchrone Erlebnis von Klang und Licht. Das ist für die emotionale Wirkung ganz entscheidend, erklärt Holger Großmann vom Fraunhofer IDMT, der die audiogesteuerte Lichtwiedergabe am Fraunhofer IDMT entwickelt hat. Mit der neuen Musikvisualisierung werden beispielsweise schnelle Taktfolgen mittels rascher Lichtwechsel visualisiert und fließende Rhythmen eher mit weich ineinander übergehenden Lichtstimmungen dargestellt.

Eine weitere Herausforderung war, dass die soundangepasste Lichtwiedergabe sowohl bei lauten als auch bei leisen Tönen funktionieren muss und auch dann, wenn die Unterschiede zwischen den Tönen eines Musikstücks nur sehr gering sind.

Für den verkehrssicheren Einsatz im Fahrzeug war es außerdem wichtig, eine ausgewogene Visualisierung der Töne sicherzustellen, um den Fahrer oder die Fahrerin nicht vom Verkehrsgeschehen abzulenken.