LehreVIRTUELLE AKUSTISCHE REALITÄT / VIRTUAL ACOUSTIC REALITY
Problembeschreibung
Natürliche akustische Umgebungen, wie etwa in der Natur oder in geschlossenen Räumen, weisen ein sehr komplexes Schallfeld auf, das zumeist durch mehrere Urquellen und Schallreflexionen charakterisiert ist. Der menschliche Kopf als binauraler (zweiohriger) Schallempfänger positioniert sich zur ständigen Analyse und Interpretation des Schallfeldes relativ zu den Quellen. Das Binauralsignal an den Ohrkanaleingängen ist also maßgeblich und vielfach hinreichend für die Wahrnehmung der Komplexität des umgebenden Schallfeldes. Die Audiowiedergabetechnik kennt unter anderem Stereosysteme, 5.1. Systeme, Wellenfeldsysteme und Kopfhörersysteme zur technischen Erzeugung von Schallfeldern, die möglichst die Wahrnehmung einer natürlichen Umgebung wecken sollen – man spricht bei hochwertiger Qualität von virtueller Akustik.
Aufgabenstellung
In den studentischen Projekten wird die Schallübertragung von der Quelle zum binauralen Empfänger durch die sog. Head-Related Transfer Function (HRTF) modelliert. Sie kann im HRTF-Labor des Instituts für Kommunikationsakustik für Personen individuell gemessen werden. Eine Aufgabenstellung besteht in der Rekonstruktion der HRTF aus den Aufnahmesignalen an den Ohrkanaleingängen des Probanden mit Hilfe der Systemidentifikation. Zukünftig soll die Methode des maschinellen Lernens genutzt werden, um den Datenverarbeitungsprozess über den Stand der Technik hinaus zu optimieren. Mit umfassender Kenntnis der HRTF sollen dann Binauralsignale aus allen denkbaren Raumrichtungen synthetisiert und auf ihre Qualität untersucht werden, wodurch auf eine zweite ingenieurmäßige Aufgabenstellung übergeleitet wird. Die Evaluierung im Kontext von Anwendungen der virtuellen Realität, wie z.B. Gaming oder virtueller Assistenzsysteme, erfordert die Implementierung der HRTF Technologie in einschlägigen Softwareentwicklungsumgebungen, wie etwa Matlab oder Unity 3D.
Werkzeuge und Methoden
Die messtechnische Seite der Aufgabenstellung beinhaltet den Betrieb von Gerätschaften und Audioaufnahmesoftware (Cubase) im HRTF Labor. Die Systemidentifikation nutzt numerische Berechnungswerkzeuge, wie z.B. Matlab oder Python. Die Synthese von Binauralsignalen geschieht in Matlab oder in der anwendungsnahen Unity 3D Umgebung mit C++/C#.
Was kann man lernen?
Je nach Schwerpunkt der jeweiligen Bachelor-/Masterarbeit werden die Grundlagen der Signalakquise bzw. Signalsynthese erlernt. Algorithmisch vertiefen Sie jeweils die Methoden der adaptiven Signalverarbeitung und des maschinenellen Lernens. In der Umsetzung von Algorithmen und Anwendungen werden Programmierkenntnisse für die effiziente Umsetzung geschult.
Voraussetzungen
Grundkenntnisse der Audiosignalverarbeitung, wie etwa durch die Veranstaltung Sprach- und Audiokommunikation. Vertiefte Kenntnisse der digitalen und adaptiven Signalverarbeitung, wie etwa durch den Master Kommunikationstechnik. Programmierkenntnisse in Matlab, C oder Python.
Ansprechpartner:
| Daniel Neudek, M. Sc. |
| ID 2 / 221 |
| 0234 / 32 25388 |
| daniel.neudek@rub.de |