Spatial Sound in Panoramic Videos

360° Video mit Raumklang?

Um in Youtube oder Facebook ein 360°-Video mit Spatialsound hochzuladen braucht man ein Soundfile im Ambix oder tbe Format. Und hier klemmt's mächtig.



Mikrofone, die solche HRTF-Raumklänge aufnehmen sind normalerweise nicht verfügbar bzw. leistbar. Und ich habe auch lange suchen müssen, um eine Methode zu finden, um mit mehreren Stereo- oder Monospuren ein Ambix-Audiofile speichern zu können. Wenn auch natürlich klar sein muss, dass es kein echter Raumklang sein kann, so ist es doch zumindest eine Möglichkeit, um mit dem Youtube-Videoplayer eine Raumrichtung akustisch zu bestimmen, damit also der Ton wirklich von hinten kommt, wenn man sich von der Schallquelle wegdreht, oder man die BetrachterInnen mit akustischen Ereignissen dazu bringen kann, sich umzudrehen. Genau das ist aber notwendig, um „Regie“ in 360°-Filmen führen zu können.

Workflow

Der Workflow im Kurzen: In einem Videoschnittprogramm wird der Ton zum 360° Video als 8-Spur-sound abgemischt und in einem passenden Fileformat abgespeichert. Dann in einem Ambisonic-encoder zu ambiX oder ähnlichem kodiert und in einem entsprechenden Player getestet. Anschliessend kann das Audiofile in Unity (googleVR) oder Youtube360 oder Facebook360 eingesetzt werden.


Der Teufel steckt im Detail:

Schnittsoftware: 

Adobe Premiere (kostenpflichtig)
Blackmagic Resolve (nicht kommerziell frei)
https://www.blackmagicdesign.com/products/davinciresolve

Fileformate:

8-Spur Audio als unkomprimiertes Quicktime-Audio mit 8 Spuren speichern

Umwandlung:

mit VLC zu WAV umwandeln
http://www.videolan.org/vlc/index.html

Encoder: 

FB360 encoder (nur für OSX10.7 und höher verfügbar)
https://facebook360.fb.com/spatial-workstation/

Player: 

FB360 player für Testen des Raumklangs
goProVR-Player kann kein Raum-Audio abspielen!

Setup

hier das Setup in Premiere:
In den Sequenzeinstellungen unbedingt für Audio Master Mehrkanal angeben. 

eine Submixspur 5.1 oder 7.1 einrichten. 

die Audiospuren auf mehrere Mono- oder Stereospuren legen und auf die Submixspur umleiten. Dann kann jeweils die Raumposition angegeben werden. In der Masterspur 8 Kanäle angeben.
die Mitte des 360°-Videos ist vorne, die beiden Ränder sind hinten, entsprechend den Raumklang planen.


Unter Exportieren/Medien die Audiodatei erzeugen: kein Video, Format QT, unkomprimiert, 8 Spuren und die entsprechende Qualität angeben. 

Diese Datei muss dann in VLC mit Ablage/konvertieren in eine 8-Spur-Wav-Datei umgewandelt werden. Dazu als Kapselung WAV, als Audiocodec wav oder andere angeben, wichtig ist dass die 8-Spuren erhalten bleiben. 

Das resultierende File kann nun im FB360-encoder geladen und als .tbe oder AmbiX encodiert werden

Zum Testen das .fbe und das Video im FB360-player laden und mit Kopfhörern abspielen.

Der FB360-encoder erlaubt es auch direkt ein FB360-Video (mp4) zu kodieren, das dann gleich hochgeladen werden kann.