Ambisonics 1

Spatial Audio

Sobald man sich über die Gestaltung von 360° Videos bzw. mit der Frage Regie in VR und 360/180 Gedanken macht, stößt man unweigerlich auf das Problem Raumklang oder Spatial Audio und damit auf exotische Begriffe wie Ambisonics, ambix, acn/sn3d, spherical harmonics usw.

Hier ein interessanter Beitrag zum Thema Audio in VR: https://medium.com/the-language-of-vr/how-to-greet-a-rebel-unlocking-the-storyteller-in-vr-d40b2cc05f55#.f3kdhn5t0

Zuerst dachte ich mir, das sind ja Dinge für Geeks, bis ich bemerkte, dass Facebook360 und Youtube für ihre VR-Videos genau das verlangen. Jetzt gibt es aber so gut wie keine Mikrophone, die solche Raumklänge aufzeichnen können und kein Standard-Codec kann in diesem Format speichern. Auch das Abspielen und Testen ist ein Ding der Unmöglichkeit. Zumindest ist nichts einfach zu zu finden.

Hier einmal ein paar Erklärungen:

Ambisonics

Prinzipiell ist Ambisonics eine Audiotechnik, die es ermöglicht, Töne zu erfassen und zu speichern, die aus allen Raumrichtungen kommen, auch von oben und unten, Dabei wird auch die HRTF (Head Related Transfer Function) berücksichtigt, die die unterschiedlichen Frequenzen simuliert, die wegen der Kopf- und Ohrenform aus verschiedenen Richtungen unterschiedlich wahrgenommen werden.
zum Testen hier ein Simulator:
http://ambisonic.xyz/

Spherical harmonics

Dieser Begriff ist eher aus der Mathematik und Quantenphysik bekannt. Sehr vereinfacht beschriebt diese Technik Formeln, wie Bereiche auf Kugeloberflächen beschrieben und definiert  werden können. (>) In unserem Fall gibt es also einen Algorithmus, mit ich errechnen kann, wie laut und gefiltert ein Klang aus einer bestimmten Richtung klingt.

Die wichtige Eigenschaft hier ist, dass diese Harmonics unterschiedliche Grade bzw. Order auf Englisch  besitzt.

Ambisonics ersten Grades (First Order oder FOA) können nur Klang in der Ebene darstellen, kommen dafür aber mit 4 Spuren aus. Für Ambisonics zweiten Grades sind 8 Spuren nötig, dafür kann auch der Raum oben und unten abgedeckt werden. Ambisonics dritten Grades (Third Order Ambisonics TOA) brauchen bereits 16 Spuren.

Mikrophone

Ambisonics Mikrophone brauchen nicht nur mehrere Kapseln, um den ganzen Raum abzudecken, sondern müssen auch auf einer Kugelfläche angeordnet sein, um die HRTF zu erfüllen.

Kaum ein 360/180° Kamerasystem sieht mehr als ein Stereo Mikrophon vor, geschweige denn eine ganze Kugel. Außerdem ergibt sich das Problem der Sichtbarkeit von externen Mikrophonen. Denn wenn bei einer 360/180 Aufnahme eine kopfgrosse Mikrofonkugel herumsteht, kann das sehr störend wirken.

Brahma Standalone 800$

Ambisonic A-Format  ca 750€ (OHNE Kapseln!)

tetraMic ca 1000$

Speichern

Das originale Fileformat für Ambisonics hat die Endung .amb. ALlerdings habe ich kein Programm gefunden, das dieses Fileformat beherrscht. Ambisonics kann in wav oder mov-Audiofiles gespeichert werden. Dabei braucht es natürlich die entsprechende Anzahl von Spuren (abhängig vom Grad/Order). Diese Spureen sind dann klsr definiert und sind nicht mit normalen Mehrspuraufnahmen wie 5.1 oder 7.1 kompatibel. Zumindest nicht, wenn man den Raumklang erreichen will. Die erste Spur enthält sozusagen ein akustische Thumbnail, also den Gesamtklang in Mono. die ersten vier Spuren beinhalten die Information für Ambisonics 1. Grades, die ersten 8 Spuren die des zweiten Grades usw. Das hat den Vorteil, dass in einem höhergradigen Ambisonic alle einfacheren Varianten bereits enthalten sind.

Abspielen

Keiner der verbreiteten Player (Kolor, GoPro, Facebook, Youtube) kann Ambisonic höherer Ordnung abspielen. Youtube verlangt für die 360° Videos ein Ambisonics erster Ordnung (!), das Facebook.Tool fb360 encoder verlangt immerhin ein File in zweiter Ordnung, also mit 8 Spuren. 

Der FB360-Player, der allerdings nur am Mac läuft, kann .tbe files gemeinsam mit 360° Videos abspielen. Diese .tbe-files erzeugt der dazugehörige fb360-encoder zu Previewzwecken aus 8 Spuren.