Musikmachen mit sensorgesteuerten Musik-Apps

Welche Apps machen Smartphones und Tablets (iPhone, Samsung Galaxy, iPad usw.) zu digitalen Musikinstrumenten? Dieser Frage gehe ich in einem dreiseitigen Artikel in der „Schweizer Musikzeitung“ in der Ausgabe Nr. 12/2012 nach (Link zum Artikel). Auf diesem Blog möchte ich im Folgenden einige illustrierende Videos hinzufügen.

Die Körperlichkeit und Selbstwahrnehmung, die beim Musizieren mit herkömmlichen Musikinstrumenten erfahrbar wird, ist ganz klar eine andere als beim Musizieren mit elektronischen Instrumenten oder beim Umgang mit medial vermittelter Musik. Der Klang entsteht nicht mechanisch und dadurch für Spielende nachvollziehbar, sondern digital. Das Ergebnis wird von Lautsprechern hörbar gemacht. Jedoch kann die Körperbewegung auch beim Musizieren mit mobilen Digitalgeräten eine große Rolle spielen. Hierfür werden digitale Sensoren benötigt. Das sind technische Bauteile, die bestimmte physikalische Eigenschaften der Umgebung erfassen und in digitale Daten umwandeln. Je nach Programmierung können Musik-Apps diese Daten unterschiedlich interpretieren und geben dem Nutzer ein Feedback in Form eines akustischen Ereignisses oder einer Klangmodulation.

Musik-Apps mit Sensoren

Smartphones und Tablets verfügen, verglichen mit Laptops oder Computern, über eine große Zahl von eingebauten Sensoren. Zum Musizieren eignen sich, neben der Bildschirmsteuerung per Touch, das Mikrofon, ein Beschleunigungssensor in allen drei Achsen, ein digitaler Kompass, die Digitalkamera und ein Gyroskop, das die Lage des Gerätes im Raum erfasst. Dadurch ist es möglich, Hör- und Seherfahrungen sowie taktile oder gestische Aktivitäten einzubeziehen. Um die Funktionalität einzelner Sensoren zu verdeutlichen, sei hier eine Auswahl an spezialisierten Musik-Apps (für iOS/Apple) vorgestellt:

Touch-Screen

Das Multi-Touch-Display findet eine anspruchsvolle Anwendung in der App Pitch Painter (iOS). Mit dem Finger kann man grafische Partituren erstellen und diese anschliessend erklingen lassen.

Camera

http://www.youtube.com/watch?v=bPF135X0mes

Die integrierte Kamera ermöglicht, virtuelle Musikinstrumente zu steuern, was bei der App AirGuitar (iOS) genutzt wird. Man kann Luftgitarre spielen und diverse Akkorde greifen. Das Ergebnis ist aber eher ungenau und stark eingeschränkt.

Schüttelsensor

Der Erschütterungssensor kommt häufig in Schlagzeug-Apps zum Einsatz. Mit Samplodica (iOS) lassen sich ausgewählte Samples durch Schüttelbewegungen steuern.

Gyroskop

Das Gyroskop misst die Lage des Smartphones. Die App GyroSynth (iOS) verwandelt das Smartphone in eine Art «Klanghandschuh», indem die Ortsveränderung zur Klangmodulation genutzt wird. So können musikalische Parameter wie Lautstärke, Tonhöhe oder Filtereinstellungen durch Dreh- und Kippbewegungen kontrolliert werden.

Mikrofon

Das Mikrofon erfüllt in einigen Musik-Apps die Funktion eines Blas-Sensors. Über die Lautstärke der Atemluft am Mikrofon wird die der Ton gesteuert. Die App Wivi Band (iOS) verfügt über 15 modulierte Blasinstrumente wie Trompete, Saxofon oder Klarinette.

Kompass

Der digitale Kompass wird von der App Sound Wand dazu verwendet, über die räumliche Orientierung die Tonhöhe zu steuern.

Sich musikalisch ausdrücken dank Sensoren

Einige Musik-Apps wie ThumbJam (iOS) kombinieren verschiedene Sensoren miteinander. Es scheint, als ob je mehr Sensoren dazu verwendet werden, Klänge bewusst zu steuern, umso musikalischer wird letztendlich die Anwendung. Jedenfalls steigert die intuitive Steuerung durch Sensoren das Musiziererlebnis enorm.

Ausblick

Ein Ende der technologischen Weiterentwicklung ist derzeit kaum in Sicht, kündigen sich doch schon vielversprechende neue Möglichkeiten an. Zu den Vorreitern gehört momentan die Gestensteuerung von Games durch Microsofts Kinect. Hier interagiert der Nutzer allein mithilfe von Gesten ohne Unterstützung jeglicher Steuergeräte. Die Software erfasst dabei den Spieler per Video und Infrarot, reagiert außerdem auf Sprachkommandos und erlaubt dem Spieler durch gut programmierte Software, sowohl Musikinstrumente als auch das Operatingsystem zur musikalischen Strukturierung zu steuern.

http://www.youtube.com/watch?v=diy7rkWkDtU

Das gezeigt Werbevideo zeigt eine Reihe an beeindruckenden Beispielen. Ist das die Zukunft? Traditionelle Instrumente wie Cello, Geige und Klavier in der Luft zu spielen?

Matthias Krebs

Matthias Krebs

ist Appmusiker, Diplom-Musik- und Medienpädagoge und wissenschaftlich tätig.

Matthias Krebs ist Gründer und Leiter des Smartphone-Orchesters DigiEnsemble Berlin und beschäftigt sich im Rahmen seiner Promotion mit der Aneignung digitaler Musikinstrumente. Weitere Forschungsschwerpunkte betreffen: Digitale Medien in Lehre und Forschung, Kommunikation im Social Web, Netzkunst, digitale Musikinstrumente und Musiker-Selbstvermarktung.

Er arbeitet und wirkt an der Universität der Künste Berlin als wissenschaftlicher Mitarbeiter, ist als Lehrbeauftragter an mehreren deutschen Musikhochschulen tätig und leitet regelmäßig Workshops.

Mehr: www.matthiaskrebs.de

http://www.matthiaskrebs.de