Das iPad als expressives Musikinstrument
Viele Musiker haben früher oder später den Wunsch, mehr mit ihrem Instrument machen zu können. Sie wollen neue Spielarten, mehr Effekte, mehr klangliche Möglichkeiten, um ihren musikalischen Ausdruck zu erhöhen und damit ihren eigenen Stil stetig weiter zu entwickeln. In diesem ersten Beitrag aus der Reihe Appmusik Workshops will ich zeigen, wie mit einem iPad ausdrucksstark musiziert werden kann, indem verschiedene Musikapps miteinander kombiniert und die eingebauten Sensoren zur Bewegungssteuerung des Klangs genutzt werden. Dazu habe ich ein Tutorial-Video produziert, das ich in diesem Artikel näher erläutere. Außerdem will ich ein modulares Prinzip vorstellen, wie individuelle Tablet-Instrumente mit Hilfe verschiedener Apps konstruiert werden können.
Das Musizieren mit digitalen Musikinstrumenten unterscheidet sich vom Musizieren mit herkömmlichen Instrumenten, bei denen der Klang mechanisch erzeugt wird. Das betrifft neben der Klangerzeugung auch die Möglichkeiten der Klangsteuerung bzw. -modulation. Bei digitalen Mobilgeräten wie Smartphones und Tablets, für die eine Vielzahl an Musikapps existieren, können zur Klangsteuerung diverse Sensoren verwenden, die in den Geräten standardmäßig eingebaut sind (mehr zu den Sensoren hier). Ihre Verwendung macht für mich das Musizieren mit Apps besonders interessant.
Expressiv Musizieren
Zum leichteren Verständnis unterscheide ich bei der Klangsteuerung zwischen „Noteneingabe“ per Touch mittels einer auf dem Display dargestellten Spieloberfläche und „Expression“ für die klangliche Gestaltung, wofür weitere Controller verwendet werden. Im Folgenden will ich einen experimentellen Ansatz vorstellen, bei dem diese beiden Formen in einem einzelnen Gerät realisiert werden. Dabei werden zur Klangsteuerung nicht allein die Finger auf dem Touchscreen, sondern Sensoren wie das Accelerometer und das Gyroskop des iPads zur Steuerung verwendet. Beispielsweise kann man auf diese Weise per Touchscreen einzelne Sounds spielen (Noteneingabe) und gleichzeitig durch die Bewegung des Tablets im Raum noch weitere Parameter wie die Lautstärke oder einen Filter kontrollieren (Expression), um die Ausdrucksstärke des Spiels zu erhöhen.
Um mit dem Tablet expressive musizieren zu können, stelle ich die allgemeinen Anforderungen,
- dass ich beim Musizieren auf einen großen Tonumfang zurückgreifen kann (möglichst chromatisch),
- dass ich mein Musizieren als direktes Interagieren mit dem Instrumentenklang wahrnehmen kann (also ohne besondere Verzögerung zwischen dem Ansteuern der Töne per Touch und dem hörbaren Klangereignis) und
- dass ich mehre klangliche Parameter gleichzeitig modifizieren kann, um so den Klangverlauf differenziert gestalten zu können.
Natürlich kommt es nicht zuletzt auf den Spieler selbst an, wie er die Möglichkeiten seines Instrumentes für sein ausdrucksstarkes Spiel nutzt. Und dazu braucht es auch mit dem iPad Übung und Musiziererfahrung.
Tutorial-Video
Im Video erkläre ich anhand eines Beispiels, wie die Anforderungen für mein expressives App-Instrument durch die Kombination von drei unterschiedlichen Musikapps, die parallel auf einem iPad laufen, erreicht werden können. Dabei handelt es sich um Apps, die ganz normal für jedermann im App-Store erhältlich sind.
Um die Klangsteuerung deutlich zu machen, habe ich mit dem Pachelbel Kanon [Wikipedia-Link] ein bekanntes klassisches Musikstück sowie einen Streicher-Sound gewählt.
Die im Video dargestellte Auswahl an Musikapps sowie deren Konstellation, ist ein Beispiel für die Konstruktion von expressiven App-Instrumenten nach einem Baukastenprinzip, bei dem einzelne Apps zu einem neuen Ganzen kombiniert werden. Bevor ich in diesem Artikel näher auf die im Video genutzten Apps eingehe, will ich das modulare Prinzip dahinter erläutern.
Das modulare Prinzip zur Konstruktion von App-Instrumenten
Einzelne Apps, als Komponenten eines modularen Systems, lassen sich unterschiedlich zu einem Ganzen kombinieren, wenn sie über die nötigen Schnittstellen verfügen. Die vielfältige Auswahl an Musikapps, die über Standards wie Virtual Midi verfügen, bietet einen großen Vorteil für die Nutzer, da man diese Apps flexibel gegen andere Apps austauschen oder neue Apps zum Ganzen hinzufügen kann, um individuelle Lösungen zu schaffen.
Zum leichteren Verständnis unterscheide ich im Video drei verschiedene Instrument-Ebenen mit je unterschiedlichen Zwecken:
- Spieloberflächen, d.h. Musikapps, die dem Spieler eine spezifische Controller-Oberfläche für das Spiel mit den Fingern anbieten.
- Expression-Controller, d.h. weitere Controller wie ein Pedal, MIDI-Controller oder auch zusätzliche Musikapps, die auf eingebaute Sensoren wie den Beschleunigungs- oder den Lagesensor, den Kompass oder das Mikrophon zugreifen und so Steuerbefehle erzeugen.
- Klangerzeuger, d.h. Musikapps, die für die Klangfarbe bzw. das Klangmaterial verantwortlich sind.
Zum leichteren Verständnis des Baukastenprinzips, habe ich in diesem Appmusik Workshop für jede dieser drei Ebenen jeweils eine bestimmte Musikapp für die unterschiedlichen Zwecke gewählt.
Doch erfüllen einige Musikapps alle diese drei Zwecke gleichzeitig. Dazu gehören die Apps „ThumbJam“, „TC-11“, „SoundPrism Pro“ und „Arpeggionome“. Sie bieten eine Anzahl an verschiedenen Sounds, eine charakteristische vom Nutzer anpassbare Spieloberfläche und es können auch z.B. Bewegungssensoren zur Steuerung bestimmter Parameter wie die Lautstärke, einen Filter oder andere Parameter konfiguriert werden.
Diese Musikapps schätze ich besonders, da die App-Entwickler die Gestaltung ihrer Apps weniger am Aussehen herkömmlichen Musikinstrumenten ausrichten, sondern neue Wege der grafischen Darstellung und zur Klangsteuerung gefunden haben, die sich an den Bedingungen der Mobilgeräte orientieren. Die Apps zeichnet weiterhin aus, dass sie nicht nur auf die Verwendung als alleinstehende Apps ausgelegt sind. Sie bieten leistungsfähige Schnittstellen und können mit anderen Apps kombiniert werden.
Wer die Wahl hat…
Es gibt so viele leistungsfähige Musikapps zum Musizieren in den App Stores. Wozu mehre verschiedene Apps aufwändig miteinander kombinieren? Die Möglichkeit mehrere Apps nach dem modularen Prinzip mit einander frei kombinieren zu können, bedeutet, dass der Nutzer eine weit gesteigerte Freiheit der Anpassung hat, da er frei wählen kann, welche Apps er als Klangerzeuger verwendet, welche Apps die passende Spieloberfläche bieten und welche Parameter des Klangs er mit welchem Controller modulieren will. Das ermöglicht eine große Bandbreite an Möglichkeiten, die je nach Fertigkeit des Spielers, musikalischen Anforderungen und künstlerischer Absicht und je nach Klangvorliebe vom Musizierenden frei gewählt werden können. Dadurch kann der Spieler in die Rolle eines Instrumentenbauers schlüpfen.
Dabei kann die vorgenommene Unterscheidung in drei Instrument-Ebenen auch noch sinnvoll durch weitere Ebenen ergänzt werden. Zu nennen sind Ebenen beispielsweise für den Zweck als Effektgerät, Aufnahmerekorder oder Spielhilfe wie Arpeggiaturen. Die unterschiedlichen Musikapps sind via Virtual Midi miteinander verknüpft. Doch kann ich auf solche Midi-Verknüpfung in diesem Appmusik Workshop nicht im Detail eingehen. Falls ihr Fragen dazu habt, stellt sie gern unten im Kommentarbereich dieses Beitrages.
Nun will ich detaillierter auf die verschiedenen Instrumenten-Ebenen eingehen.
Klangerzeuger
Im App Store existieren mittlerweile hunderte leistungsfähiger Synthesizer- und Sampler-Apps. Einige bilden analoge Syntheseformen nach, andere kombinieren verschiedene digitale Verfahren zu neuen und wieder andere bieten hochwertige Sample-Librarys von Orchesterinstrumenten, Drumsounds oder Synthesizer-Klassikern. An dieser Stelle kann ich nur eine kleine Auswahl nennen: Magellan, nave, Animoog, Arturia iSEM, Sunrizer, FM4, TF7 Synth, Thor, iM1, KORG Module, bs-16i, SampleTank, DrumPerfect.
Wichtige Voraussetzung, diese Apps in der Funktion als Klangerzeuger mit anderen Apps kombinieren zu können ist, dass sie einerseits Midi unterstützen und andererseits die Funktion „Background Audio“ bieten. Diese Funktionen sind in der Regel in der Beschreibung im App Store aufgelistet. „Background Audio“ wird in den Apps verschiedenen abgekürzt z.B. „BG Audio“ oder „bkb audio“ und muss zumeist im Einstellungsmenü eingeschaltet werden. Es erlaubt, dass die Apps auch Klänge wiedergeben, wenn sie nicht im Vordergrund auf dem Display angezeigt werden, sondern eine andere App, die z.B. als reine Spieloberfläche dient.
Apps als Werkstatt
Ein spezifisches Charakteristikum von mobilen Digitalgeräten ist es, dass sie vom Nutzer in ihrer Bedienung individuell angepasst werden (können). Das betrifft auch Musikapps.
Musikapps, die in der Instrument-Ebene Spieloberfläche oder als Expression-Controller verwendet werden, sind auf die Anpassung der Steuerung spezialisiert. Diese Apps haben zumeist nur einen rudimentären Klangerzeuger mit wenigen Sounds oder sogar gar keinen integrierten Klangerzeuger. Sie müssen ebenfalls Midi und Background Audio unterstützen, um die Steuerdaten an den Klangerzeuger zu übermitteln.
Solche Musikapps sind in der Regel so gestaltet, dass sie sich an verschiedene Anforderungen der Nutzer in der Form ihrer Darstellung der Spieloberfläche und im Routing, d.h. in den (Midi-)Verbindungseinstellungen, anpassen lassen. Die Spannbreite reicht von der Funktionalität, die Größe der Tasten einer Klaviatur zu verändern, über die Möglichkeit Bereiche der Spieloberfläche mit vordefinierten Modulen zu bestücken, bis hin zu Apps, bei denen der Nutzer frei Steuerelemente zeichnen und frei auf Töne und Steuerkanäle routen kann.
Auch in dieser Kategorie kann ich nur eine kleine Auswahl nennen: ThumbJam, n-Keyboards, ChordPolyPad, Orphion, Midi Studio, TB MIDI Stuff, S1 MidiTrigger, Beatsurfing, TC-Data, MIDI Designer und Lemur.
Bei diesen Apps wird die veränderte neue Rolle, mit der der Musiker durch die App als Werkstatt selbst zum Instrumentenbauer werden kann, wiederum deutlich. Einige Apps bieten sogar eine Exportfunktion, so dass Nutzer ihre Kreationen von Spieloberflächen mit anderen über das Netz teilen können (Beispiel Forum zu App Midi Designer [Link]).
Zum Video
Nach diesem allgemeinen Überblick, will ich nun detaillierter auf die drei im Video dargestellten Musikapps eingehen. Es handelt sich dabei um eine mögliche Konstellation an Apps, die nach dem modularen Prinzip, wobei ich in den vorgestellten drei Instrument-Ebenen die folgenden Musikapps ausgewählt habe:
- als Klangerzeuger die App iSymphonic Orchestra (iTunes-Link)
- als Spieloberfläche die App Geo Synthesizer (iTunes-Link)
- als zusätzlicher Controller die App SoundPrism Pro (iTunes-Link)
Der Klangerzeuger iSymphonic wird dabei von der App Geo Synth in der Tonhöhe gesteuert und die App SoundPrism Pro (SP Pro) steuert die Lautstärke des Klangerzeugers.
_iSymphonic Orchestra
iSymphonic bietet eine Auswahl an hochwertigen Orchester-Samples. Die am Bildschirmrand angedeutete Klaviatur taugt kaum zum Spielen der Klänge. Dafür bietet die App die Funktionalität, entweder ein Hardware Master-Keyboard als Klaviatur oder eine andere Musikapp zu verwenden. Funktionen zu Bearbeitung der Samples werden nicht geboten. Positiv finde ich das integrierte Effektgerät und die Möglichkeit, die Interpretation der Velocity für das Lautstärkeverhalten zu konfigurieren.
Die Samples klingen sehr hochwertig aufgenommen und realistisch, dafür ist die App jedoch im Vergleich zu anderen Musikapps recht teuer. Als klanglich gute Alternative für Orchester-Sounds kann ich „ThumbJam“ (iTunes-Link) empfehlen.
_Geo Synthesizer
Die App Geo Synthesizer wurde als Synthesizer, also als Klangerzeuger, konzipiert. Doch finde ich diese Funktionalität im Vergleich zu den Funktionen zur Anpassung der Spieloberfläche und auch im Vergelcih zu anderen Synthesizer-Apps deutlich reduziert ausgeprägt. Die abstrakte Darstellung von Saiten und Bünden der Spieloberfläche dieser App schätze ich besonders beim Spielen von Melodien. Für die harmonische Begleitung finde ich die App dagegen weniger geeignet als andere.
Die Darstellung der App beinhaltet zwei Bereiche: Den Spielbereich und ein ausklappbares Einstellungsmenü (2 mal tippen oben links). Es hat auf dem iPad drei Unterseiten:
- Auf der ersten Menü-Seite kann der Bereich der Spieloberfläche konfiguriert werden. Links sollte der Oktavwechsel zunächst auf manual gestellt werden. Ganz rechts kann, wie im Video gezeigt, die Spieloberfläche gestaltet werden. Mit der Option poly kann ich einstellen, dass mehrere Töne gleichzeitig gespielt werden können. Die anderen Einstellungsmöglichkeiten wie Tonart und Pitch-Verhalten können nach und nach erkundet werden.
- Auf der zweiten Menü-Seite kann der Klang des Synthesizers eingestellt werden. In meinem Fall habe ich den Synthesizer-Klangerzeuger mit dem Lautstärkeregler auf Null (leise) gestellt, da ich in diesem Beispiel die App als reines Spielinterface nutzen will.
- Auf der dritten Seite befinden sich die MIDI-Einstellungen und Presets. Bei MIDI config (links) kann ich die Verbindung zum Klangerzeuger auswählen und definieren und mit dem Zahlenfeld kann ein Steuerkanal für die Modulation in der vertikalen der Spieloberfläche gewählt werden. Doch finde ich diese Funktion nicht so gut nutzbar, daher lasse ich die Einstellung auf Null. Ganz rechts können die Einstellungen abgespeichert werden. Ich habe für verschiedene Stücke Presets und kann so die Einstellung schnell wiederherstellen.
_SoundPrism Pro
SoundPrism Pro (SP Pro) verwende ich in meinem Beispiel allein zur Bewegungssteuerung. Momentan existieren nur wenige Musikapps, die die Funktion bieten, Steuerdaten der Sensoren an andere Musikapps zu senden, wenn die App im Hintergrund ist.
- Bei der Konfiguration von SP Pro als Controller sind zwei Punkte zu beachten:
Bei „Allgemeine MIDI Einstellungen“ muss die Funktion „Hintergrund Audio“ und in der „Midi-Geräte Verwaltung“ die Verbindung zur Klangerzeuger-App aktiviert werden. - Im Einstellungsmenü „Expression“ können die Beschleunigungssensoren in der X- und Y-Achse konfiguriert werden. In meinem Beispiel verwende ich allein die Y-Achse. Indem ich MIDI CC 7 einstelle, kann ich standardmäßig die Lautstärke eines MIDIfähigen Klangerzeugers modulieren. Interessant ist auch die Funktion, dass in diesem Konfigurationsmenü der Winkel für die Modulation eingestellt werden kann. Dazu kann jeder Nutzer selbst zuerst das Minimum und danach das Maximum festlegen.
Auch wenn ich die App in meinem Beispiel nicht so verwende, schätze ich SoundPrism Pro neben der Funktionalität als Bewegungscontroller auch sehr als Spieloberfläche. Dabei nutze ich sie häufig zum Spiel von Akkordbegleitungen. In meinem App-Repertoire hat SP Pro daher einen festen Platz, sowohl als Controller als auch als Spieloberfläche.
_Musizieren
Zum Musizieren in der im Video dargestellten Weise, verwende ich häufig ein iPad mini. Auf dem Display kann ich 2 bis 4 Oktaven bequem und sicher mit der App Geo Synth spielen. Dabei halte ich das iPad auf dem linken Arm und spiele mit der rechten Hand darauf, ähnlich wie bei der Spielhaltung einer Violine. Zum Spiel empfehle ich den Daumen der Spielhand am unteren Rand des iPads zur Stütze anzulegen und mit den übrigen 4 Fingern die Töne zu spielen.
Diese Spielweise habe ich 2012 entwickelt, als ich mit verschiedenen Möglichkeit experimentierte, die verschiedenen Sensoren zur Bewegungssteuerung für einzelne Klangparameter zu verwenden. Ich hatte bei einigen Musikapps festgestellt, dass diese Sensoren direkt und sehr sensibel reagieren. Mir war es auch wichtig, durch die Einbeziehung des Raumes mehr den Körper in das Musizieren einbeziehen zu können. Indem z.B. die Lautstärke oder die Tonhöhe (Pitch) durch einen solchen Sensor gesteuert wird, kann man mit kleineren Körperbewegungen große Effekte erzielen. Im Stehen habe ich das Gefühl, den Klang besonders frei mit dem ganzen Körper gestalten zu können.
Als wir uns im DigiEnsemble Berlin intensiv mit der Gestik einer solchen Bewegungssteuerung auseinandersetzten, entschieden wir uns, dass wir laute Klänge offen und leise Klänge eher am Körper spielen. Das ganze System hat sich über die letzten Jahre in vielen Konzerten für alle möglichen Musikstilrichtungen als leistungsfähig erwiesen.
Dabei ist die Orientierung, in welcher Achse (X, Y) Klang- und Effektparameter moduliert werden, prinzipiell offen und kann vom Nutzer selbst bestimmt werden. Insgesamt ist die hier beschriebene Spielweise natürlich auch nur eine von vielen Möglichkeiten und ich finde sie hat einige Nachteile. So kann ich nur eine Hand zum Spielen nutzen, was mir das mehrstimmige Spiel erschwert.
Zusammenfassung und Ausblick
Beim Produzieren dieses ersten Videos und Verfassen des Artikels ist mir noch einmal deutlich geworden, wie ausdifferenziert das Thema Musikmachen mit Apps schon jetzt gestaltet ist. Viele weitere Aspekte zur Auswahl und Konfiguration der Musikapps können für das Musikmachen eine Rolle spielen. Dazu gehören auch Lösungen zur Verstärkung des via Apps hervorgebrachten Klangs für Proben und Konzertsituationen bis hin zu Anwendungen, wie die zeitliche Synchronisierung von unterschiedlichen BeatMaker-Apps oder das Audiobus-System. Ein weites Feld. Videos dazu sind in Arbeit.
Die in diesem Artikel vorgestellte Musiziermöglichkeit mit Musikapps ist zugegeben in seiner Komplexität schon recht hoch angesetzt und richtet sich an eine Leserschaft, die mit Musikapps schon Erfahrung gesammelt hat und Lust hat, mehr zu machen. Ich hoffe, die Umsetzung des im Video demonstrierten Beispiels gelingt allen Interessierten. Schwierigkeiten und Fragen können wir gern im Kommentarfeld unter diesem Artikel diskutieren. Auch über Feedback und Anregungen zu diesem Appmusik Workshop-Format würde ich mich sehr freuen.
Euer Matthias
Matthias Krebs
ist Appmusiker, Diplom-Musik- und Medienpädagoge und wissenschaftlich tätig.
Matthias Krebs ist Gründer und Leiter des Smartphone-Orchesters DigiEnsemble Berlin und beschäftigt sich im Rahmen seiner Promotion mit der Aneignung digitaler Musikinstrumente. Weitere Forschungsschwerpunkte betreffen: Digitale Medien in Lehre und Forschung, Kommunikation im Social Web, Netzkunst, digitale Musikinstrumente und Musiker-Selbstvermarktung.
Er arbeitet und wirkt an der Universität der Künste Berlin als wissenschaftlicher Mitarbeiter, ist als Lehrbeauftragter an mehreren deutschen Musikhochschulen tätig und leitet regelmäßig Workshops.
Mehr: www.matthiaskrebs.de
Who said touchscreens can’t be expressive.
http://mididesigner.com/qa/3985/layout-xpressive-keys
Ich habe mich bisher noch nicht mit dem Thema befasst, finde es aber toll Einblicke zu gewinnen, wie weit fortgeschritten das Musizieren mit Apps schon ist. Für mich ist es auf den ersten Blick etwas befremdlich, dass die Musiker mit iPads und Smartphones musizieren, da man es so einfach nicht gewohnt ist, der Klang ist jedoch wirklich überzeugend.
Interessanter Artikel!
Ich bin sehr gespannt auf die zukünftige Entwicklung der Musik in Verbindung mit dem stetigen Fortschritt der Technik. Da liegt bestimmt sehr viel Potenzial.