大学院論文輪講資料 2003年 6月 27日

Interface Technologies for Musical Expression

石塚・伊庭研究室 電子工学専攻 博士課程 3年 17133 徳井 直生

AbstractMusic is always a challenging research field for

researchers working on the information technol-ogy. Among various research fields on music andtechnology, the development of user interfaces arehighly relevant with the progression of music styles.

In this survey paper, I’d like to introduce somenotable approaches toward novel music softwareand tangible interfaces for them.

1 はじめに人類の歴史上に登場したテクノロジーは常にアートへと昇華／消化されてきた。中でも音楽はあらゆる芸術分野中でも歴史的に特にテクノロジーとの結びつきが強い分野であり、新しい技術の開発とともに新しい音楽の形態が誕生している。とりわけ、楽器、あるいはそのインタフェースの技術については、音との結びつきが深く非常に古くから研究開発がなされている。その結果、ピアノの鍵盤などのアコースティックな楽器のインタフェースから、シンセサイザなどの電子楽器、あるいはコンピュータ上の音楽ソフトウェアなど、数え切れないほど多種多様なインタフェースが発展してきている。本輪講では、ソフトウェア・ベースのものを中心に、新しいインタフェース技術の確立を目指す試みについて紹介する。

2では、情報処理の観点から音楽と技術の結びつきについて述べ、本稿で扱う範囲を明確にする。続いて、3では、音楽ソフトウェアのインタフェースについて、現行の問題点とともに研究例を紹介する。4では、ソフトウェア／ハードウェア双方の利点を生かしたタンジブルな (実体のある)インタフェー

スの研究例を挙げ、最後にまとめることにする。

2 音楽情報処理音楽情報処理もしくは音楽情報科学とは、コンピュータ／コンピューティング科学を中心に、音楽学、認知科学、アートなど、音楽を対象とする様々な分野との境界領域をすべて内包する分野である。そのため、音楽情報処理と一口に言っても、そのカバーする範囲は非常に広く多岐にわたっている。研究テーマとしても、新しい楽器システムや自動伴奏システムを構築する、音源アルゴリズムを考案するといったものから、それらに関する心理実験を行うといったものまで多種多様である。コンピュータの発達と普遍化、マルチメディアへの社会的な期待の高まりなどとあいまって、コンピュータを通じて音楽と接するという行為はますます一般化するものと予想される。そういった意味でも、今後一層の発展が望まれる音楽情報科学に関する研究は、大きく分けて次の 6つの分野に分類することができる。

1. 楽音合成音楽を構成する最小の単位である「音」そのものをコンピュータを用いて生成しようとする試みである。音楽を対象とする以上、この分野の研究は常に大きな比重を持つと言える。現在も楽音を合成するための様々なアルゴリズムやシステムについて研究がなされている。

2. 音楽聴取・採譜コンピュータが音楽の演奏を聴いて、対応する楽譜（もしくはそれに相当する情報）を作り出す、いわゆる自動採譜がこれにあたる。音の高さや長さ、強弱に加えて、拍子や小節

1

の区切りなど演奏に直接的に反映されない情報をどのように抽出するかという点が研究課題となっている。

3. 音楽分析・理解・記憶コンピュータに音楽を「理解」させることで、人間がどのように音楽を解釈／理解しているかを解明しようとするアプローチである。2とともに認知科学的な側面が強い分野だが、2が楽譜までの認知を扱うとすれば、3はさらに高次の音楽認知を扱う。

4. 自動演奏・伴奏音楽の分析にコンピュータを用いる上記二つの分野とは逆に、音楽を生成 (演奏)するシステムの研究を行う。与えられた譜面を理解し人間の演奏家のように強弱やタイミングを変化させて演奏する、あるいは人間とジャムセッションを行うといったコンピュータ・システムが開発されている。

5. インターフェース／システムセンサなどの電子的なデバイスを用いた新しい楽器やネットワークを介しての音楽情報の伝送・共有というような、音楽と人間との間の新しいインターフェースに関する研究である。

6. 感性／アート芸術表現も含めて、音と音楽に関する人間の感性を情報工学の観点から扱おうとする試みで、近年の感性工学への関心の高まりとともに注目を浴びるようになってきている分野といえる。3とも関連が強い。また、学術研究の世界でも、音楽あるいは音を使った芸術表現といったコンテンツそのものを重視する動きも見られる。

以上の分類を踏まえて、音楽情報処理に関わる研究分野を図にまとめたのが図 1である [1]。図 1は、音や音楽情報の分析と生成、音楽情報の階層を軸に分類している。ここでいう、音楽情報の階層とは、音楽を構成する音そのもの、音響信号から、それらをまとめた音符単位の情報、さらには音の連なりで組み立てられたメロディーやリズムといったより高度な情報まで、音楽情報の具体・抽象性のレベルのことである。

Synthesis

Analysis

Subjective

Objective AcousticSignal

Note Score Harmony/ Rhythm

Concrete Abstract

Art

SoundSynthesis

MusicalInterface

���������� �������

������������������ ���

����� �����

�������������� ��������

�������������� ���������������� �� �����

����������������

��� �� ���������

図 1: The Diagram of Musical Information Pro-cessing

この電気系輪講でも音楽に関わる発表が相当数なされているが、それらは上記分類の 2音楽聴取・採譜、3音楽分析・理解・記憶といった分野に属するものがほとんどである。今回の輪講では、6 アートとの結びつきを視野に入れながら、これまであまり扱われてこなかった 5インターフェース／音楽システムの分野について、特にコンピュータ・ソフトウェアとして実装されているものを中心に取り上げることにする。

3 音楽ソフトウェアのインタフェース

3.1 商用ソフトウェアパーソナル・コンピュータの普及と高性能化に伴って、これまで高価な専用ハードウェアでしか実現されなかった高度な音響処理・楽曲制作をソフトウェア上で行うことが一般化している。

• MIDI／オーディオ・シーケンサ

• 波形編集

• ソフトウェア・シンセサイザ

• 音響処理／エフェクタ

• 採譜といった機能を持つソフトウェア (あるいは複数の機能を持つ統合型ソフト)が多数市販されている。

2

ハードウェアにはないスクリーン・ベースのインタフェースの利点としては、高度な視覚的フィードバックがあげられる。波形の拡大・縮小などの柔軟性がその典型的な例であろう。一方で、従来のハードウェアにあった、「つまみをひねる」「ボタンを押す」といった身体的な動作がないがしろにされがちである。視点を変えて、インタフェースの側から音楽ソフトウェアを分類してみると、現在市場に出回っているソフトウェアのほとんどが次の二つのうちのいずれかのメタファーに依存していることが分かる [9]。その二つとは、

• 広義の楽譜

• 既存のハードウェア

である。アラン・ケイが「ここ千年間の発明のベスト 10」

の一つとしてあげた「楽譜」は、時間軸に沿ったピッチ (音高)と強弱として音楽を記述するものである。シーケンサなどで広く使われているピアノ・ロールや波形表示なども広義の楽譜として捉えることが出来る。サンプリングなどの手法によって、楽譜によらない、楽譜では記述できない音楽の形態が生まれている一方で、それを扱うソフトウェアに関してはそれまでのインタフェースに囚われている部分が大きいと言える。また、ハードウェアを模倣しているものとしては、ソフトウェア・シンセサイザなどにその典型を見ることが出来る。これらのソフトウェアでは一般に、つまみやスライダー、LEDインジケータなどのアナログシンセサイザーのインタフェースが模倣されていることが多い (図 2)。ソフトウェアの自由度が増し、パラメータが多くなるにつれて、表示すべきつまみの数も多くなってしまう、似通った外観を持つソフトウェアが多いといった問題がある。また、いくらインタフェースを模倣しても、実際に手で触れるハードウェアのインタフェースを凌駕することは不可能である。もちろん、既存のインタフェースの模倣が必ずしも悪いというわけではない。ユーザがそれまでに蓄えている知識をそのまま利用できるという意味での利点があるからである。しかし、ソフトウェアを使った新しい音楽表現を可能にするような、新しいインタフェースがあってしかるべきではないだろう

図 2: Interface of Propellerhead ”Reason” [5]

か。以下、そういった新しい音楽インタフェースを目指す試みについて、代表的な例を順に示す。

3.2 UPIC

現代音楽の著名な作曲家、Iannis Xenakisが考案した UPIC (Unite Polyagogique Informatique deCEMAMu)は、実験的な音楽ソフトウェアの歴史を語る上で、非常に重要なシステムである [1]。

UPICを簡単に説明すると、グラフィカル・ユーザ・インタフェースを持った音響合成システムということになる。初期型が完成したのが、コンピュータ画面上での波形編集ソフトが初めて作られた時期(1970 年代後半) とほぼ一致することを考えると、その先進性には驚きを覚える。

UPICは、図を使った音響合成 (Graphic SoundSynthesis) の一つの形と言える。ユーザ (作曲者)は、高解像度のグラフィック用タブレットを用いて、波形やエンベロープを書き込むことが出来る。より高次な表現としては、周波数対時間の構造を同様の線で書き込むことも可能である。図 3 は、そうして作られた Xenakisの作品 ”Mycenae-Alpha”である。横軸が時間、縦軸が周波数の重なりを表している。しかし、当時のコンピュータの計算能力の制限か

ら、初期のUPICはインタラクティブなシステムではなかった。ユーザが入力した”譜面”から実際の音が生成されるためには、大型計算機でもかなりの時間を要した。以後、多くの研究者がリアルタイム方式の UPICの開発に取り組んできている。

3.3 Max/MSP

Max”とは、1986年にフランスの国立音響音楽総合研究所 IRCAMにおいて開発された音楽／MIDI

3

図 3: ”Mycenae-Alpha” Composed by Iannis Xe-nakis Using UPIC System

を扱うプログラミング環境である [4]。1990 年にOpcode社から一般販売が開始されると、グラフィカル・ユーザ・インターフェース (GUI)に基づく直感的で分かりやすいプログラミング環境として、現代音楽／コンピュータ音楽の作曲家や、音楽に興味を持つ工学者などの間で瞬く間に普及することになる。その後、いくたびかのバージョンアップを重ね

た Max だが、大きなブレークスルーが 起きるのは、 ”MSP” が発表された 1997 年末のことである。MSPは、飛躍的に向上したパソコンの計算能力を背景に、Maxにデジタル信号処理機能を追加する画期的なプラグインとも言えるものである。ここに至って、Maxは一部の作曲家の枠に とどまらず、テクノなどのダンスミュージックやポストロックなどのアーティストからも注目されるようになり、IDMやElectronicaと呼ばれる現在の音楽シーンの流れに大きな影響を及ぼすソフトウェアとなった。(ちなみに、現在Maxの販売権は、MSPを開発した新興企業・Cycling’74 社が保持しているため、”Max/MSP”というひとまとめのソフトとしてとらえられることが多い。)さらに2000年にMax/MSP上で映像を扱う ”nato

0+55 3d modular”が発表されると、Max/MSPは音楽・映像をシームレスに扱えるマルチメディア統合開発環境側面を強く打ち出すようになる。現在では、音と映像を絡めたインスタレーション作品、VJ

システムなどの制作環境としても広く使われるようになった。 sさらに 2002年には、汎用のマトリクス計算環境”Jitter”が追加され、音、映像をシームレスに扱う環境が完成した。以上のような歴史を持つMax/MSPの特徴を一

言で言い表すならば、「GUI を用いたオブジェクト指向プログラミング環境」ということになろう。Max/MSPのプログラムはパッチと呼ばれ、パッチ上ではオブジェクトとオブジェクトの関係が”箱”と”箱”を結ぶ”線”でグラフィカルに表現される。標準で 400にも及ぶ多数のオブジェクトが用意されているほか、C言語のコンパイラとホームページ上で公開されている SDKを用いて、ユーザが自分のオブジェクトを自由に作ることができる。多くのユーザが自作のオブジェクトやパッチをほぼ無償で公開するなど、 強力なユーザ・コミュニティーを形成している点も見逃せない。

Max/MSPの最近の傾向としては、音楽情報処理研究のためのプログラミング環境という原点を保持しつつも、音楽制作ソフトウェアとしての側面を強化しているように感じる。VSTをインタフェースとして Max の世界と Steinberg Cubase, E-magicLogicPerformerといった一般の音楽制作ソフトの間を結ぶ ”Pluggo”というシステムをCycling’74が開発・発表したことに如実に現れている。このような流れの根底には、Electronicaの隆盛などからアルゴリズム的な発想に基づいた音楽制作環境に対する需要が増えている現実がある。それは、Reaktorのような類似のソフトウェアが商業ベースで誕生したことからも伺える。Cycling’74がMax/MSPの音楽制作環境としての機能強化に力を入れているのは、そのような需要に応えるものであろう。いずれにせよ、Max/MSPの持つ簡便性と拡張性は、今後も多くのアーティスト／プログラマ／エンジニアを魅了し続け、音楽・映像あるいはメディア・アート、インスタレーションのプログラミングを語る上で欠かせない存在であることだけは間違いない。

3.4 SONASPHERE

UPICも Max/MSPもともに映像として表現されたオブジェクトを用いて音楽／音声を操作しようとする試みであるが、その間には大きな隔たりがある。Max/MSPでは、ビジュアルが機能そのものを

4

図 4: A Simple Example of Max/MSP Patch

表しているのに対して、UPICなどの場合のビジュアルは制作者が恣意的に定めたものであり、機能との間に必然性は存在しない。特に昨今のラップトップ・ミュージック、エレクトロニカなどと呼ばれる音楽ジャンルの隆盛に伴い、Max/MSPなどで作ったソフトウェアとラップトップ・コンピュータを用 いて「演奏」を行うといった形態のパフォーマンス、コンサートが多く見られるようになった。しかし、これらのライブ・パフォーマンスでは、演奏者はひたすらコンピュータを操作しているという場合が往々にして見られる。実際にそこで何が行われているのかは不透明で、聴衆の側からは知ることができないという場合が多い。本研究は、実際の制御関係や音声信号の流れをビジュアルとして提示す ることで、演奏者に対しては直感的な操作性・リアルタイム性を保証すると同時に、聴衆の興味を引きつけるようなシステムの構築を目指している [12]。本システムを設計する上で、次の 3 つのポイントを重視した。

1. プロセス／機能の視覚化

2. わかりやすいメタファーの採用

3. プロセスの流動性の維持

これらの要求を満たすために、次の様な環境を仮定し、実装を行った。全体の作業環境として、物理法

図 5: An Example of SONASPHERE Patch

Effect

PitchMixer/

Output

Sound

Play

Amplitude

Dry/Wet Balance

Cutoff Frequency...

Feedback ...

Delay time

Room size...

Pan

View Point

Total

Volume

図 6: Metaphors Used in SONASPHERE

則が支配する仮想的な 3次元空間を仮定し、その中で機能モジュールのネットワークを組み上げるようなシステム構成とした 。これは、電子音楽黎明期のアナログシンセサイ

ザーや、Max/MSPなどのシステムをモデルとしている。Maxのオブジェクトに当たる機能単位は、3次元空間上の球ノードとして表現される。ノードをつなぐ線はそこに音声信号の流れるバス、あるいは制御関係があることを示している。 音声信号はこのネットワークを流れ、様々なネットワーク・ノードの 3 次元空間内の位置は、そのノードの持つ機能／パラメータに関係づけられる。図 2に、本システムで採用したメタファーの一例を示す。また、ノード間の相 互作用を実現するために、ネットワークのリンクにスプリング・モデルを適用し、標準の長さからの変移に応じて力が働くものとした。また、ノード自体に対 しても仮想的な電

5

CoreAudio

External

MIDI

Devices

Open SoundControl

AudioUnit CoreMIDI

Node Controller OpenGL

User Interface

Software

SoftwareSound File

audio signal control signal control signal

図 7: The System Diagram of SONASPHERE

荷を定義しそこにクーロン力が働くと仮定している。ノード同士が衝突した際にある一定の条件が満たされるとそこに新しいコネクションが 生まれる。ユーザの操作や状況に応じて、このコネクションは切れたり、また新たに結ばれたりといった動作を繰り返す。具体的には、Apple Computer の OS X 上で動

くソフトウェアとして実装した (図 7)。OS X で新たに採用された CoreAudio Architecture に準拠することで、既存・将来のアプリケーションとそのまま組み合わせて使うことが可能になった。また、CoreAudio 標準のオーディオ・プラグイン形式、”AudioUnit”をオブジェクトとしてそのまま読み込めるようになっている。これらの規格を通じて、商用、フリーウェアを問わず、他の開発者が作った資産を利用できるという利点がある。同様に現在でも業界の標準であるMIDI(Music Instrument DigitalInterface)や、近年新たに開発された OSC (OpenSound Control) [2, 10]などの通信プロトコルを通して、外部の MIDI 機器、他の MIDI アプリケーションなどとの連携も可能である。

4 タンジブルな音楽インタフェース

より高度で専門的な音響処理を目指すような上述の研究例は逆に、よりわかりやすく楽しいインタラクションを目指す流れも存在する。最近、特に顕著なのは実体のある (タンジブルな)インタフェースを用いて、ソフトウェアの柔軟性とハードウェアの

操作性を両立させようとする試みである。タンジブル・ユーザ・インタフェース (TUI)はグ

ラフィック・ユーザ・インタフェースとは異なる新しいインタフェースのパラダイムである [11]。TUIでは、物理世界をモニタ上にメタファとして再現するのではなく、情報に物理的な実体を与え、実際に手で触って操作できるようにするころにある。操作される抽象的な対象に物体としての形をあたえることで、より直感的な操作・認知が可能になる。また、複数のユーザ、両手をつかった並列的な処理も容易に実現することができる。以下にこうしたタンジブルなインタフェースの例を紹介する。

4.1 AudioPad

MIT Tangible Bit Group の”AudioPad”は、小型電子タグによる位置検出システムを使った、音楽パフォーマンス用のインタフェースである [8]。ユーザは、盤上にあるオブジェクトを動かすことで、

1. オーディオサンプルの選択

2. 再生・停止　ボリュームの調整

3. エフェクトの選択、パラメータの操作

などを自由に行うことができる。このシステムについてインタフェース的に特に優れている点を以下に挙げる。■ 物理的なジェスチャーと高度に融合したイン

タフェースたとえば、全体のテンポを上げるという操作に対しては、レコードを送る操作と関係づけ、オブジェクトを円周上時計回りに動かすことで実現している。ボリュームに関しては、“マイクロフォン”と名付けられたオブジェクトに、オーディオファイルを近づけたり遠ざけたりすることで直感的にコントロールできる。逆にマイクのオブジェクトを動かすことで、サンプルをカットアップしたり、ミックスしたりすることができる点も新鮮である。

■ サンプル選択の手法現在、市場には同様のループ・ベースの音楽ソフトが数多く出回っている。これらのソフトウェアでは、サンプルの選択に通常のプルダウン・メニュー

6

図 8: AudioPad [8]

を用いることが多い。対象となるトラックをクリックし、でてきたメニューから適当なサンプルを選ぶわけである。しかし、AudioPadでは、ツリー形式を採用している。選択用のオブジェクトをツリーのノードの上に重ねると、そのノードから分岐する枝が表示される。このツリーのターミナルノードがサンプルファイルになる。こうしたインタフェースには、リズム、パッド、ボイスサンプルといったサンプルの分類をわかりやすくする意図があると考えられる。また、平面上にツリーの枝が広がっているために、オブジェクトを動かしての選択が容易になる一方で、一つのノードから分岐する枝の数に強い制限がかかるという問題もある。

AudioPadの背景にある音楽観、「サンプル・ループの組み合わせによって曲を作る」「組み合わせ方を操作することでライブパフォーマンスを行う」といった考え方は、それ自体、なんら新しいものではない。上述のように、Ableton Live! [3]や SonicFoundryAcid [6]をはじめ、同様のソフトウェアが数多く商品化されている。Audiopadはこの一般的な音楽コンセプトに、Tangible Bitの概念に基づく身体性を与えたといえる。

4.2 Block Jam

ここまでは、演奏者あるいは作曲家といった音楽を専門とする人のためのインタフェースといった指向が強いツールを紹介した。一方で、だれでも簡単に楽しめるという音楽本来の方向への回帰をイン

図 9: Block Jam [7]

タフェースの側から支援しようとする流れも見られる。

Sony Computer Science Labの”Block Jam”は、まさにそういった大人も楽しめる音のオモチャといった趣が強い [7]。Block Jamは、インタラクティブに音楽を作るためのタンジブルなインターフェースである。ユーザはブロックを並べ替えることで、用意されたオーディオ・サンプルを組み合わせて自分なりのシーケンスを楽しむことが出来る。シーケンスの再生ポイントは、ユーザが組み上げ

たブロックの並びの中を行きつ戻りつしながら移動し、ブロックにアサインされたオーディオ・サンプルを再生する。ルーティングの機能を持つブロックの上をポイントが通過すると、そのルートに沿って進行方向が変更される。これらのブロックを組み合わせていくことで、複雑なシーケンスをインタラクティブに作ることが出来る。ブロックという物理的な物体をインターフェース

として用いることで、ユーザの直感的な利用が促されるだけではなく、複数の人との協調作業が簡単に実現される。また、ブロック上面に LEDのグラフィックを付けることで、ブロックのルーティング機能やオーディオ・サンプルの種類などが表される。ユーザは、ブロックを上から軽くクリックしたり円形になでる動作をすることで、LEDのアイコンの色や形で確認しながら機能やサンプルの種類を簡単に帰ること可能である。これは、タンジブルなインタフェースと抽象的なアイコンというグラフィック・インタフェースを組み合わせた好例だと言える。

7

5 まとめ以上、商用の音楽ソフトウェアの現状を述べた上で、実験的なインタフェースの代表例を挙げた。これらの音楽インタフェースの発展と時代を代表する電子音楽の流れを比較してみると面白いことが分かる (図 10)。たとえば、HipHopが広がった80年台は、集積回路の技術が少しずつ向上しサンプラなどの価格が比較的入手しやすくなった時代でもあった。その後、技術の発展とともに新しい音楽の形が生まれている。90年代にはいると、サウンドを細かく編集できるようなコンピュータ・ベースのシステム／ソフトウェアが発展し、Break BeatsやDrum’n’Bassなどの音楽を生んだ。さらに 90年代末には、Max/MSPや SuperColliderといった音楽プログラミング環境を用いた複雑なシーケンス・音響処理が一般化し、Electronicaの流行を生んでいる。しかし、ここに来て技術主導の音楽の発展に疑問符がつけられ、全体的に閉塞感が漂っている感がある。これまで技術的にどんどん先鋭化し、パーソナルな方向に向かってきた音楽インタフェース技術を見直す動きが出始めている。その良い例が 4.2 Block-Jamである。こういったシステムでは、音楽を作る・演奏するためではなく、「楽しむ」ためのインタフェースが模索されている。同時に、音楽を楽しむ行為を、コミュニケーションの手段として捉える方向でも、今後研究が進むものと期待している。

参考文献[1] 長嶋 洋一, 橋本 周司, 平賀 譲, 平田 圭二コンピュータと音楽の世界 - 基礎からフロンティアまでbit別冊, 共立出版, 1998

[2] http://cnmat.cnmat.berkeley.edu/osc/.

[3] http://www.ableton.com/.

[4] http://www.cycling74.com/.

[5] http://www.propellerheads.se/.

[6] http://www.sonicfoundry.com/.

[7] HenryNewton-Dunn, Hiroaki Nakano, James Gib-

ExtraordinaryExpensive /ExperimentalHardware

Software + HardwareInterface

ExpensiveHardware

Consumer Hardware

ExpensiveSoftware +ComputerSystem

2000

1995

1990

1970

1980

1960

1950

Consumer Softwares forPersonal Computers

Experimental Software

HipHop

Techno

Drum'n'Bass

Electronica

�����������

����

Music Interface

図 10: History of Electric Music Interface andElectronic Music

son . Block Jam: A tangible interface forinteractive music. In Proceedings of New In-sterfaces for Musical Expression (NIME 03),2003.

[8] James Patten, Ben Recht, Hiroshi Ishii . Au-diopad: A tag-based interface for musical per-formance. In Proceedings of New Insterfacesfor Musical Expression (NIME 02), 2002.

[9] Golan Levin. Painterly interfaces for audiovi-sual performance. Master’s thesis, MIT Me-dia Lab, 2000.

[10] Adrian Freed Matthew Wright. Open Sound-Control: A new protocol for communicatingwith sound synthesizers. In ICMC 97, 1997.

[11] 石井 裕. タンジブル・ビット -情報と物理世界を融合する、新しいユーザ・インタフェース-情報処理学会誌, 43(3), March 2002.

[12] 徳井直生. Sonasphere - bioshpere of sounds -.In Proceedings of NICOGRAPH 2003, 2003.

8