touch-touch-touch

この前 ，勝手な想像で，なぜタンジブル・メディア・グループで G-stalt のようなジェスチャー・インターフェイスが研究されているのかを書いたけれど，Axis vol.140 で石井教授自身が次のように述べていた． コンピュータをマウスで操作するインターフェースは，ブラックボックス化されていて，そこで何が起こっているのかがわかりにくい．しかし，それがジェスチャーになれば，例えば指揮者のタクトの動きでバイオリニストが音を奏でるといったような，ものごとの因果関係の連鎖が目に見えるようになる．ジェスチャーによるインターフェースの研究は，モノ，スペース，ボディーをシームレスに繋ぎ，そこに全く新しいパラダイムを打ち立てようとするものなのです． マサチューセッツ工科大学 メディアラボ タンジブル・メディア・グループの「ジェスチャー・インターフェース」：空間的広がりを持つダイナミックなインタラクション AXIS 2009.8 vol.140 確かに，G-stalt は「モノ，スペース，ボディーをシームレスに」繋いでいるけれど，なんでここで「イメージ」との関係性は言われないのだろうか．ジェスチャーで実際に動かしているようにみえるのは，映し出されているイメージなのでないか．シームレスでつながっているのは，「モノ，イメージ，スペース，ボディー」なのではないか．でも，石井教授は「イメージ」という言葉は入れない．もうイメージがモノなのかもしれない．そう考えれば，タンジブル・メディア・グループの次のヴィジョンである「ラディカル・アトムズ」にもスムーズにつながる．イメージを「イメージ」として考える意識が希薄化してきているのかもしえない．イメージがモノであると同時に，モノもイメージであると考えると，まったく新しいパラダイムが出てくるのかもしれない．そして，そのパラダイムは「可塑性」と関連していると思う． あと，石井教授がジェスチャーによって「ものごとの因果関係の連鎖が目に見えるようになる」と言っているところも気になる．私は，以前，マウスとカーソルとのつながりによって，コンピュータの論理と物理的な因果関係に支配された私たちの行為との間に，「見せかけの因果関係」が生じていて，それがディスプレイ上のイメージを「オブジェクト」と触れるモノに変化させていると考えた（英語で書...

タンジブル・ビット→（g-stalt）→ラディカル・アトムズという流れで何かを書きたかったのだけれど．g-stalt について調べたら，Jamie Zigelbaum という g-stalt を MIT メディアラボ，タンジブル・メディア・グループで開発・研究しているドクターコースの学生の「Mending Spaces [空間を縫い合わせる]」というエッセーに遭遇し，その後，「Reality-Based Interaction: A Framework for Post-WIMP Interface [現実を基にしたインタラクション：ポストWIMP インターフェイスのフレームワーク]」という論文に出くわし，それらを読んでいたら．大分時間が経ってしまった． 「Mending Spaces」のサブタイトルは，「Gestural Inteaction: how to create interaction that merge body, object, space, screen, and surface [ジェスチャー・インタラクション：身体，物体，空間，スクリーン，サーフェイス（表面）を一緒にするインタラクションの作り方]」となっていました．物理空間と情報空間を縫い合わされていく中で，新しい目と新しい指もまた改善，縫い合わせなければならない．技術だけではなくて，ヒトのもまた，技術とともに共進化していくんだよ，そして，進化の中で得るものもあれば失うものもあるよと書いてある．今度ちゃんと訳してみよう． で，最初に何を書きたかったというと，一見，タンジブルではない，ジェスチャー・インターフェイス環境の g-stalt がタンジブル・メディア・グループの中で研究されていたことの違和感を，僕は感じていた．そして，「情報に触る」というコンセプトでやってきた石井裕教授率いるタンジブル・メディア・グループが，次は，ピクセルのように自由に変化するマテリアルを想定してインターフェイスを考える「ラディカル・アトムズ」というヴィジョンを示したこと．ここには，アトム→ビット→ピクセル→アトムという流れがある．私たちは長い間，物質，アトムに触れてきた．そこにビットという存在が現れた．なので，アトムに触れるようにビットに触れなければならない．さらに，アトムに触れるようにピクセルに触れ...

思考実験．例えば，マウスを右に動かすと思ったら，マウスが右に動く．手を使わずに，ただ動くだけ．念力とよばれているやつ．実際，今やってみても，マウスは右に動きません．ブレインインターフェイスが開発されて，試してみたとします．右へ，マウス右に動く．おおすげぇ，と思う．ペン，右手に．ペンが右手のところにくる．これは，脳の中で，ひとつの文が作られて，それに対応しているように思える．となると，二つのことの同時に行うことはできないのはないか．僕は，ふたつの文を同時に書くことも，話すことも，思うことも，今のところできない．でも，身体は，右手と左手で違うことが，同時に出来たりする．そのとき，どんな文が脳の中にあるのか． いや，頭の中に文が生じないとモノにアクセスできないと考える自体が間違っていると言われるかもしれない．もっとイメージで考えているのだと．でも，イメージで考えるとしても，やはりひとつずつものを動かすことしかできないのではないか．でも，イメージに頼らなくても，「すべて」とか「あのへんのもの」とか考えれば，一度に多くのものを動かすことができる．イメージで広い領域をとらえて，その中にあるものの動きを同時に考えることができば，同時に，並行的にものを動かすことも可能かもしれない．でも，モノを動かすとなると，なぜか，脳の中に，命令形がうかぶ．ペンを右へとか，そこの文鎮こっちへとか． なんか，考えるということが，何かを同時に動かすときにボトルネックになってきているような気がする．考える＝意識にあげることが，多くのものを同時に，各々異なる動きをつけることを不可能にしているような．脳の中だけだったら，同時にバラバラに動くものを意識できているような気がする．けど，それを現実と結びつけるとなるととても難しい．目の前にある積み木が個別に動くように意識してみても，それは個別に動くもののそれぞれの動きを全体としてひとつにまとめたものを意識しているような気がする． ここまで考えてきて，なんかマウスとカーソルのつながりと，マルチタッチ・ジェスチャーのカーソルとは関係がなくなった，カーソルが全く動かずにディスプレイ上のイメージがいろいろと動くことが，思い浮かんできた．別にマウスでなくても，トラックパッドの方がいいのだけれど．１本の指のときは，カーソルと連動している．カーソル右へと指を右に動かすとカ...

Project Natal Xbox 360．「あなたがコントローラです」．何も持たずに，ジェスチャーだけで，ディスプレイ上のイメージを操作できる．僕は，Wii を持っているけれど，Wii はコントローラを使う．何か物理的なものを持って，行為を行う．卓球とかチャンバラとか，実際にラケットや剣といった物理的なものを持って行うスポーツは，Wii Sports resort でも，やりやすかった．これが何ももたないでやるとどうか．何か力が入らないような気がする．でも，Wii だって，何かを持っているけど，例えば，卓球でボールを打った感じは，ディスプレイ上のイメージとコントローラからの音と振動の連動で作られているので，実際とは違うはず．だが，そんなことは感じさせない．振動があるからなのか．Natal の場合は，何も持っていないから，振動が伝わるということがないから，まさにディスプレイ上のイメージと音とで自分の行為の確認を行うことになる．視覚・聴覚で確認したことが，身体全てを制御する．身体の行為すべてが，視覚・聴覚に集約される． Natal のデモ映像を見ていて思ったのは，サッカーをやっていたときにボールを蹴ろうとして空振りした感じ．スカッて感じ．でも，これは物理的なボールを蹴ろうとして，身体がボールから反作用を想定して緊張していたものが，ボールとの衝突がなくて，身体の力という緊張がボールという行き場をなくして，それがすべて自分に返ってきた感じだから，最初から物理的な接触がないとわかっていたら違う感じになるはず．物理的フィードバックなしに，いろいろな行為を行うこと．物理的フィードバックを，視覚と聴覚のみで代用すること．外から見れば，実際の物理的関係の中での行為と同じような行為をゲームで行っているわけだけれど，脳はどのように作用していているのか．このような物理的フィードバックなしの行為を行い続けることで，僕たちの身体に蓄積されている経験は何をもたらすだろうか． そういえば，中学でテニス部だったときに，最初ラケットなしで素振りをやらされたことを思い出した．あれは，「型」を覚えさせるためだったような．でも，実際，ラケットをもつその重みとかでやっぱり筋肉の緊張の具合は異なる．当然ですが．「型」で，今，能とかパントマイムとかを連想してしまっています．Nat...

インターフェイスにおける「第一言語」と「第二言語」という区分けを考えてみる．「第一言語と第二言語」の区分けを言語に設定した N・グッドマンの論文自体はまだ読んでいないで，これを引用した坂本百大の『言語起源論の新展開』から． ネルソン・グッドマン（Nelson Goodman）は，われわれの言語はすでにそれ以前における第一言語，たとえばゼスチュアなどの身振り言語やその他の記号使用の習熟の結果初めて可能になるのであり，その第一言語の段階において文法が経験的に獲得され，それが第二言語，すなわち通常の音声言語に反映されたものであるに違いないと考え経験論に徹する．その意味では音声言語の生得性・普遍性は結局は第一言語の経験性へと還元されることになる．p.155 N・グッドマンは，人間は通常の言語（第二言語）を習得する以前に第一言語を獲得しており，その第一言語による説明・教示により第二言語の習得が迅速で画一的になり得るのであると考える．さらにこの第一言語は，それ以前に既に存在している第一次的な記号体系[ｼﾝﾎﾞﾙｼｽﾃﾑ]の自然な習得として得られる第二次的記号体系として規定される．実際何らかの第一言語またはそれに類するものをすでにもっているものにとっては，第二言語の習得は迅速であるし，またその第一言語が安定したものであるならば第二言語の習得に画一性，普遍性が見られるのは当然である．p.170 坂本百大（1991）『言語起源論の新展開』 インターフェイスに「第一言語と第二言語」の考えを当てはめてみる．第一次的な記号体系は，ヒトが物理世界で感覚していることであり，そこでの行為であるといえる．それが「言語」となっていった流れがあるわけだが．この「言語」も含めた記号体系が，インターフェイスにおける第一次的な記号体系として「第一言語」を作る．つまり，ヒトとコンピュータとのインターフェイスの言語は，ヒトが習得した第二言語を基盤としていると考えることができる．物理世界とのつながりの中で培ってきた安定した「言語」を，コンピュータとのやり取りを説明・教示するために使う．その結果生じた「第一言語」が，マウスとカーソルとを結びつけることでできることをメタファーでまとめ上げたデスクトップ・メタファーを採用した視覚中心のインターフェイス．この段階では，ヒトの身体感覚の多くを活かすことができていない．しか...

マジックマウスの慣性スクロール．iPhone でもできてしかも気持ちいいけど．マジックマウスの慣性スクロールも気持ちいい．同じ慣性スクロールなので，やっている行為，指の動きは同じで，ディスプレイ上のイメージの動きも同じ．でもなんか違う．iPhone は，とても滑りのいいガラスの上を指がすいすいと動いて，その指にイメージが反応している感じ．ガラスの滑らかさとイメージの指への吸い付き．マジックマウスは，すこし滑りがわるいプラスチックの表面なんだけど，緩やかな傾斜がついているので，指をその傾斜に沿わして動かしている感じ．指にイメージが反応しているのは一緒だけど，プラスチックも指に吸い付くし，イメージも吸い付く感じ．プラスチックの表面に指が物理的にくっつくことが少し気になる．でも，一番の違いは，iPhone は直接的にイメージに触れているように見えているのに対して，マジックマウスは，指とイメージとが離れているということなのでしょうか．最初は，マジックマウスの傾斜が重要かなとも思ったんですが…．でも，この傾斜は人差し指で行ったり来たりするときに，私にとってはとても気持ちいい． どちらにしても，この慣性スクロールは，私たちの物理的世界の慣性をコンピュータの論理世界に入れてしまったわけです，でも，それも論理で実現されているわけです．まわりまわって，いつも私たちが体験していることが，ディスプレイ上のイメージで表現されるとなんか気持ちよさを感じてしまう．少し違うか．慣性というものだけが，ディスプレイ上のイメージに入り込んでいるから気持ちいいのか？　世界の物理法則の一部を切り取って，イメージに入れ込む．それも，私たちの行為にピタリと合った形で．そうすると，実現しているのは物理世界で起こっていることなんだけれど，体感としては何か新しいことが起こっているように感じてしまっているのか？　 この新しく感じてしまう慣性スクロールとそれを行う表面の形状の関係について，最初に考えたのは，マジックマウスの緩やかな傾斜は，傾斜に対して私たちは日頃昇るときも勢いをつけるし，下るときは自然と勢いがついてしまうことと関係しているのではということでした．それが，プラスチックの表面という滑りの悪さを補うのかと．でも，私たちの物理世界から慣性だけを切り取って，それを指の...

ノキアの未来．電脳コイルのようなメガネを掛けて，ワイヤレスのヘッドフォンをして，手首にジェスチャーを感知するブレスレットをつけて，デジタルライフを送る．そんな未来．ここで気になったのは，いろいろなジェスチャーについてです．手首と指をちょいちょいと動かすと，受信したメールが見られるようになったり，しているのですが．その手の動きとそれをトリガーとして電脳メガネ上で展開されるイメージのアクションとの結びつきがイマイチピンとこない．まあ，実際に体験していないからかもしれないけれど，iPhone を発表したスティーブ・ジョブスのプレゼンで，ジョブスが指を２本を広げたり縮めたりするピンチで，イメージを拡大・縮小したときはみんなオーとなったときの納得の仕方は違うような気がする．ジェスチャーとディスプレイ上のイメージ，アクションとの結びつきがどうすれば「自然」なものになっていくかはこれからの大きな課題だと思うし，この結びつき自体が特許とかで私有されるときもくるかもしれない．となると，私たちの行為がデジタルで構成される世界ではいろいろと規制されたものになっていくことなる．今までは，仮想，電脳世界に私たちの普段の行為をそのまま持ち込むことが目指されていたように思うけれど，実は私たちの行為をそのまま持ち込む必要はないということに，iPhone のピンチは気づかせしまったのではないだろうか．物理的世界では指を広げることで何かが拡大・縮小することはなかったのだが，イラストレーターとかで四角形を作るときに対角線上の点をコントロールすることで拡大・縮小していたことを考えると，指の行為をこのデジタル上のイメージの描き方に合わせた結果，みんな納得したのかもしれない．理由もなく「わかる」ことと，何か違和感を感じることの差をどう説明していくのかが，デジタル時代の私たちの行為を考える上でとても必要なことだと考える．デジタル世界へ私たちの意思を示すのに今まで無意識でやっていたジェスチャーをうまく掬い取り，電脳世界に対応づけを行うことが必要になってきているように感じる． しかしながら，ジェスチャー，特に描写的で「映像的」なジェスチャーは，必ず物的世界への 指示的つながり （このつながりはコミュニケーションの状況自体のなかでは確立されたり明確に説明されたりすることはまれにしかないけれども）を含むというのがわれわ...