（見せかけの）因果関係の連鎖 / The (pseudo) causal chain
この前，勝手な想像で，なぜタンジブル・メディア・グループで G-stalt のようなジェスチャー・インターフェイスが研究されているのかを書いたけれど，Axis vol.140 で石井教授自身が次のように述べていた．
コンピュータをマウスで操作するインターフェースは，ブラックボックス化されていて，そこで何が起こっているのかがわかりにくい．しかし，それがジェスチャーになれば，例えば指揮者のタクトの動きでバイオリニストが音を奏でるといったような，ものごとの因果関係の連鎖が目に見えるようになる．ジェスチャーによるインターフェースの研究は，モノ，スペース，ボディーをシームレスに繋ぎ，そこに全く新しいパラダイムを打ち立てようとするものなのです．
マサチューセッツ工科大学 メディアラボ タンジブル・メディア・グループの「ジェスチャー・インターフェース」：空間的広がりを持つダイナミックなインタラクション AXIS 2009.8 vol.140
確かに，G-stalt は「モノ，スペース，ボディーをシームレスに」繋いでいるけれど，なんでここで「イメージ」との関係性は言われないのだろうか．ジェスチャーで実際に動かしているようにみえるのは，映し出されているイメージなのでないか．シームレスでつながっているのは，「モノ，イメージ，スペース，ボディー」なのではないか．でも，石井教授は「イメージ」という言葉は入れない．もうイメージがモノなのかもしれない．そう考えれば，タンジブル・メディア・グループの次のヴィジョンである「ラディカル・アトムズ」にもスムーズにつながる．イメージを「イメージ」として考える意識が希薄化してきているのかもしえない．イメージがモノであると同時に，モノもイメージであると考えると，まったく新しいパラダイムが出てくるのかもしれない．そして，そのパラダイムは「可塑性」と関連していると思う．
あと，石井教授がジェスチャーによって「ものごとの因果関係の連鎖が目に見えるようになる」と言っているところも気になる．私は，以前，マウスとカーソルとのつながりによって，コンピュータの論理と物理的な因果関係に支配された私たちの行為との間に，「見せかけの因果関係」が生じていて，それがディスプレイ上のイメージを「オブジェクト」と触れるモノに変化させていると考えた（英語で書いたものですが，「見せかけの」因果関係について：What You See Is What You Touch? Double description of seeing and touching in ‘Display Acts’）．私たちがディスプレイ上に見ているイメージは，すでにイメージではなくなり「モノ」となっているのだが，それはあくまでも「見せかけの因果関係」によって支えられている．ジェスチャー・インターフェイスは，マウスとカーソルとのつながりとは違って，「見せかけの因果関係」を「見せかけ」ではなくしてしまうのかもしれない．なぜなら，ジェスチャーは身体に密接に結びついているからである．石井教授の言っていることは，正しいのかもしれない．ジェスチャーが身体と密接に結びついているからこそ，その身振りとディスプレイ上のイメージとの関係性はよりシビアになっていくはずである．マウスとカーソルとの結びつきでは，あくまでも「見せかけの因果関係」，つまり，「何かを掴んで動かす」ということが「何かを指さして動かす」ということに変換されて，ディスプレイ上に因果関係をつくり出していた．「掴む」と「指さす」という何でもありな行為を繋げていたがゆえに，ディスプレイ上のイメージで起こっていることと身体の動きとの間の関係は曖昧なままですんだのかもしれない．しかし，ジェスチャーではそうはいかない．ある身振りは必ずあるディスプレイ上のイメージの変化をもたらす．この決定的な結びつきは，なぜある身振りがディスプレイ上のイメージとある特定の関係でつながるかを考えざるを得なくなるはずである．ジェスチャーとディスプレイ上のイメージとを１対１で結びつけることで，イメージがよりモノに近づいていくこと．そうなると，私たちの行為が持っている多義性，曖昧さが次々と切り詰められていくのではないだろうか．
In last entry, I considered why a gesture interface like G-stalt is studied in Tangible Media Group. Prof. Ishii says that:
Interfaces that control the computer with a mouse are like a black box, and it's difficult to understand what's going on inside. If gestures are used, however, one can clearly see the causal chain, as with a violinist's response to the conductor's baton. Research into gesture interfaces is attempting to hammer out a new paradigm by seamlessly merging body, objects, and space."
MIT Media Lab Tangible Media Group's Gesture Interfaces: Dynamic Interaction in Hybrid Space in AXIS 2009.8 vol.140
Although G-stalt seamlessly connects body, objects, and space, why the image is not in this relationship? The thing that is moved by the gestures is not the object itself but the image on the display, isn't it? Are 'body, objects, space and images' seamlessly merged in G-stalt? However, Prof. Ishii does not say the image. Why? Maybe, the images have already become the objects in our life. If we think that, I can smoothly connect the gesture interfaces with 'Radical Atoms' which is next vision of TMG. Now, we rarely think that the image is the 'image'. The image is something like the object, so it is tangible. Therefore, we can feel that the image is the object and the objects is the objects at the same time now. This idea makes totally new paradigm. This paradigm may be related with plasticity, I think.
I want to focus on Prof. Ishii' word " If gestures are used, one can clearly see the causal chain". I consider that the mouse and the cursor on the display make "pseudo-cause-and-effect" between our action which is ruled by physical cause and effect and computer logic which is not ruled by one [ What You See Is What You Touch? Double description of seeing and touching in ‘Display Acts’ ]. Then, The pseudo-cause-and effect changes the images on the display into the 'object [entity]' which is something tangible. Even though the image which we see on the display has already become the 'object', it is supported by the pseudo-cause-and-effect. However, the gesture may interfaces remove 'pseudo' from the pseudo-cause-and-effect because the gesture is closely connected our body. Therefore, Prof. Ishii is maybe right. Our action will be tightly connected with the image on the display because the gesture is very close to our body. In the mouse and cursor, 'to grab and move something' is transformed into 'to point and move something' and this transformation makes the pseudo-cause-and-effect on the display. 'Grab' and 'point' are very general actions for us, then we can do many things with the combinations of these two actions on the display. As result, there is the ambiguous relationship between the image on the display and our action. However, the gesture requires one to one relationship with the image on the display. This one-to-one relationship make us think why an action is connected with the change of image on the display. Connecting our gesture with the image on the display in one to one relationship, the image may be more close to the object. Then, may the ambiguity of our action be reduced in turn?