マルチタッチジェスチャーは詩的言語か散文か？ / Is multi-touch gesture poetic language or prose?

マルチタッチジェスチャーは詩的言語か散文か？　こんな問いの立て方をすること自体が間違っているのかもしれないけれど，なんか気になるのです．コンピュータが身近になるときに「メタファー」を使ったこと．その「メタファー」を持ち込んだデスクトップ・メタファーとマウスとの組み合わせが当たり前になった今，丁度一般化しつつあるマルチタッチジェスチャー．マルチタッチジェスチャーは，何かのメタファーなのか．メタファーは，２つの領域を結びつけるものでもあり，私たちの身体感覚に深く関係しているものでもある．マウスという物理的なものを「握る」感覚を，デスクトップ・メタファーとしてコンピュータのディスプレイに持ち込んだとすれば，マルチタッチジェスチャーは何をコンピュータに持ち込んでいるのか．私は，散文的な感覚，なんか文法的な規則，一対一の辞書的な対応を，ヒトとコンピュータとの間に持ち込んだのではないかとなんとなく考えていたわけです．そこに，ある人とから，マルチタッチジェスチャーは詩的言語ではないかと指摘されて，うーんとうなったわけです．なんか，詩的言語としてのマルチタッチジェスチャーもとても納得という感じで．

iPhoneで持ち込まれた２本の指の広げて，イメージを拡大するピンチ．今まで，この「ピンチ」と同じように指を動かしても何も拡大はしなかったわけです．それが，いきなり２本の指をディスプレイにくっつけて，離すように動かすと，ディスプレイ上のイメージが拡大するわけです．そして，この２本の指の動きがなんかもともと「拡大」のためにあったような気がしてきてしまうのです．この突然現れる感覚をどう説明すればいいのか．これはただ単に２本の指の行為とディスプレイ上のイメージの動きを対応付けただけなのか．もともとヒトの中に２本の指をそのように動かすと何かモノが大きくなるような感覚があったのか．ただ対応付けただけなら，そこには辞書的な対応しかないような気がするし，もし何かしら感覚があったとしたらその感覚をアップルのデザイナーやエンジニアが掬い取ったという感じになる．どちらにしても，私たちの行為が iPhone などのデジタルガジェットによって大きく規定されてきている時代になってきているわけですから．それが私たちに対して何を意味しているのかを考えなければならないと思うのです．そのときに，身体とデジタル機器，そしてイメージを中心にした新しい言語体系が生み出されているという感じがするのです．ここでの「言語」は比喩的な意味です．私たちが新しい環境に対応していくための体系，それは主に言語を改訂していくことで認識を更新してきたと思うのですが，それが身体の行為のレベルで少しずつ行われているような感じがしています．

マルチタッチジェスチャーというのは，３次元の世界に生きている私たちの行為を，２次元に縮減していくためのもののような感じがします．縮減するためには，私たちの持っている３次元の世界で生きてきた身体感覚を捨てていくことがなされているのではないかと．それがピンチによるイメージの拡大に現れているのではないかと．３次元の指の行為をディスプレイとの接点のみ，つまり２次元に縮減することで，新たな対応を作り出す．ピンチでの指を見ているだけでは，確かに３次元的ですが，そこで必要とされているのは，ディスプレに触れている２つの点の位置と動きだけだったりするわけです．でも，ヒトは３次元の世界に生きているので，３次元的な行為として常に感じているわけです．そこに「自然な」対応関係をつけてしまること．それはとても人工的なことであるのですが，それを「自然」なものと見なしてしまうこと．「自然：人工＝詩的言語：散文」という関係．

Is multi-touch gesture poetic language or prose? Maybe, it is wrong to ask this question, but I want to consider about it. When the computer came into our world, "metaphor" played an important role: the desktop metaphor. The desktop metaphor arranged the images on the display and the mouse in the order of our body sense. Now we used to use them, then the multi-touch gesture is coming into the world. Is the multi-touch gesture some metaphors for something. The metaphor connects two things which are normally separated. Moreover, it is baed on our body sense according to George Lakoff and Mark Johnson. If the mouse as a physical object gives us the feeling of "grabbing" for the images on the display in the desktop metaphor, what does the multi-touch gesture bring into the relationship between the human and the computer. I think that multi-touch gesture makes one-to-one relationship between us and the logical machine, which is like a prosaic sense or a sense of grammar/dictionary. However, my friend pointed out that the multi-touch gesture is like a poetic language. And I felt that his idea is also interesting so I have to re-consider about the multi-touch gesture.

iPhone introduced the PINCH:

With the iPhone multi-touch, zooming in and out of a picture never been easier. Steve Jobs introduces what he called a “pinch”. Bring your thumb and index fingers closer together or move them further apart to scale images.  Have a look at Steve Jobs presenting the feature, the audience is amazed by this.          

http://www.iphonefreak.com/2007/01/iphone_and_stev.html

 This thumb and index fingers action had made nothing to zoom the image or the physical object before the iPhone. Now, we think that our two fingers action have been able to zoom the image on the display from ancient time. This is the problem; Pinch is new action for us but we used to do it. Does iPhone just connect our thumb and index fingers action to zoom the image? Does the human have a sense for this finger action make zoom the image or the object? If there is only artificial connection our fingers action and zoom, this is one-to-one relationship like the dictionary. If we have natural sense for the link between fingers action and zoom, the Apple design and engineer team feel this sense and give it shape. Anyway, this it time that the digital device makes our action rule, therefore we must consider about these new action and its meaning in the long human history. I think that a new language based on our body, the image, and the digital device is arising now. I use "Language" as metaphor. We has changed the our own language in order to adjust our recognition for the environment. In digital age, I think that this change occurs at our body level very calmly.

I think that multi-touch gesture reduces our three-dimensional action to two-dimensional one. In order to reduce that, our body sense for the three-dimensional world have to be discarded. And, Pinch action for zooming the image shows this switchover. Pinch action need just two points of contacts in three-dimentional fingers action in order to zoom the image in the display. Even though we see and feel our own finger action which is three-dimentinal, iPhone need just two points of contact in the its surface. We live in three-dimantional world, so we always feel that our action for iPhone is the three-dimentinal one but the reduction happens there. However, we can not notice this reduction and feel "natural" for Pinch action. Pinch action is the artificial but we feel and make it "natural". The relationship is that "natural : artificial = poetic : prosaic"