見ること，触ることができない世界，相手へ求愛を行っていくこと / We are groping around for the courtship action to the digital world which is not able to see and touch
ノキアの未来．電脳コイルのようなメガネを掛けて，ワイヤレスのヘッドフォンをして，手首にジェスチャーを感知するブレスレットをつけて，デジタルライフを送る．そんな未来．ここで気になったのは，いろいろなジェスチャーについてです．手首と指をちょいちょいと動かすと，受信したメールが見られるようになったり，しているのですが．その手の動きとそれをトリガーとして電脳メガネ上で展開されるイメージのアクションとの結びつきがイマイチピンとこない．まあ，実際に体験していないからかもしれないけれど，iPhone を発表したスティーブ・ジョブスのプレゼンで，ジョブスが指を２本を広げたり縮めたりするピンチで，イメージを拡大・縮小したときはみんなオーとなったときの納得の仕方は違うような気がする．ジェスチャーとディスプレイ上のイメージ，アクションとの結びつきがどうすれば「自然」なものになっていくかはこれからの大きな課題だと思うし，この結びつき自体が特許とかで私有されるときもくるかもしれない．となると，私たちの行為がデジタルで構成される世界ではいろいろと規制されたものになっていくことなる．今までは，仮想，電脳世界に私たちの普段の行為をそのまま持ち込むことが目指されていたように思うけれど，実は私たちの行為をそのまま持ち込む必要はないということに，iPhone のピンチは気づかせしまったのではないだろうか．物理的世界では指を広げることで何かが拡大・縮小することはなかったのだが，イラストレーターとかで四角形を作るときに対角線上の点をコントロールすることで拡大・縮小していたことを考えると，指の行為をこのデジタル上のイメージの描き方に合わせた結果，みんな納得したのかもしれない．理由もなく「わかる」ことと，何か違和感を感じることの差をどう説明していくのかが，デジタル時代の私たちの行為を考える上でとても必要なことだと考える．デジタル世界へ私たちの意思を示すのに今まで無意識でやっていたジェスチャーをうまく掬い取り，電脳世界に対応づけを行うことが必要になってきているように感じる．
しかしながら，ジェスチャー，特に描写的で「映像的」なジェスチャーは，必ず物的世界への指示的つながり（このつながりはコミュニケーションの状況自体のなかでは確立されたり明確に説明されたりすることはまれにしかないけれども）を含むというのがわれわれの主張である．むしろ，話題としてとり上げられている世界から切り離されているような会話の文脈で，参加者は，（普遍的な身体的経験から高度に個別的な文化的営みまで）百科事典的知識を補足して，ジェスチャーを認識しなければならない．現象としては，手の動作があるだけである．しかしながら，知覚されるものは，典型的には動作ではなく行為であり，同時に行為が行われるところの暗示された物体である．(p.200)
Curtis LeBaron, Jürgen Streeck，「ジェスチャ−，知識，世界」，池村大一郎・喜多壮太郎訳 in 齋藤洋典・喜多壮太郎編著『ジェスチャー・行為・意味』
最後に，まだまだ明確に考えられていないが，私たちが今まで自然と行ってきたジェスチャーを用いてのコミュニケーションに，デジタルという物体なき，かたちなきものが介入してくることで大きな変化が起こりそうな感じがしている．私たちの意思をデジタル世界に示すこと，あるいはデジタル技術にその意思を示させること．私は以前このことを，行為とディスプレイ上のイメージとのが対応することから生じる「ディスプレイ行為」と名前を付けて考察して博論にまとめたが，いまでは，「ディスプレイ行為」とは鳥などの求愛や威嚇を示す行為であることも踏まえて，デジタルとヒトとの求愛行為であり，デジタルを介したヒトとヒトとの求愛行為でもあるように思えてきている．デザイナーとユーザとの間，ユーザとユーザとの間．その間にかたちなきデジタルが介入しながら，見ること，触ることができない世界・相手へ求愛を行っていくことを，私たちは，今，手探りで行っている最中なのではないか．そして，私が知りたいのは，この手探りで探っている「今」の感触であり，かたちなのである．
A future designed by NOKIA. A woman wear a glasses like DENOU-COIL, a wireless headphone, a bracelet which reacts her gestures. She enjoys her digital life. I want to focus on her gestures. When she does small wrist and fingers actions, she can read her mail on the display of her glasses. I can not accept this relationship between the hand movement and the image on her glasses. Maybe, I do not experience this NOKIA system, so I can not understand the relationship. However, when Steve Jobs showed us the action of PINCH for zooming in and out the picture in his presentation for iPhone, everyone instantly understood the relationship between his action and the movement of the image: zooming up and out. It may be our problem how the connection between our gestures and the images and actions on the display become 'natural'. In near future, this connection will become the patent. It means that our gesture would become private property for some companies like Apple. If this patent will be realized, our gestures and actions will be regulated in the digital world.
I think that we have aimed to bring our action in the physical world into the virtual world as it stands until now. However, PINCH of iPhone may make us know that we do not necessarily bring our action into the virtual world as it stands. Although PINCH does not make something big or small in the physical world, we control two points of a diagonal line in order to draw a quadrangle in the virtual world like Adobe Illustrator. PINCH makes a movement of diagonal, therefore we may superimpose this hand movement and the movement for drawing a quadrangle in the digital world. As result, we naturally accept the relationship between PINCH and Zoom in and out. I consider that it is big problem to explain what makes us naturally accept the relationship between our gestures and the image action or feel something strange for it. We have to be careful and aware of what our unconscious gestures mean and correspond them to the image movements and actions in the virtual world.
However, it is our contention that gesture ─ certainly descriptive or 'iconic' gesture ─ necessarily involves indexical links to the material world, even though these links are rarely established or explicated in the communicative situation itself. Rather, in conversational contexts that are detached from the talked-about world, participants must fill in encyclopedic knowledge (ranging from universal bodily experiences to highly specific cultural practices) to see and recognize gesture. Phenomenally, there are only motions of the hands. What is perceived, however, is typically not motions but actions and, simultaneously, implied objects acted upon.
Curtis LeBaron, Jürgen Streeck, 'Gestures, knowledge, and the world' In David McNeill(Ed.), Language and Gesture, pp.118-138 (2000)
Finally, I think that a big change will happen because the digital which is no material and shape intervenes in our gesture communication based on the material and shape of our body. To show our will to the digital world. Conversely, the digital world shows its own will to us. I formerly called this correlation 'Display acts' which the image on the display changes corresponding to our actions. Now, I consider that 'display acts' is, connected with 'display' means the bird's action of the courtship, a courtship dance or action between the human and the digital furthermore, the human and the human through the digital. We are groping around for the courtship action to the digital world which is not able to see and touch. I want to feel the touch of the digital world.