touch-touch-touch

はじめに，マジック・メモとスケッチパッドとを論じるために，キャサリン・ハイルズの「刻み込みの技術」を参照したい．ハイルズは，『ライティング・マシーン』において，次のように「刻み込みの技術」について書いている． ここで，「刻み込みの技術」という言葉の意味をはっきりさせておこう．印刷された本においては，ページに記されている文字は明らかに刻み込まれたものである．なぜなら，それらは，紙の上にインクの痕跡として形を形成しているからである．コンピュータは，電極を変化させ，それらをバイナリコードと組み合わせることで，C++ や Java といった高級言語の命令を実行し，蛍光物質をブラウン管に光らせることができる．このことから，コンピュータもまた，刻み込みの技術を用いていると考えることができる．つまり，刻み込みの技術として考えられる装置は，痕跡として読むことができる物質的変化を引き起こさなければならないのである．2-4) ハイルズの定義をみると，「刻み込みの技術」とは，私たちに見える形としての痕跡を作り出す技術である．室井尚は，このような「刻み込みの技術」による痕跡付けという原理は，自然の中にも見出される現象であり，「古代からコインやメダルの鋳造や印鑑などにも用いられてきた技術でもあった」2-5) と指摘している． ここで注意したいのは，「刻み込みの技術」の起源の古さとともに，その技術を用いて作り出された痕跡を，私たちが，どのように見てきたかということである．ウィリアム・アイヴァンスは，「昔の手作業の版づくりでは，製版のための線と報知のための線が同じであった」と書き，版画の歴史において，その技術の誕生からハーフ・トーン印刷という新しい方法が生み出されるまでの長い間，製版のために刻み込まれた痕跡そのものが，ヒトに視覚的な報知を行うための線として，印刷面にそのままのかたちで押しつけられてきたことを指摘している．2-6) また，ジル・ドゥルーズは，絵画の歴史を要約した箇所で，絵画においては，長い間，手覚的（manuel）なものが視覚的なものに従属してきたことを指摘し，それを「古典的従属関係」と呼んでいる．2-7) このように，私たちは，紙の上のインクや，コンピュータ・ディスプレイ上に提示されている蛍光物質の変化を，装置によって刻み込まれた痕跡として見ているわけではなく，私たち

この章の目的は，コンピュータの登場に伴って顕在化したイメージの性質の変化を，ヒトの根源的な行為のひとつである「描く」ことと，描くために用いる道具との関わりでの中で捉えることである． レフ・マノヴィッチは，現代社会を「スクリーンの時代」と呼び，そのスクリーンを歴史的に「クラシカル・スクリーン」，「ダイナミック・スクリーン」，「リアルタイム・スクリーン」，「インタラクティヴ・スクリーン」という四つに分類する．そして，テレビに代表される「リアルタイム・スクリーン」以後，スクリーンに映し出されているイメージは，もはや伝統的な意味でのイメージとは言うことができず，それは，「私たちが，まだ言い表す言葉をもたない新しい表象なのである」と，スクリーンという観点から，イメージを分類している．2-1） しかし，彼は，「伝統的なイメージ」や「新しい表象」が何であるのかを，はっきりと言うことはない．ハンス・ベルティングは，マノヴィッチの言葉を受けて，それらを分けるものは何かについて，そこではアナログとデジタルと言ったような「メディアによる分類は機能しない」と述べ，これからのイメージに関する研究においては，「多くの異なるイメージの種類，機能を分類する必要性」があるとしている．2-2) そこで，「描く」という行為とイメージの関係の精査をしたい．そのために，アイヴァン・サザーランドが開発したスケッチパッドを考察の対象として，ヒトの根源的な行為である「描く」という行為の変化を，イメージとの関わりから示す．その際に，スケッチパッドが従来の視覚的表現になかった表現として「拘束」（constraint）という概念を提示している2-3) というサザーランド自身の言葉を手がかりにする．「拘束」とは，「ペンが実際に描いていないところに，線が描かれる」ということで実現された概念なのだが，この概念によって描かれるイメージと，伝統的な意味でのイメージとの違いを明確に示すために，ジークムント・フロイトが取り上げたマジック・メモという装置とスケッチパッドを対比させる．その理由は，これらの装置が，イメージを「描く」というリアリティをヒトに与えるにも関わらず，イメージを表示する面に直接，痕跡を刻むことがないということを特徴とする装置だからである．この直接刻まれることがないとされる痕跡と，そこから作り出されるイメージと

図3-3 ディピントゥーラ，ヴィーコの『新しい学』1744年版の口絵 前節で，プログラムという言語的記号が創造するアレゴリーによって，アイコンという絵画的記号が生み出されることが明らかになった．しかし，まだ，アイコンの性質は明らかになっていない．　 アイコンの性質を考察するために，フレッチャーがジャンバッティスタ・ヴィーコの『新しい学』を論じたテキストを参照する．ヴィーコの『新しい学』の巻頭には，一枚の銅版画の口絵，『ディピントゥーラ』が掲げられ，その後に，「扉頁の前に置かれている絵の説明」3-47) が書かれている． 地球儀，すなわち，自然の世界の上に立っている，頭に翼を生やした女性は，形而上学である．これが形而上学という名辞の意味であるからである．…… 真ん中にある地球儀は，つぎに自然科学者たちが観察することになった自然の世界を表象している．そして，上部にある象形文字は，最後に形而上学学者たちが観照するにいたった知性ならびに神の世界を表示しているのである．3-48 この口絵と説明としてのテクストの関係を，フレッチャーは次のように指摘する． ヴィーコは『新しい学』の図もしくは「口絵」つまり『ディピントゥーラ』で始めるとしても，彼は同時に，「本書の序論の役を果たすために口絵として置かれた絵の説明」という長大な文章──英語版で二十三頁──も提供してくれているのである．この「説明」は，『ディピントゥーラ』が二十三頁分を，ひいては『新しい学』全体を単一の複雑なイメージへ還元することを，言葉によって示しているのである．そうすることによって『ディピントゥーラ』は，時間的に引き延ばされた言葉の構築物を，共時的な象徴的手段によって兼務する．画像は一見したこところ覆すこともなく，テクストを図式化するのである．3-49) ここで，フレッチャーは，充分の長さをもった言語による「説明」自体が，自らを説明することによって，イメージへと還元していくと指摘している．それは，読んでいると，言語の線形性によって，不可逆的に築かれてしまう「時間的に引き延ばされた言葉の構築物」が，要素全体を同時に見せる旋回性を示す絵画的記号として圧縮されていくというプロセスである．この過程の中で，言葉の意味は，絵自らが生み出す「共在の秩序」に従って，配置されていく．そうして，言語による時間的な構築物は

既に述べたように，プログラミング言語とは，ユーザと対話するものである．同時に，CPU とも対話するものであるがゆえに，ヒトにとって不可解な記号となっていた．スミスは，私たちにとって異質なものとなってしまった言語的記号を，アイコンという絵画的記号で示すことで，コンピュータとヒトという異なる秩序をもったものの間に，新たな対話環境を作り出そうとした．やがて，この対話環境が「機械の中にある世界と，人間の中の世界をメタフォリカルに重ねていこうという考え方」3-36) に基づいて，アイコンは現実世界との類似が求められていった．その結果，コンピュータ・ディスプレイは，現実世界に類似していなければならないというアナロジーの原理によって生み出される絵画的記号によって支配され，コンピュータの逐次的情報処理が現実世界と比喩的に結びつけられたデスクトップ画面が生まれることになる． コンピュータを，ヒトの直観は視覚的なものであるという信念に基づいて，ケイは，ノイマンロジックによる逐次的情報処理を隠蔽することで，絵画的記号を表示するための平面を作った．その平面に，スミスがコンピュータを操作するための絵画的記号，アイコンを導入した．けれども，アイコンを表示することは，コンピュータにしてみれば，従来通りの言語的記号の逐次的処理の結果として生じているにすぎない．確かに，情報処理という観点からみれば，プログラムという言語的記号の指示によって，ディスプレイ上の点が塗りつぶされていくだけである．そして，その塗りつぶされたものを，ヒトが，言語的，絵画的記号のどちらかとして解釈する．この意味で，ディスプレイに映し出されているものが，絵画的記号か，言語的記号かを決めるのはヒトであって，コンピュータにとって，それは点の集まりにすぎない． しかし，ここで問題としたいのは，アイコンが，プログラムによって塗りつぶされた点の集合だということではない．この説明は，コンピュータがプログラムによって，アイコンを「どのように」ディスプレイに表示していくのかを教えてくれる．だが，ヒトにとって何万行もの膨大な言語的記号の集まりといえるものが，ディスプレイに表示される時に，「なぜ」絵画的記号の集まりといえるものになるのかは分からないままである．つまり，デスクトップ画面と呼ばれることになるインターフェイスのレベルで，プログラムという言語

スモールトークは，ゼロックス社のパロアルト研究所で，スミスの博士論文のアドバイザーでもあったアラン・ケイらのグループが作りだしたオブジェクト指向型のプログラミング言語である．その特徴は，互いに独立したオブジェクトと呼ばれるまとまりが存在し，その間を，メッセージが行き来することで，プログラムが実行されるということにある．それは，過去のプログラミング言語を改良したものではなく，プログラムにおける新しい概念を作りだしたものであったと，ラインゴールドとレヴィンは，次のように記している． スモールトークは，FORTRAN や COBOL の時代のバッチ処理を基本とする低性能の真空管コンピュータよりはるかに高速で，メモリも大きいトランジスタ・コンピュータを相手にする対話型プログラミングで育った世代が生んだ，最初の画期的成果である．スモールトークは，ソフトウエア・オブジェクトから構成される体系という新しいメタファーを提示した．ソフトウエア・オブジェクトのそれぞれが固有のデータと命令を内包し，命令を実行するというよりもメッセージを交換しあう形で演算処理をするのである．スモールトークは，また一つの新しい言語ができたという以上の意味を持っていた．コンピュータ処理とは何か，コンピュータに何ができるのかを新しい視点から考えなおす道を開いたのである．3-32) では，なぜ，スモールトークは，このようなまったく新しい視点を，プログラミング言語に提供することができたのであろうか．それは，オブジェクト内部の情報が，他のオブジェクトから隠されており，互いの情報に干渉することはできないという情報隠蔽の原理によると，春木は指摘している． オブジェクトは，実装の上からは単に内部の情報を隠蔽した構造体でしかないのですが，その情報隠蔽のメカニズムを併せ持つことによって得られる効果は非常に強力なもので，オブジェクト指向の持つ利点は，概ねこの情報隠蔽によって提供されているといっても過言ではありません．内部の具体的な実装情報を外部に隠蔽することによって，オブジェクトは「まとまり」としての扱いと，メモリ上に連続した記憶域を持つという実装としての扱いを分離することができます．3-33) 先に述べたように，ノイマン型のコンピュータにおいては，記憶は線形的構造をとり，逐次的にしか情報を処理できない．しかし，春木の説

少し前に、工学部の学生と、アップルはなぜ一つボタンにこだわるかという議論をしました。「もうひとつか二つボタンがあるだけで、格段に使いやすくなるのに」という学生に、iPhoneのインターフェースは「やってみればわかる」を基本にしているからじゃないかと私は答えました。 複数のボタンを機能させるためには、必ずある種の決めごとが必要になります。その決めごとは文字や記号で表示されることになり、それを理解しない限り、そのキーを使うことはできません。アップルはそういう言語的な決めごとを嫌ったのでしょう。 iPhoneを使いこなす赤子 in 山中俊治の「デザインの骨格」 「言語的な決めごとを嫌った」というフレーズ．文字や記号での表示をしないこと．直観的と言われていること．「やってみればわかる」．こうなってほしいと思って，やってみるとその通りになる．こうなって欲しいという元に，物理的世界での法則があるときが多いけど，厳密に考えてみると違う．あくまでもメタファー．メタファーの連なり．でも，もうメタファーですらないのかもしれない．もともとメタファーは，ヒトがコンピュータを使っていることを「説明」するために使ったものであって，コンピュータで起こっている事象そのものではない．メタファーなしでコンピュータでの事象を説明すること．説明するためのメタファーが見つからないのではくて，そもそも使うための説明自体が必要ないこと． すべてのものは何らかの仕方でメタファー的に理解されるものです．そのとき，すべての物事は，言語使用なかで使用可能性の圧縮，同一視，豊富化の手続きによって，いわば技術的に自立化されます．「メタファー的」という言葉をこの広い意味で理解するなら，メタファーに対して非難を向けられる筋合いはありません．しかしまたその場合は，一般化して，たとえば「過程」という概念もメタファー的であると言うべきでしょう．この概念は，社会学には哲学から，哲学には法学から，法学には化学から取り入れられたのでしょうか．この方向は逆かもしれませんし，わたしはそれほど厳密に跡づけることはできません．いずれにせよ結局は，すべてはメタファー的なのです．（p.125） システム理論入門：ニクラス・ルーマン講義録【１】 メタファー的ではなく，直接理解されること．右に指を動かすと，ディスプレイ上のイメージも右に動く

Mag+ (video prototype footage only) from Bonnier on Vimeo . このような電子書籍・雑誌はすぐそこまできているのでしょう．僕たちの手は本のページをめくってきた．本を開いて，その両端を親指で抑えたりしながら．指は，ページの端の方で，なるべく目立たないようにひっそりとしていた．ページをめくるときに，私たちの視界に入ってきても，すぐに端にいく手．じっとしている手．あまり動かない手．ページをめくる手．本を読んでいるときに，多くの時間をページをおさえる，そしてたまにめくるという行為を行っていく手． 下條 ：子供にとって本の中身よりもページをめくることのほうが重要だったりするように，文化的に見えるものの生理的な基盤が，見えにくくても動かしがたくある．新しいIT技術はそこをまったくマーケティングしていないですよ．つまり，既存のメディアの周辺的に見えるようなデバイスで，歴史的かつ技術的な制約としてしか捉えられていないもののなかに，じつは人間の生物学的な構造の基盤が反映されていることがあると僕は思っているんです．(pp.155-156) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム Mag＋の手，指は，せわしなく動き続ける．ここにはめくるという行為はない．ページは人差し指でスワイプされたり，親指でタップされると切り替わる．また，ページ上のイメージは，，人差し指で指されたれて，そのまま拡大されたりする．手はよく動く．私たちの視界の中に遠慮無く入り込んでくる．ページをめくることが「生物学的な構造の基盤」の反映なのか，Mag＋で行っているような手の動きがその反映なのかはまだわからない．しかし，ヒトが長い間ページをめくってきたことは事実である．それがただたんに代替のテクノロジーがなかったからなのかどうかが，今やっと実験できるときにきたのではないだろうか． Mag＋でヒトの手がせわしなく動くのを見ながら，私はディスプレイ上の→，カーソルのことを思った．コンピュータを使用している際に，私たちの手は視界の外にあるマウスなどのデバイスに置かれ，そこで比較的単純な行為を行ってきた．その単純な行為によって動かされているマウスは，せわし

Display Acts View more presentations from Masanori MIzuno . 論文題目： GUI の確立にみる「ディスプレイ行為」の形成過程 水野勝仁 論文内容の要旨 本論文は， GUI を行為の視点から考察することで，コンピュータが作り出す仮想空間において，抽象化されていくヒトの行為を，現実のヒトの身体と結びつけて考察することを可能にし， GUI の確立に至るプロセスの中で，イメージとヒトの身体的行為との関係が段階的に変化し，「ディスプレイ行為」という新しい行為を形成するに至った過程を示す研究をまとめたものである 身体的行為とディスプレイ上の「行為」 情報社会において，ヒトの行為が，コンピュータとの関わりの中で変化してきている．私たちは，コンピュータを操作するために，ディスプレイを見つめ，マウスを動かし，キーボードを打っている．見つめる先のディスプレイでは，手に握られているマウスに連動して，カーソルが動き，フォルダやゴミ箱を模したアイコンに重ねられている．ディスプレイ上のカーソルを動かすために使っているマウスは，ポインティング・デバイスと呼ばれ，ディスプレイ上のどこかを指さし，対象のイメージを選択するためのものである．しかし，マウスはその「ねずみ」という名前が示しているように，ヒトが今まで何かを指さすために使っていた，人差し指やペンなどの細長い棒状のものとはかけ離れた形をしている．にもかかわらず，私たちは，マウスを手にして，ディスプレイ上のカーソルを動かし，クリックや，ダブルクリック，ドラッグ＆ドロップなどと名付けられた「行為」を，ディスプレイ上に映し出されたデスクトップ・メタファーに基づいたイメージとの関係の中で，さも当然のように行っている． このマウスを握って動かすという身体的行為と，それと連動して起こるカーソルの「移動」や，ファイルの「選択」や「移動」といったディスプレイ上のイメージの変化によって生じる「行為」は， 30 年ほど前にグラフィカル・ユーザ・インターフェイス（ GUI ）やヴィデオ・ゲームが開発される以前にはなかったはずのものである．しかし， GUI によってコンピュータが一般化した後，私たちは，特に何の疑問も抱くこともなく，この新たな「行為」を毎日行っている．つまり，私たちの注意はコンピュー

最近，マウスを掴んで，ディスプレイ上のカーソルを動かして，クリックする繰り返しが，チェスのようなゲームに思えてきている．座標を指定することの連続．単純な行為の繰り返し．でも，いろいろなことがそこでは起こっている．ディスプレイ上のイメージに，私たちはアフォーダンスを感じるのか？　感じさせるために，ボタンのイメージに影とかつけてもっともらしくしているが，私たちは本当にそこにアフォーダンスを感じているのか．ただの座標指定にアフォーダンスなんて言葉は使えないのではないだろうか？　ただチェスのようにコンピュータがディスプレイ上にこのような手を提示したから，こちらもそれに応えて次の手を打つということの繰り返しなのではないか．チェスや将棋が立体の駒をなぜ必要とするのか？　座標指定をするために，何か掴める物理的なものをヒトが欲したにすぎないと考えられる．ただ，駒を掴みたかっただけなで，掴むと安心なのではないかと．物理的に安心しながら，ゲームの世界に没頭する．「掴む」ー「置く（チェス）／押す（マウス）」という単純な行為と単純に「規則に従う」ということ． 「パックマン」の動きは，チェスの一定の駒の動きにヒントを得ている．「パックマン・ゲーム」に精通したプレーヤーは，これらの一定の動き方を，他のプレーヤーがやっているのを見たり，本を読んだり，あるいは自分で見つけ出したりして，自分のレパートリーにしているのだ．とはいえ，チェスが定石通りにはいかないのと同じように，テレビゲームでもほんのわずかのあいだ操作の手を休めるだけで，定石が崩されてしまうことがある．そうなると，自分の運動神経とゲームの一般原則の知識 --- たとえば，それぞれの「モンスター」の行動のしかたや，迷路のなかに設けられた「安全な避難場所」など --- をたよりに，行き当たりばったりの戦法に出るしかない．けれども，「モンスター」の動きより機敏に考えなければ負けてしまうので，ゲームの一般原則も，定石的な動きと同じようにたんに知識として知っているだけではだめなのだ．思考以上のもの --- ある意味では思考を超えるものが要求される．ピアノを弾くとき，指は動き方を知っていて，自動的に動く．X という和音を弾いたあと，すぐに間違いなく Y という和音に移るのを，指が「知っている」かのようだ．テレビゲームでも，これに似た反射的動作

カーソルの先 View more presentations from Masanori MIzuno . 「カーソルの先」のメモ E. H. ゴンブリッチ『芸術と幻影』1972 すべてイメージの再認は投射や視覚的予期などとかかわりありとする可能性は，近年の諸実験の結果強まっている．もしもあなたが観察者に，指差している手とか矢を見せると，彼はなんとかしてその位置を運動の方向に移したいと思うものらしい．このように，予期のかたちで潜在的な運動を見ようとするわたくしたちの持っている性向がなければ，美術家たちは，静止しているイメージのなかに，速力の暗示を決してつくり出すことはできなかったであろう．(p.310) -- 奥井一満（監修）『ディスプレイの情報世界：シミュレーションと擬態の構造』1990 ディスプレイの効果とは知らず知らずのうちにある状況を安定させていくような効果です．そういう意味で，ディスプレイは，むしろシミュレーションに近い．シミュレーションに同質化する効果がある．A と A’ というようにまったく同質に近づけてしまう．ところが擬態は A と B が似たように見せる術です．この二つには本質的にちがいがある．擬態は同種間では少なくとも生物学的には意味がない．(p.264) 相手がわからない不安が出発点だから，それが確認できる状況になるまでもっていかなくてはならない．それが信号であり，ディスプレイなんでうすね．オスとメスと出会いの出発点に，「向こうから来る相手は何だろう」という不安がある配偶戦略としてはマイナスですから，それを明確にしていくために，初めから信号を出そうということになる．(p.271) 現代になって，エレクトロニクス・ディスプレイとでもいうべきディスプレイが生まれてきましたね． 奥井 それは人間の脳に似たような機械であるコンピュータの出現で，当然生まれるべくして生まれたものでしょう．CRT ディスプレイが出るまでは，コンピュータは紙に数字やドットで情報を打ち出していた．それまでは，いわば計算機，そろばんの進化したものでしかなかった． しかし，CRT ディスプレイによって，視覚的なものですが，人間との擬態的なコミュニケーションが可能になったんですね．それで人間と機械との間のディスプレイが開発されるようになったんですが，

I KEA の批評性はふたつある．まず第一に，ディズニーランドのように演出的でありながら，キャラクターのような記号に頼っていないこと．そして第二に，人々のふるまいを厳密に規定し，コントロールするように形態が決められていることである．IKEA ほど明快に形式化されていないにせよ，一般的に商業空間では全体を見渡すことのできる視覚的な一望性や，決まった通路を歩かせるなど身体的な局所性を定義する方法として建築が盛んに用いられているにもかかわらず，既存の建築論は視覚的なシンボル性や，「売り場」「倉庫」「通路」などの室名に還元されるような抽象的な機能と空間の関係以上の意味を発見してこなかった．(pp.88-89) グーグル的建築家像をめざして：「批判的工学主義」の可能性，藤村龍至 in 思想地図 vol.3 特集アーキテクチャ，東浩紀・北田暁大編 この文章を読んだ時に，私はディスプレイ上の矢印，カーソルのことを考えた．カーソルという普段矢印の形をしているものは，「キャラクターに頼らない」記号であり，矢印から時計や色鮮やかな風車，ペンなど様々に形を変えることで私たちのコンピュータへの振る舞いを厳密に規定している．「IKEA = 人間工学的建築の可能性」と書かれた少見出しのもとに引用した文章はある．私が研究している建築ではなく，ヒトとコンピュータとのインターフェイスであるが，そこでは「使いやすさ」という名のもとに，私たちの行為を「人間工学的」に分析している．その結果を用いて，私たちの行為を巧妙にコントロールしたインターフェイスが生み出されている． 私たちは，今まで，マウスやトラックパッドなどのデバイスと密接に結びつき動くカーソルを常に動かすことでコンピュータを使ってきた．手はデバイスを動かし，目はカーソルを追う．視線は手を見ることなくディスプレイ上のカーソルを見続け，手は目が見ているカーソルに基づいて動く．実際に動いている手を見ることなく，手とともに動くカーソルを見続けて作業を行う． マルチタッチ・ジェスチャーは，カーソルをディスプレイ上に置き去りにする．手の動きに基づいて画面上のイメージが動くのだが，カーソルだけはそのとき動かない．今までぴったりと手の動きに寄り添ってきたカーソルが全く動かくなる．カーソルの存在が突然，宙に浮いてしまう．私たちがジェスチャーを行った瞬間，今まで

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions

マジックマウスを買うまでは，MacBook のガラス製トラックパッドをよく使っていた．今も，このなめらかな表面をもつトラックパッドを気に入っているけれど．マジックマウスを使うことが多くなった．なんか手が伸びてしまう．マジックマウスの表面はプラスチックだから，多少ベタッとしていて指がひっかっかるので，ジェスチャーをしても気持ちよくないときが多少ある．でも，この「気持ちよさ」は，ガラス製トラックパッドに比べるということで，マジックマウスのジェスチャーにも満足している． で，結局，トラックパッドとマウスどちらにも満足しているにも関わらず，マジックマウスに手が伸びる．やはり，ヒトは物質的な何かを掴んだり，握りたいのだと思う．このことは 博論 で考えたことだけれど，何かを「掴んで動かす」ということはヒトの行為でとても重要なことなのだ．さらに考えると「掴む」という行為を行っているときの，指や手の平の組み合わせの仕方が重要なのではないか．当たり前だが，マウスを使っているとき，トラックパッドを使っているときとでは，手の使い方は全く異なる．コンピュータ上では，アイコンをドラッグするなど同じ「行為」を行っているにもかかわらず手の使い方は異なる．「能動的触覚（アクティヴタッチ）の生理学」という論文の中で，岩村吉晃氏はサルがどの指を使ってモノを握るかによって脳の体性感覚ニューロンの発火の仕方が違うことを示している．ヒトもサルと同じように，指の使い方と脳との間に関係があるのかどうかは分からないけれど，この岩村氏の指摘はトラックパッドとマウスなどインターフェイスを考える上でとても興味深い． 世の中にはものが数限りなく存在する．これらを手でつまんだり，持ち上げたり，あるいは道具として利用したりするとき，もっとも合理的な持ち方がある．これは相手の形によって違う．手のどの部分がどんな組み合わせで対象に触っているかが重要である．(p.172-173) 岩村 吉晃: “能動的触知覚（アクティヴタッチ）の生理学”, バイオメカニズム学会誌, Vol. 31, No. 4, pp.171-177, (2007) . コンピュータとの対話の中で，マウスが最も合理的なものかどうかは分からないけれど．マウスはデスクトップ・メタファーと結びついて一般化した．なぜ，マウスは「メタファー」という言語的要素と結びつ

ジェスチャー・インターフェイスに，言語起源を重ねて考えている．まだまだ漠然としていて，ただ単になんかつながりがあるかなくらいだけれど．ヒトの歴史における言語の起源と同じようなことが，ジェスチャーを用いたヒトとコンピュータとのインタラクションで起きるのではないか．新たな言語の起源に立ち会えるのではないかとワクワクしている． 言語は今や「人間の言語」を越え出るもの，いわば「超言語」へと発展するかもしれない．コンピュータ支援の「言語理解」研究，あるいは，ヒューマン・インターフェース研究の最近の展開がこのことを暗示する．(pp.224-225) 坂本百大（1991）『言語起源論の新展開』 オースティンの『言語と行為』を訳した哲学者・坂本百大氏の直観．対話する機械としてのコンピュータとの関係の中で，今までの言語とは異なる形式が出てきてもおかしくは無いと思う．あと， 前にも引用した けど．タンジブル・ビットの石井裕氏の言葉． コンピュータをマウスで操作するインターフェースは，ブラックボックス化されていて，そこで何が起こっているのかがわかりにくい．しかし，それがジェスチャーになれば，例えば指揮者のタクトの動きでバイオリニストが音を奏でるといったような，ものごとの因果関係の連鎖が目に見えるようになる．ジェスチャーによるインターフェースの研究は，モノ，スペース，ボディーをシームレスに繋ぎ，そこに全く新しいパラダイムを打ち立てようとするものなのです． マサチューセッツ工科大学 メディアラボ タンジブル・メディア・グループの「ジェスチャー・インターフェース」：空間的広がりを持つダイナミックなインタラクション AXIS 2009.8 vol.140 石井氏が言っている「新しいパラダイム」が「新しい言語」を生み出す．文字ではなくて，行為に基づく言語，もともとジェスチャーと呼ばれているもの．新しい言語が制作されていくプロセスの中にいるという意識をもって， iPhone など身近なジェスチャー・インターフェイスも含めた多くの事例を経験し，分析していくこと． 私たちが世界を把握するために使っている言語を第一言語として，それに基づいて第二言語としてのジェスチャー・インターフェイスを作る．「 第一言語と第二言語 」は，アメリカの哲学者ネルソン・グッドマンが使ったもの．言語起源におけるグッドマン

ジェスチャーがヒトとコンピュータとのインタラクションに用いられることによって，「時間感覚の一致」が起こる．ボタンを押すだけでは得られない「時間感覚の一致」をヒトが感じて，行為とイメージとの一体感が高まる（ 時間感覚の一致 ）．そんな中，ジェスチャーをしたのに，イメージが対応してくれず「ヒューララ感覚」に襲われる（ 「なかったことにされる」行為 ）．「時間感覚の一致」が起こっているだけに，この「ヒューララ感覚」は，ボタンを押すことの積み重ねで生じたデータが跡形もなく消え去ったときとは，また異なるスカッと，空振り感があるような気がする．例えば，マルチタッチ・ジェスチャー対応のトラックパッドで iPhoto の写真を「回転」させようとして，２本の指をくるっと回したのに，なぜか写真が動かなかったり，拡大されてたりするしたときには，思い通りにいかない悔しさみたいのがある．ボタンを押し続けて生じた蓄積されたデータが消える，つまり少し過去のことが跡形もなく消えてしまう「やるせなさ」ではなくて，もしくは，ボタンを押すというのが一瞬の行為であるがゆえに，いつもちょっと遅れてその行為のリアクションをディスプレイ上のイメージから受け取る感覚でもなくて，「リアルタイム」で思い通り動かない「悔しさ」など何かしらの感情が生じることが，ボタンを押し続けることとジェスチャーとの違いかもしれない．それは，ボタンを押すことには「押す／押さない」という選択肢しかないのに，ジェスチャーには微妙な調整を行う余地が残されていることが関係しているのかもしれない． English is writing....

どんな風に触れているのだろうかと思って，MacBook のガラス製のトラックパッドを使っている手を撮影してみた．ガラス製の滑らかな表面で，指を動かす．引っかかりがほとんどないので生理的に気持ちよい．１本指で触っているときは，指の動きとカーソルの動きが対応している．で，２本にすると，カーソルはピタッととまり，スクロールがはじまる．スクロールに対応していない領域で２本指にすると，カーソルだけとまって，スクロールは起こらない．なにも起こらなくなってしまう．スクロールをしようと思っていたときに，スクロールが起こらず，カーソルも動かない．なんか，スカッと行為が抜けてしまったような感覚．３本指，４本指のときの操作も，それに対応したディスプレイ上のイメージの動きが生じないと，なんか自分が行った操作がとても空虚な感じになる． 空虚な感じは，操作している指の動きだけを見ていても感じた．何をしているのだろうかと．ディスプレイ上のイメージの動きと結びついていることは知っているので，それとの対応を確かめつつ撮影した映像を見ているのだが，それでも何か指の動きには空虚なものを感じてしまう．モノの表面を，ただ撫でているというか，触っているだけ．と書いていて，Jamiroquai の PV で，Jay Kay がよく動くけど通路も動いて何か妙な感じを出している出しているものがあったような気がして YouTube で見てみた．改めて見てみると，Jay Kayではなくて，部屋においてあるソファとかとても床の上をとても滑らかに動いていた．この曲のタイトルは「 仮想の狂気（Virtual Insanity） 」であった．ちなみに，1996年の作品．私は，トラックパッドに狂気を感じはしないけど，空虚を感じた．それは昔，藤幡正樹さんの言っていた物質的なモノを残さず跡形もなくなくなってしまう「ヒューララ感覚」かもしれない．でも，行為自体はなくなっているわけではないのだから，少し違うかもしれないが．もしかしたら，今までの意味での「行為」がなくなっているかもしれない．「かもしれない」が続いたが，ヒトとコンピュータとの関わりの中で，物理的なモノだけでは成立しない行為が増えてきていることは確かである．だから，物理的行為を試しても，ディスプレイ上のイメージという新しい次元が対応してくれないと，物理的行為自体がなかっ

河津
 Ｗｉｉリモコンを振るとき、
振りはじめてから、振り切るまで
ほんのわずかですけど時間が生じますよね。 岩田
 ボタンのオン／オフだと一瞬ですけど。 河津 でもＷｉｉリモコンを振ると、
その時間感覚と画面に表示されている時間感覚が一致するので
よりシンクロ度が高まっていくことがわかってきたんです。
そこで、実際につくっていくと、カラダを動かすことで
その時間が主人公の動きと一致するという、
そういった感覚がすごく感じられるようになりました。  リアルタイムな『ファイナルファンタジー』 この指摘は，マルチタッチ・ジェスチャーにも通じるところがあるかもしれない．何かしらの生物がメインキャラクターになっている，ゲームにおいては，ユーザとキャラクターとの一致，河津さんが言っている「時間感覚の一致」が体験しやすい．では，キャラクターがいない，コンピュータのインターフェイスではどうか．ここでも「時間の一致」を感じているのだろうか？ あくまでも感覚でしかないのだが，ジェスチャーの方は，ディスプレイ上のイメージの動きと手の動きが結びついている感じがする．Expose で複数のウィンドウが動いているときに，それぞれの動きと手の動きが連動している感じ．ボタンで Expose を行うと，ボタンを押した後のウィンドウの動きは，コンピュータがやってくれているという感じ．自分とは関係のないものと思っている．だから，ジェスチャーでやったときは，手を手前に引けば引くほど，ウィンドウが小さくなるのではと，意識の片隅で思っている．ボタンのときは，ウィンドウの動き，所定の位置に停止すれば，それはそれでお終いという感じ． 物理的なボタンを押すという感触と，ディスプレイ上のイメージと自分の手とが連動しているような感触．今までは，物理的なボタンを押す感触しかなかったわけだから，イメージと自分の身体との連動するという感覚によって，ボタンを押すということが相対化される．ボタンを押して，何かをするというか，「何かをしまくる」と言った方がいいと思うのですが，ボタンを押しまくって，いろいろな行為をしている私たちにとって，ヒトの歴史の中で，ボタンを押すということがどういう意味を持つのかも，ハイデッガーのように悲観的ではない形で，マルチタッチ・ジェスチャーを考えていくとうっすらと見えてくるかも