見ているモノは触れているモノか？（４）
--
二重記述
カーソルの形が←から風車に変わっても，私たちの手元にあるマウスは変わらずに在り続ける．しかし，マウスを通してディスプレイ上でできる行為は異なっている．私たちは風車を動かすことはできずが，何も指さすことはできなくなる．ディスプレイ上に見えるイメージはときに私たちの意思に沿ってときに勝手に変わるが，マウスなどのポインティング・デバイスは何も変化しない．見えているイメージは変化するが，触れているモノは変化しない．このことを私たちはごく自然に受け入れ，行為を変化させる．ここでは見えているイメージの変化が触れているモノには影響を与えないが，行為を変更している．しかし，私たちは昔から見えているモノと触れているモノとの変化が一致していた世界に生きてきたはずである．ディスプレイ上のイメージであっても，マウスというモノを通じてそれに介入出来る以上，イメージの変化はモノに影響を与えているべきではないのだろうか．
二つ以上の異なった感覚器の集めるデータが組み合わされるときの二重記述のケースは，すべてこの一節に集約される．マクベスはまず，触覚でチェックすることによって，この短剣が幻影に過ぎないことを一応“証明”するが，それでもなお疑いは晴れない．彼の眼が，“他の感覚すべてを凌いでいる”かも知れないからだ．短剣に“血のしたたり”が現われてはじめてマクベスは“こんな剣があるものか”と断定するのである． (p.99)
ユーザ・インターフェイスにおける「あることとなすことの問題」，つまり「見ることと触れることの問題」を考える際に，ベイトソンが提示する「二重記述」という概念は有益である．私たちは視覚や触覚をそれぞれ別個に考えがちだが，それらは時間差で認識に大きく影響を与えるのである．今まで，ユーザ・インターフェイスの領域では「見る」ことが注意が集中していた． 例えば， What You See Is What You Get（あたなが見るモノはあなたが得るモノ）で重要なのは，ユーザが行ったことが適切に視覚化されることである． また，GUI を説明する概念として有名な「直接操作」を提唱したベン・シュナイダーマンは，興味のある対象や行為の結果を素早く適切に視覚化することが重要であると書いている．
ジョージ・レイコフとマーク・ジョンソンも「直接操作」という言葉を使っている．彼らはインターフェイスに関してではなく，メタファーにおける概念操作に関してこの語を使っているのだが，「直接操作」という語をシュナイダーマンとは異なる角度から見てみるために参照したい．レイコフとジョンソンは「直接操作」は因果関係を作る基盤となっていると考えている．そして，「直接操作」は私たちの経験の基盤であり原初的なものであるとしている．シュナイダーマンからレイコフとジョンソンを経由して私が言いたいのは，「直接操作」が「見る」ことと「触れる」事との間に因果関係を作り出し，その関係の中に私たちを取り込むように設計された行為だと考えるべきだということである．
ソーレン・ポルドは GUI と因果関係とを結びつけ考察を行っている．ポルドは，GUI にとってボタンは必要不可欠な要素だと指摘し，次のように書く．
インターフェイスでボタンを押したとき，── つまりマウスを動かし，手の表象をボタンの表象へと向けて，クリックやダブルクリックでスクリプトを起動させる ── 私たちは自分が象徴的な表象の幾つかの層を操作していることをある程度知っている．（中略）それは機能をソフトウェアがシミュレートしたものであり，このシミュレーションは，その機能があたかも正当な因果関係の中での自然で，機械的なものであることを示すかのように，その媒介された性質と行為を隠す． (p.31)
ポルドによるこの指摘は重要である．なぜなら，自分たちがいつもと違う行為をしているにも関わらずそれを受け入れているのは，その行為とそれに関わるイメージが因果関係をシミュレートするようにデザインされていることを示しているからである．ここでディスプレイ上に見ているのは，いつも変わらないボタンを押すという行為である．しかし，実際に行われているのは，カーソルという手の表象をボタンの表象へと向けるために，マウスというモノに手をのばして，クリック・ダブルクリックをすることである．しかし，この画面上のボタンを押すことが示す因果関係の中に，マウスによるクリックという行為とそれを構成するカーソルやアイコンというイメージは取り込まれ，その存在が隠されることになる．
カーソルとマウスを別の視点から見てみたい．メディア・アーティストの藤幡正樹はコンピュータは物質性をともなっていないので，物理世界での関係を問うこと自体が成立しないと指摘して，次のように述べる．
ゴミ箱がゴミ箱に見えるためには，いらなくなったものをそこに持っていったときに，パシュッと消える場所であることを繰り返し体験させる必要がある．その出来事によって初めてゴミ箱が出現するのです．要する，インタラクティブな体験が起こることによって，初めてたただのイメージがシンボル（オブジェクト）になるのであり，記号として発生して立ち上がっていくんだと思うんですね．こういう出来事が，言語による体験とは異なった場所で，非常に具体的にユーザー自身が起こしていくということで発生しているということが，面白くてしょうがないのです．(p.117)
藤幡正樹：不完全さの克服 イメージとメディアによって創り出される，新たな現実感．
繰り返しの行為の中で，イメージがシンボル（オブジェクト）になると藤幡は言う．また，別のところで藤幡は次にように書く．
デジタル・メディア上のイメージが物として看取できるのは，その背後にそれを支えている関係性が提示されたときではないだろうか．それ自体のデータだけではなく，そこに至るまでの因果関係が定義されている必要がある．一見意味のわからないイメージであったとして，つまり，その背後の関係性がそのデータを見ただけでは理解できない状態であっても，それとインタラクティヴな環境を通して戯れることで，イメージの背後にある関係性が見えてくるときに，イメージに明確な意味が生まれ，イメージがイメージではなくなるのだ．
因果関係が定義されているときに，イメージはイメージでなくなり，モノになると藤幡は書いている．同じ行為を何度も繰り返し，同じ結果が出て来ることで，私たちはそこに因果関係を認める．すると，そこにあるイメージはモノになり，私たちが行為をする対象になる．GUI にはボタンを押すと何かが起こるという物理世界の因果関係が持ち込まれているとポルドは指摘していた．このディスプレイ上のシミュレートされた因果関係が，モノとしてのマウスを起点とする私たちの行為を隠蔽していたのだが，繰り返し行為を行うことで，シミュレートされた因果関係を示すイメージがモノへと変化する．物理世界の因果関係のシミュレートがディスプレイに持ち込まれ，それが繰り返される中で，イメージをモノへとして受け取る因果関係を私たちは採用するようになる．最初の物理世界の因果関係のシミュレートによって隠蔽されたマウスというモノを起点し，カーソルとその他のイメージが作り出す世界に因果関係を認め，それらをモノとして受け取ること．
私たちは採用する因果関係を切り替えているのだ．マウスというモノが，カーソルというイメージにつながる因果関係から，マウスというモノがカーソルというモノにつながる因果関係へと．最初にカーソルというイメージの変化が，マウスというモノにどのような影響を与えているのかという問いを設定したが，それは成立しない問いだったのだ．マウスとカーソルとはひとつのモノであったのだ．ここではたとえ直接的ではなくても，見えるモノが触れるモノなのである．見えているモノがいかに物理的にあり得ないことであっても，たとえマクベスが“こんな剣があるものか”と断定しても，それにつながる物理的なモノに触れている限り，それはありつづけ，何かをなしつづけるのである．
--
関連するエントリー：アウトライン＋メモ：カーソル／身体性の「ある｜なし」／モノ｜データ｜映像