デスクトップ・メタファーと「ディスプレイ行為」 

ここで,デスクトップ・メタファーが生み出されたパロアルト研究所に考察の対象を移したい.なぜなら,この研究所において,ディスプレイ上の対象物を指さすための道具であったマウスに,次々に新たな行為が付け加えられることになるからである.

パロアルト研究所では,1973年に,アルト(図4-4)と呼ばれるシステムが開発された.アルトは,アラン・ケイや,バトラー・ランプソン,チャールズ・サッカーが中心となって開発された実験的なワークステーションであり,その大きな特徴は,ディスプレイ上のピクセルがメインメモリのビットに対応するビットマップ方式を採用していたことである.この決定は,ヒトが環境の情報を最も捉えることができる視覚を重視したインターフェイスを提供することが,マシンとソフトウェアの最大の目的であるという開発者たちの認識から導かれたものであった.そして,アルトのインターフェイスでもうひとつ重要なことは,ポインティング・デバイスとして,マウスが採用されたことである.当時,マウスは,入力デバイスとしては馴染みの薄いものであったが,スチュワート・カードによる実験によって,マウスが,ディスプレイ上の対象を指示するのに最も適したデバイスということになり,標準装備されることになった.4-42) 視覚重視の考えと,ヒトの手の原初的な感覚をコンピュータに持ち込むマウスという道具が,アルトというワークステーションで出会うことになる.

    図4-4 ゼロックス社 アルト

視覚重視のアルトは,ディスプレイ上のイメージを自由に表示することができた.このことは,ディスプレイ上のイメージが示すアフォーダンスの直接的な知覚に基づく指さし選択行為とマウスとの関係に影響を与えた.

エンゲルバートのシステムでは,マウス・カーソルのイメージは,単なる点であった.しかし,アルトでは,カーソルの形は,矢印(→)になる.カーソルの形が,矢印ではなく点であっても,ディスプレイ上のイメージを指さす選択行為を遂行することはできる.では,なぜ形が変わったのか.それは,ディスプレイ上のイメージを自由に表示できるようになっために,指さし選択行為の遂行に,より適したアフォーダンスを示すイメージを表示するようになったと考えることができる.

ここでは,身体的行為を導くアフォーダンスとディスプレイ上のイメージが導くアフォーダンスの間に変化が起こっている.エンゲルバートの点の形をしたカーソルは,単なる画面上の染みかもしれず,それが何かを指さすためのイメージであることの手がかりを,私たちに与えない.だが,アルトの矢印の形をしたカーソルは,ディスプレイ上のイメージを指さす行為を遂行した最終の状態(アイコンに重ねられるカーソル)を示してはいないが,その状態へのプロセスの一部を表象している.ディスプレイ上のイメージを自由に表示できるようになっために,ディスプレイ上のイメージが示すアフォーダンスに従うことによって到達するであろう最終の状態の表象を,私たちに思い起こせさせるようになったのである.それは,マウスが,指さしによる選択行為だけでなく,他の行為を,ディスプレイ上のイメージに誘導されて遂行できるようになることを意味している.ディスプレイ上のイメージが半ば強制的に私たちの行為を導くようになるのである.

マウスが示すアフォーダンスが,ディスプレイ上のイメージが示すアフォーダンスに受け渡される.受け渡され後,私たちはディスプレイ上のイメージとの関係の中で,行為を遂行していくのであるが,マウスと手はその間,常に接触している.マウスと触れ合っている手から生じる「掴む」という身体感覚が,ヒトに与えられ続ける.この感覚は,イメージとヒトとの関係の中で,感じにくくなっている.しかし,確かに,存在する.

従来は,身体感覚とその感覚をもたらす表象,イメージは一致していた.けれども,マウスとディスプレイ上のイメージとの間には,この一致を見出すことができない.しかし,アルトは,イメージを自由に表示することが可能であったため,マウスの身体感覚が蓄積されていく中で,アルトを使用したヒトたちは,この感覚と合致した表象を作り出すようになっていったのではないだろうか.

アラン・ケイとアデル・ゴールドバーグは論文「パーソナル・ダイナミック・メディア」の中で「プログラム経験のまったくない少女が,ポインティング・デバイスで画面に絵が描けないのは,おかしいと考えた.彼女はわれわれのプログラムをまったく見ずに,スケッチ・ツールをつくった」4-43) という報告をしている.この少女の例が示しているのは,マウスがものを握って動かすというヒトの手の感覚を持ち込んでいるのに,なぜ位置の指定,指さし行為しかできないのかという疑問である.彼女をはじめとして,視覚重視のアルトでマウスを使用した多くの人が,ディスプレイ上で起こっている視覚的出来事と,マウスを握る自分の手の感覚との間に,ズレを感じていたと考えることができる.スケッチ・ツールを作った少女は,ディスプレイ上のカーソルを,マウスを通じて握っている絵筆と見立てることで,このズレを解決したといえる.ケイとゴールドバーグもこの感覚を示すように,「ブラシは“マウス”でつかみ(grabbed),インク壺に浸し,ブラシの大きさと形や,ブラシを動かすスピードにしたがって,ハーフトーンの線を描くことができる」4-44) と書いている.

ここで起こっていることは,ディスプレイ上にメタファーを経由した表示を行うことによって,「私たちの経験と理解(私たちが「世界をわがものとする」仕方)が整合的で意味あるものとして構造化され」4-45) ることである,その結果,マウスによって持ち込まれた手の感覚から生じる身体経験とディスプレイ上のイメージの間に生じる感覚のズレが埋められるのである.マウスを掴んでいるという感覚,ものを掴んでいるという感覚の,ものの部分をディスプレイ上のイメージによって変更すること.掴む感覚に基づいて作り上げられる表象を,ディスプレイ上のイメージとして映しだすことで,掴むことからはじまる行為の最終的な表象を,私たちに提示すること.この行為と最終的な行為との間に整合性を与えるのが,メタファーの力なのである.そして,デスクトップ・メタファーは,マウスを操作することによって,コンピュータに入り込んだ身体経験を有効にまとめ上げた視覚的表現のひとつなのである.

このことを明らかにするために,まずは,デスクトップ・メタファーの原型となる「オーバーラップ・ウィンドウ」と呼ばれるシステムをみていきたい.オーバーラップ・ウィンドウは,アラン・ケイが,当時のどのコンピュータにもあふれていた「モード」をなくすために開発したシステムであった.モードとは,現在の状況を表すもので,例えばワープロにおける「入力モード」と「編集モード」といったものを指す.同じキーを押しても,モードによってまったく違った結果になってしまうので,ユーザは,自分がどのモードにいるのかをいつも意識していなければならないという厄介なものであった.このモードを追放するために,ケイは,ウィンドウの重なりをマウスで入れ換えることを用いた.なぜなら,「ウィンドウを使う直感的なやり方は,マウスでウィンドウを「一番上」に持っていく(bring)ことで,アクティブにするというものだった」4-46) からである.そして,この一連の流れが,ユーザにとって,自然な行為に見えるので,そこにモードがないような錯覚を生み出すことになった.このケイによるモード追放の解決策は,スクリーンを「机」と考え,ウィンドウを机の上に折り重なっている「紙」と見立てたもので,後にティム・モットが提案することになる「デスクトップ・メタファー」の原型であった.

ここで,マウスとメタファーという視点から,ケイのオーバーラップ・ウィンドウを考えると,興味深いことが浮かんでくる.それは,マウスでウィンドウを一番上に「持ってくる(bring)」と,ケイが考えていることである.ここでは,マウスの役割が,ただディスプレイ上の文字やイメージを指示して,選択するだけではなくなっている.なぜなら,選択するという感覚よりも,マウスがウィンドウを「持って」,一番上に移動させるという感覚が前面に出て来ているからである.これは「持つ」という身体経験が,コンピュータの論理世界に入り込んでいたことを示唆している.ケイは,私たちがマウスを手全体で持っている感覚から,論理の世界に生じた「持つ」という身体経験を利用するために,ひとつのメタファーを作り,それを視覚的に表現したのである.

次に,デスクトップ・メタファーへと直接つながるアイデアをみていきたい.ティム・モットは,アルトを使用して,グラフィック・デザイナーのためのページ・レイアウトシステムのデザインを考えていた際に,次のような閃きを得たと述べている.
私は,オフィスで何が起こるのかを考えていた.誰かが,書類をとって,彼ら・彼女らは,それをファイルに入れたいので,ファイル棚の方へ歩いていき,それを棚に置いてくる.もしくは,書類をコピーしたくて,コピー機のところへ行って,コピーをするかもしれない.また,彼ら・彼女らは,書類を捨てたくて,机の下に手を伸ばして,ごみ箱にそれを捨てることもあるだろう.

そんなことを考えながら,私は興奮して座っていた.バーのナプキンに最後に書かれたものは,私とラリーが「オフィスの概略図」と呼ぶものであった.それは,ファイル棚,コピー機,プリンターやごみ箱といったアイコンのセットであった.メタファーは,マウスで書類を掴み(grab),スクリーン上を動かす(move)といったものであった(図4-5).私たちは,それをデスクトップとは考えず,オフィスを動かされる書類として考えていた.それらは,ファイル棚に落とすこともできるし,プリンターの上で落とすことも,また,ごみ箱の上で落とすこともできた.4-47)
    図4-5 モットによって再現されたメモ

モットのこのアイデアが,アイコンによるプログラミング環境を作り出したディビッド・スミスのピグマリオンと結びつくことで,デスクトップ・メタファーとなるのであるが,ここで重要なことは,モットが「メタファーは,マウスで書類を掴み(grab),スクリーン上を動かす(move)といったものであった」と,マウスがもたらす身体感覚を強く意識していることである.このモットの言葉は,マウスがコンピュータに持ち込んだ,何かを握って動かすという手の感覚から生じる身体経験が,デスクトップ・メタファーと固く結びついていることを明示している.

また,モットは,デスクトップ・メタファーのひとつの特筆すべき点として「シンプルな2次元のアイコン」による表現を上げている.4-48) このことから,デスクトップ・メタファーの目的が,現実に似せた環境をコンピュータに移すことではなかったことが伺える.つまり,モットのメタファーの核は,コンピュータが表示するものをオフィスのようにするのではなく,マウスによって持ち込まれたものを掴んで動かすというヒトの身体経験に最適化した視覚表現を作り出し,コンピュータを操作することにあったといえる.その際,マウスによる行為を,オフィスという現実空間での行為に見立てる段階を経由させることで,ヒトの身体経験とコンピュータの論理世界とがスムーズに重ね合わせられているのである.

デスクトップ・メタファーが生み出される過程で,コンピュータ・インタフェースのデザインにおいて実践されているのは,マウスを使っているときの手の感覚から生じる身体経験を,メタファーの力をかりてまとめ上げ,それと合致した視覚的表現をコンピュータの論理世界に作ることである.だからこそ,私たちは,マウスで,ウィンドウを一番上に「持ってくる」ことや,書類を「掴んで」,ごみ箱の上に移動して「落とす」ことを,私たちはとても自然に感じるのである.マウスとデスクトップ・メタファーによって,ヒトの身体経験の基本レベルが,コンピュータの論理世界に意味あるかたちで重ねられた結果,私たちはマウスを操作することによって,ディスプレイ上のイメージを指さす選択行為を遂行することで,ものを掴んだり,絵を描くといった行為を,コンピュータの論理の世界で行えるようになったといえる.それは,マウスによる「掴む」という身体感覚に基づいたメタファーによって整合性を与えられたディスプレイ上のイメージが,アフォーダンスの直接的な知覚に導かれる指さす選択行為を,「ディスプレイ行為」に形成していくことなのである.

←この前:マウスとカーソル:カーソルによる「選択行為」

4-42)
チャールズ・サッカー,「パーソナル分散コンピューティング」,『ワークステーション原典』,村井純監訳,浜田俊夫訳, アスキー出版局,1990,pp.308-309
図4-4
Mac History, http://www.mac-history.net/computer-history/2008-10-30/rich-neighbor-with-open-doors-apple-and-xerox-parc (2008.12.21アクセス)
4-43)
アラン・ケイ&アデル・ゴールドバーグ,「パーソナル・ダイナミック・メディア」,『アラン・ケイ』, 鶴岡雄二訳,浜野保樹監修,株式会社アスキー,1992,p.50
4-44)
同上書,p.44
4-45)
マーク・ジョンソン,『心のなかの身体』, 菅野盾樹・中村雅之訳, 紀伊国屋書店,1991,pp.211-212[引用者により訳文を一部変更]
4-46)
アラン・ケイ,「ユーザーインターフェース:個人的見解」,『ヒューマンインターフェースの発想と展開[新装版]』,上條史彦・小嶋隆一・白井靖人・安村通晃・山本和明訳,ピアソン・エデュケーション,2002,p.157[既存の訳を参照に,引用者が翻訳]
4-47)
Bill Moggridge, “Designing Interactions”, MIT press, 2006, p.53
図4-5
Ibid., p.52
4-48)
Ibid., p.54

このブログの人気の投稿

「サブシンボリックな知能」と Doing with Images makes Symbols

マジック・メモ:行為=痕跡=イメージの解体可能性

インスタグラムの設定にある「元の写真を保存」について

画面分割と認知に関するメモ

『はじめて学ぶ芸術の教科書 写真2 現代写真ー行為・イメージ・態度』への寄稿

2021~23年度科研費「生命の物質化・物質の生命化に関する理論調査と制作実践」成果報告会

出張報告書_20150212−0215 あるいは,アスキーアート写経について

メタファーと身体の関係

2046年の携帯電話と2007年のスマートフォンのあいだにある変化(1)

MASSAGE連載09_小林椋《盛るとのるソー》 ディスプレイを基点に映像とモノのあらたな「画面」状態をつくる