ペンからマウスへ：ヒトとコンピュータとの共進化
スケッチパッドを開発した二年後の1965年に，サザーランドは「究極のディスプレイ」という論文を書いている．このテキストの後半部分は，ヴァーチャル・リアリティの登場を予言したものとして有名なのだが，前半部分には，コンピュータと向き合う際に必要とされるヒトの行為と当時の入力デバイスの状況が書かれている．2-45)
サザーランドは，安価で，信頼性もあり，電送可能な信号を容易に発生させられることから，タイプライターのキーボードがコンピュータの入力の装置の基本となっていることを指摘する．2-46) さらに，キーボードがインターフェイスの基本となるにちがいないので，ユーザはタッチタイプを習得しなければならないという予言までしている．そして，その他の入力デバイスとして，スケッチパッドで用いたライトペンと，ランド社が開発したタブレットを挙げ，この二つのデバイスは，ディスプレイ上の対象を選択することと，コンピュータで何かを描くことを行うのにとても便利だと書いている．2-47)
ここで，サザーランドは選択行為と描く行為を遂行するための道具としてライトペンとタブレットを挙げているのであるが，コンピュータのプログラムで一番必要とされるのは，ヒトがディスプレイのどこを指さしているのかを知ることであると指摘する．2-48) 描く行為が，ディスプレイ上の点を指さすという選択行為によって構成されていることを，サザーランドは認識していた．この認識を持ちながらも，サザーランドは，選択行為を描く行為で遂行するという方向でスケッチパッドを開発し，行為を遂行する形式に，「ペン」で「紙」に向かって描く行為を踏襲したものを採用した．スケッチパッドが描く行為の形式を採用していることに関して，ティエリー・バーディニは興味深い指摘をしている．
スケッチパッドのスタイラスは，ユーザーの手と目を画面上の表示と結びつけた．ペンは，杖の先の目と画面上のペンという，両方の役目を果たしていたと言える．したがってこれは，電信技術からタイプライターまで，目で見たものから手でやることを切り離すように進んできた入出力技術の歴史の趨勢を逆転させるものだった．2-49)
ここで注目したいのは，バーディニが，スケッチパッドでは，行為を遂行する面とイメージを表示する面が同一なのに対して，タイプライターではそれぞれが切り離されて別の面となっていると指摘している点である．
確かにスケッチパッドでは，選択行為を遂行する面と，その行為の結果が表示される面は同一である．しかし，ライトペンは，「ペン」という形式は保っているが，実際には描く行為のための機能を果たしていない．それはただ単に「杖の先の目」として選択行為を遂行するために機能しているにすぎない．それゆえに，スケッチパッドでは，手と目は同一平面に集約されているのは事実であるが，そこでペンを持つ手によって遂行されているようにみえる描く行為は，実際は，目でみる選択行為なので，「拘束」の概念に基づいた手の行為の軌跡とその結果映し出されるイメージとが一致しない表現が可能なのである．
以上のことから，スケッチパッドでも，目で見るものと手でやることとは切り離されていると考えられる．にもかかわらず，バーディニが，スケッチパッドが「入出力技術の歴史の趨勢を逆転させるもの」であるとしてしまうのは，バーディニが，スケッチパッドで遂行されているのが描く行為ではなく選択行為になっていることを見逃しているからである．スケッチパッドで起きている手と目の分離が選択行為に基づいて起こっているために，手と目が行為を遂行する面が分離していなくても，「目で見たものから手でやることを切り離す」ことが可能になっているのである．
ここでスケッチパッドと対比されているタイプライターを考えると，この道具は，文字を描く行為を，ボタンの選択行為に変えたものだといえる．よって，ペンで文字を描くときには，その先と紙とが触れ合っているところ見ながら，ペンを導いていく必要があるのに対して，タイプライターでは，ボタンの位置を憶えてしまえば．それを押すところを見ることなく行為を遂行できる．このように，タイプライターは，描く行為を選択行為に変更したすることで，行為遂行面とイメージ表示面とを分離させているようにみえる．
しかし，タイプライターを，行為＝痕跡＝イメージの関係から分析すると，この道具は，行為＝痕跡＝イメージを保持したメカニズムのまま，行為が遂行される表面と，イメージと痕跡が表示される表面を二つに分離したものだといえる．なぜなら，あるひとつのボタンを押した行為の力が，そのままの形で，文字のハンマーにつながり，インクリボンを通して，印字面に伝わり，それが痕跡になり，イメージとなって，私たちに表示されるからである．行為の力そのものは変更せずに，その方向だけを機械的に変更することで，行為遂行面とイメージ表示面とを分離させているのである．
ここでまた，スケッチパッドとタイプライターとを対比させると，タイプライターが選択行為を通して描く行為を行うの対して，スケッチパッドは描く行為を模した選択行為を行うと考えることができる．
このスケッチパッドとタイプライターの双方からの影響を受けて開発されたのが，ランド社のタブレットである．その開発をまとめたキース・アンキャファーは，スケッチパッドと同様に，ディスプレイの表面で直接，選択行為をすることを試みたが，行為を遂行する私たちの手が邪魔になったので，タイプライターを参照して，選択行為を遂行する面とイメージの表示面を切り離したとしている．2-50)
このことは，タイプライターが，行為の力をそのまま伝えるという形で，行為遂行面とイメージ表示面の間に対応関係を形成していたように，この二つの面の間に一定の対応関係を作れば，分離させることが可能であることを示している．タブレットは，手の代わりとなる光の点を，ディスプレイに表示することで，この分離を可能にした行為遂行面とイメージ表示面との対応を作り出している．スケッチパッドでも，ライトペンが指さす先に十字が表示されていたのだが，行為遂行とイメージ表示が同一平面で行われていたために，それが見えにくくなっている．ライトペンの先に，その十字が表示されているのだから，私たちの手などでそれが見えにくいのは当然である．逆に言えば，タブレットは，この見えにくさを，タイプライターという行為遂行面とイメージ表示面を分離した道具を参照することで，自然なかたちで解体してしまったといえる．
スケッチパッドが，行為＝痕跡＝イメージの関係を解体して，描く行為を選択行為へと変え，タブレットが行為遂行面とイメージ表示面を分離させた．しかし，これらの変化に関わらず，ヒトが描く行為に使用し続けている「ペン」という細長い棒状のものは，そのまま使われ続けられていた．それは，この二つのシステムが，描く行為に囚われていることを示している．コンピュータとの対話で，実際に行っていることは，選択行為であると知りながらも，ヒトは描く行為を模してしか，選択行為を実現できていない．ここには，ヒトがコンピュータという選択に基づいて機能する新しい装置を手に入れたとしても，そこで行われる行為の形式は．ヒトが長い間慣れ親しんできた描く行為であり続けるべきだという考えをみることができる．
このような状況の中，ダグラス・エンゲルバートとビル・イングリッシュは，ペンとは全く異なる形をしたマウスと呼ばれる入力デバイスを開発する．そして，今では，ライトペンやタブレットではなくマウスが，キーボードと共に標準の入力デバイスとなっている．しかし，なぜ，ペンではなく，マウスなのであろうか．その手がかりを，開発者であるエンゲルバートの思想から考えていきたい．
エンゲルバートは，コンピュータを「ヒトの知能を補強増大」する装置として考え，1962年に「ヒトの知能を補強増大させるための概念フレームワーク」という論文を発表している．その中で，彼は，「H-LAM/T」というシステムを提示している．「H-LAM/T」とは，ヒト（H）が，言語（L）と人工物（A）と方法論（M）を持ち，それらを効果的に使用するための訓練（T）を行うことを意味する．2-51) 例えば，メモを書くという行為を考えると，そこには，言語の習得，手の筋肉運動を協調させ鉛筆を持つこと，文字の筆記，文章の作成というさまざまなプロセスが存在していることがわかる．ヒトは「一群の基本的な感覚・心理・運動のプロセス能力からスタートし，ある種の人工物プロセスをそれらに加える」2-52) ことで，ひとつの行為を成立させる多くのプロセスを実行している．そして，行為の実行には，ある程度の身体的訓練によって，鉛筆などの人工物の使い方を身につけることが必要であるから，「H-LAM/T」なのである．ヒトと人工物との関係を，エンゲルバートは次のように詳述している．
各個人はどうやら，プロセス能力のレパートリー（貯蔵庫・宝庫）といったものを発達させ，そのなかから実行するプロセスを構成する能力を選びだしているらしい．このレパートリーは道具一式のようなものである．機械工は自分の道具で何ができ，いかに道具を使うかを知らなくてはならないが，同様に知的ワーカーも，自分の道具の能力を知り，それを使いこなすための方法論，戦略，実用的なやり方を身につけていなければならない．個人のレパートリーにおける全てのプロセス能力は，究極的には個人および持ち合わせの人工物の基本的能力に依存しており，そしてレパートリー全体は統合された階層構造（これを「レパートリー階層」と呼ぶ）をなしている．2-53)
さらに，新たな人工物の追加などによって，プロセスの一部を変更するだけで，プロセスのレパートリー階層全体を変化させることになると，エンゲルバートは考えていた．2-53) ここから，能力のレパートリー階層の変更可能部分を再設計して，ヒトの基本的能力の有効性を増すことが，エンゲルバートの目標となった．これまでに，ヒトは言語を得ることで概念を操作できるようになり，さらに鉛筆などの外部シンボル操作のための道具を用いて知的能力を増幅させてきた．そこで，エンゲルバートは「言語がヒトの思考に影響を与える」というベンジャミン・リー・ウォーフの仮説から，「文化のなかで使われる言語ならびに有効な知的活動能力は，その進展過程において，個人がシンボルの外部操作を制御する手段によって直接影響を受ける」2-55) というネオ-ウォーフ仮説を提示する．この仮説から，シンボルの外部操作を自動化するという極めて新しい手段を可能にしつつあったコンピュータが，ヒトの知的活動を変化させる人工物として位置づけられ，ヒトの知的活動能力に大きな影響を与えるものとして考えられる．そして，エンゲルバートは，人工物とヒトとの物理的・身体的な接触こそが，ヒトとコンピュータとの結合の仕方に最も影響を与える基本的なレベルと考え，その結合をより自然なものにするための適切な入力デバイスを求めた．
その結果，片手で文字入力を行うコードキーセットと，選択行為を行うマウスが開発された．コードキーセットは，文字入力デバイスとしてキーボードに代わるものとなれなかったが，マウスは，主要な選択用デバイスとして，今も機能している．エンゲルバートの，ヒトとコンピュータとの共進化という思想で，現在，私たちがマウスを使用する理由のすべてを説明はできない．しかし，マウスが今でも使われているのは，やはりヒトとコンピュータとの結合を自然なものにしたからであろう．マウスがもたらした，ヒトとコンピュータとの結びつきが示す「自然」とは，何かを考察する．
エンゲルバートとイングリッシュらは，1967年に選択デバイスの比較実験をまとめた論文「テキスト操作のためのディスプレイ選択のための手法」2-56) を発表している．その論文では，マウス，ジョイスティック，グラファコン，ライトペンが比較された．その分析の中で，エンゲルバートらは，目標選択のスピードや正確さではなく，「選択して操作するヒトの手にどんな種類の操作が求められるか，選択デバイスを手に取ってコントロールすることの容易さ，あるいはそれを操作する姿勢に伴う疲労効果」2-57) が，選択用デバイスに重要なことだとしている．その結果，コンピュータの未経験者はライトペン，経験者はマウスが，それぞれもっとも早く，正確に目標を選択できるデバイスであることが示されている．未経験者において，ライトペンがマウスよりもよい成績を残したのは，対象を直接指さすことがヒトの本能的な行為だからだと，エンゲルバートらは分析している．このライトペンの心理的な「自然さ」に対して，マウスは，テキストを選択するために見なければならない画面上のカーソルと，手で実際に動かすマウスの位置が離れているために使いこなすには多少の訓練が必要であった．しかし，未経験者も，マウスのテキスト選択のパフォーマンスと，ライトペンと比べて長時間使用した際の疲労が少ない点に満足していることから，マウスも満足できるデバイスだと，エンゲルバートらは結論づける．2-58)
エンゲルバートの実験が示しているように，マウスは，ライトペンとは異なり，ヒトにとって自然なものではないが，コンピュータの入力装置としては優れていた．ここには，ヒトにとって「自然」なものが，コンピュータとの対話の道具としては最適なものではないという，ねじれが生じている．だが，コンピュータと向き合ったときに，ヒトが遂行する行為は，コンピュータが求める選択行為である．ならば，選択行為にとって「自然」なものが，コンピュータ・インターフェイスには最適なものとなるはずである．つまり，コンピュータの操作が描く行為ではなく選択行為に基づいているのならば，この行為に適した道具を考える必要がある．その際に，もはや，行為＝痕跡＝イメージの関係が解体しているため，選択行為のためにディスプレイに表示される点を動かすための道具として，痕跡が直接イメージを作り出す描く行為に適した「ペン」という形にこだわる理由はない．
エンゲルバートは，ヒトが，コンピュータに向かって何を行っているのかを考える．そこでは，ディスプレイ上のイメージを選択することが行われている．そして，選択を効率よく行うには，自らの手で直接指さすのではなく，手の代わりとなる点をディスプレイに表示して，その点を対象に重ねることで選択行為を遂行すればよい．その点を動かすための道具を考えると，それは直接対象を指さすためのものでも，何かを描くためのものでもないので，細長い棒状のかたちをしている必要はない．それは，掴みやすく動かしやすく，長時間使用しても疲れにくい形をしていればよい．また，道具から手を離しても，「ペン」のように倒れたりせずに画面上の点の位置が変わらないものがよい．このようなことを考慮して作り出されたのが，痕跡をつけるでもなく，指さすでもなく，ただ掴んで動かすことを促す四角い箱，マウスであった．それは，一目見ただけでは，それを動かすことで，画面上の点が連動して動いて対象を指さす選択行為を遂行するためのものとは想像できない形であった．
つまり，エンゲルバートが求めたのは，ディスプレイ上のイメージを選択するために最適な道具であり，この選択行為を遂行するために，私たちが長い間親しんできた描く行為の形式を借りる必要はないと考えたのである．確かに，描く行為は，ヒトに大きな影響を与えて，その行為のために身体と道具とのつながりを作り上げてきた．それゆえに，私たちは描く行為が遂行することが身についているので，その行為を遂行することは容易である．しかし，それはコンピュータという新しい対象への操作に関しては，足かせにしかすぎなというのがエンゲルバートの考えである．エンゲルバートは，ヒトはコンピュータとともに共進化しなければならないと提唱し，そのために，ディスプレイ上の対象を指さす選択行為に適した道具を開発していくことが必須であり，それがマウスであった．つまり，ヒトとコンピュータとの最適な結合を作り出すために，ヒトにとっての「自然」な行為の一つとなっていった描く行為の形式をも切り捨てるエンゲルバートの考えが，マウスを作り出したといえる．
そして，ヒトの身体的行為とディスプレイ上のイメージの結びつきを重要視する考えは，oN Line System (NLS) としてエンゲルバートが作り上げたシステムにおいて結実する．1968年に，エンゲルバートらは，GUI の確立に大きな影響を与えることになるデモを行う．そこには，ディスプレイ上のイメージを操作しながら思考するための，イメージと身体的行為とのフィードバック・ループが存在した．つまり，ヒトにとって「自然」な行為を促すものではないマウスを使わせることで，行為に対して意識的にし，行為の結果をイメージとしてディスプレイに表示させ，それを見て，身体的行為にフィードバックさせるというシステムを，エンゲルバートは作り上げたのである．それは，ディスプレイ上のイメージを読み取るために，常に自分がどんな操作を，何に対して行っているのか，ということを身体的行為を通して意識化するためだったと考えられる．このシステムにおいてディスプレイ上のイメージは，身体的行為の確認という役割を負わされている．このことは，手元ではなくディスプレイを見続けることで成立する「行為」が行われ始めたことを示している．
2-45）
2-46）
Ibid., p.234
2-47）
Ibid., pp.234-235
2-48）
Ibid., p.235
2-49）
2-50）
バーディニ (2002)，p.152
2-51）
2-52）
同上書，p.155
2-53）
同上書，pp.155-156
2-53）
同上書，p.158
2-55）
同上書，pp.166-167
2-56）
William K. English, Douglas C. Engelbart and Melvyn L. Berman, `Display-Selection Techniques for Text Manipulation’, IEEE Transactions on Human Factors in Electronics, Vol.HFE-8, No.1, 1967 pp.5-15
2-57）
Ibid., p.5
2-58）
Ibid., 13