スケッチパッド：行為＝痕跡＝イメージを解体する「変換」という操作
スケッチパッドは，1960年代に，マサチューセッツ工科大学のリンカーン研究所で行われていた研究プロジェクト “Computer-Aided Design” の集大成的なプログラムとして，1963年にアイヴァン・サザーランドが作り出したものである．スケッチパッドのシステムは，TX-2コンピュータ，CRT ディスプレイ，ライトペン，押しボタン，コントロール・ノブから構成され，ライトペンを用いて，ディスプレイ上に，幾何学図形を何度でも正確に描くことができた．サザーランドは，「この装置は，従来の視覚的表現にはまったくみることができないコンセプトを実現しており，その一つとして『拘束』がある」 2-24) と書いている．
「拘束」とは，プログラムを構成する変数の自由度を制限してしまうことであるが，スケッチパッドでは，この概念は，ユーザが予めこれから描くイメージを，コンピュータに対して宣言することで，描くものの自由度を制限するというかたちで現れる．描くものの自由度を制限するというマイナスのイメージがつきまとう「拘束」を，サザーランドは，なぜ，新しいコンセプトだとするのか．その理由を示すために，スケッチパッドで，直線を描く手順を具体的にみていきたい．スケッチパッドで直線を描くとすると，ユーザは，まず「直線」のボタンを押さなければならない．その後，ディスプレイ上に，ライトペンを使って直線を描くのであるが，その際に，描く行為の軌跡が真っ直ぐである必要はない．なぜなら，直線を描くためには始点と終点さえ決まればいいからである．つまり，コンピュータに予め「直線」を描くことを示しているので，ヒトの描く行為の軌跡がたとえ曲がっていたとしても，コンピュータは，その軌跡から始点と終点を抽出して，それらを結ぶ直線を表示するのである．確かにこの「拘束」は，現在のグラフィクス・ソフトウェアでも使われており，私たちがディスプレイに「直線」や「円」を表示させるのに大いに役立っている．それゆえに，サザーランドが「拘束」を，描くことの自由度を制限するにもかかわらず新しい表現と呼んでいることは理解できる．
しかし，この「拘束」という概念は，ただ便利なものとして考えてしまっていいのであろうか．「拘束」を実装したスケッチパッドは，前もって知らされていた情報に基づいて，ヒトによって遂行された描く行為とは必ずしも一致しない図形を，幾何学的な形でディスプレイに表示する．そのとき，私たちは，ディスプレイに描く行為と結びついた痕跡を確認することができない．ここには，使いやすさだけでは済ますことができない描くことにおける，行為，痕跡，イメージの関係が変化が，マジック・メモが示したものとは異なった形でみることができると考えられる．そこで，サザーランドが視覚的表現には従来なかったと呼ぶ「拘束」という概念を実現したスケッチパッドが示す，行為，痕跡，イメージの関係を考察する．
なぜ，「拘束」が可能となっているのであろうか．私たちは，前節で行ったマジック・メモの考察の最後に，もし装置が独自の時間をもつとしたら，行為，痕跡，イメージを巡る新しい関係があるのではないかという問いに辿り着いた．そこで，この装置固有の時間という問題からはじめてみたい．コンピュータの登場によって，ヒトの時間意識に革命が起きたと主張するジェレミー・リフキンは，『タイムウォーズ』の中で，次のように書いている．
ボルターは，ちょうど石炭が蒸気機関の力の源泉であるように，時間がコンピュータの力の源泉であると評し，時間は「電気エネルギーの何十億回とも知れないインパルスをデータ操作の有用な指令に」変えるために使用されると述べている．時計とコンピュータとの違いは「普通の時計がそれぞれ均一の長さの秒，分，時の連続をつくり出すだけなのに対して，コンピュータは秒やマイクロ秒やナノ秒を情報に変える」という点にある．この新しい計時器にかかると，時間はもはや出来事の外部に存在する唯一不変な基準点ではなくなる．時間はいまや「情報」になり，中央処理装置によって直接にプログラムに組みこまれる．コンピュータの出現によって，われわれは「多様な時間」の時代に入る．どのプログラムもそれ自体の順序，継続期間，リズム，すなわちそれ独自の時間を持つ．2-25)
コンピュータは，その内部に固有の時間を持っており，私たちが「多様な時間」の時代にいると，リフキンは指摘する．また，デジタル・イメージと身体性の関係を考察するマーク・ハンセンも，コンピュータが行うプロセッシングの微少な時間の存在によって，ヒトの「今」が変容してきているとしている．2-26) これらの指摘から，コンピュータには，時計によって測られるヒトのための時間とは異なる，装置に固有の時間が存在しており，私たちに影響を与えていることが考えられる．このコンピュータに固有の時間を，ヒトの描く行為との関係において考える．
装置に固有の時間という考えは，フロイトが取り上げたマジック・メモにはなかったものである．なぜなら，マジック・メモでは，外から加わるヒトの描く行為によって，装置に時間が与えられていたからである．コンピュータが，ヒトのためではない独自の時間をもち，そこから有用な情報を作り出すことは，フロイトがマジック・メモに求めた「マジック」，装置の内部で，描く行為が遂行され，イメージが再生してくることに近い．コンピュータが，ヒトとは異なる時間に基づいて動いていることは，スケッチパッドが，実際に遂行された描く行為とは，必ずしも一致しないイメージをディスプレイに表示することに深く関係していると考えられる．このことを考察するために，Computer-Aided Design プロジェクトにおいて，理論的中心人物であった，ダグラス・T・ロスの考えを参照する．
私たちの Computer-Aided Design の目的を実現するためには，実際のリアリティそのものの正確な表現をコンピュータ内部に創造しなければならない．このことが，モデリングの概念を強調する理由である．実際，部分を形成することは，唯一の解かれるべき問題に関するリアリティなのである．この理想化されたリアリティと本当のリアリティを一致させることは，知覚することやリアリティに直接関係のある側面の全てに表現を与える命題を知的に生成できるかどうかにかかっている．2-27)
ロスの言葉から，Computer-Aided Design の目的は，イメージを描く行為そのものを問題にすること．つまり，描く行為に関する正確な命題を，コンピュータに与えることであり，それは，描く行為が，どのようなことなのかということを，コンピュータが扱える理想的な命題の集まりとして記述することであったといえる．この作業は，ヒトの行為を，コンピュータのために形成していくこと，つまり描く行為を，コンピュータのために，ヒトが遂行するものとは全く異なる行為として記述することを意味した．
この行為の形成は，“n-component elements” と “plex” 構造というコンセプトとして示された．n-component elements とは，一つの問題に関しての情報がまとめられた一つのユニットのことである．そこでは，多くの構成要素の一つ一つが，それぞれ特定の性質をもつものとして存在している．これらの特定の要素が，次々と結びついていくことによって，その問題を表すのにふさわしい構造となり，この構造が，plex と呼ばれる．つまり，plex は「n-component elements が相互に結びついた一つのセット」2-28) ということになる．コンピュータに直線を表示させることを例として，ロスはこのシステムを説明している．まず，「直線」という要素は，直線の性質を示すための「タイプ」という成分を含んでいる．そのときに，なぜ，その「タイプ」を含む要素が，「直線」と呼ばれるかは，そのようなタイプをもつものを「直線」と呼ぶように指示する「名前」という成分が，そのことを決定しているからである．そして，直線を示す「タイプ」によって，これから描くものは，二つの先端をもつものであるということも決定されるのだが，この先端の要素も，それぞれ「タイプ」と「名前」という成分をもつことで，その性質と働きと名前が決定されている．それらは，x，y と呼ばれ，直線の要素の中に組み込まれて，直線を構成するようになる．x，y という二つの点は，直線の要素に組み込まれることによって，その間の関係が決定される．2-29) このようにして，直線は，様々な成分によって性質を決定づけられた要素によって構成され，ディスプレイに表示される．
ここで重要なのは，描く行為が，選択の連続によってイメージを表示させる行為に置き換わっていることである．ロスの考案したシステムのもとで直線を描く際に，私たちが行っていることは，まず，「直線」と呼ばれる性質を選び，次に，その始点と終点を選ぶということである．後は，コンピュータが，自動的に，その始点と終点を直線の性質を満たすように結んだイメージを表示することになる．そのとき，直線を表示するために，私たちの選択とは別に，コンピュータ独自の選択が，コンピュータの内部で行われる．それは，ヒトの行為をより正確な直線として表示するということに関して，普通では考えられないほどの細かい分類が，プログラムという形でコンピュータに与えられ，実行されていることを意味する．コンピュータは，電気エネルギーの断続的な動きを利用した固有の時間の中で，膨大な要素の中から，ユーザが遂行する行為に一致するものを瞬時に選択し，それらを結びつけて，イメージを表示する．このように，ヒトが，スケッチパッドを用いてイメージを描いているとき，このシステムの中心に存在するコンピュータは，私たちとは全く異なる選択行為という形式で，ヒトの描く行為を理解し，イメージを表示している．
ここには，二つの行為のリアリティが存在することになる．ヒトの描く行為と，コンピュータの選択行為である．そこで，ロスが「理想化されたリアリティと本当のリアリティを一致させること」2-30) と書くように，コンピュータとヒトは，双方が理解できる形式で，問題解決の仕方を互いに示す必要がでてくる．つまり，コンピュータの選択行為とヒトの描く行為という，二つの行為がもつリアリティを一致させるようにしなければならないのである．この作業を経ることによって，私たちはコンピュータ内部の複雑な構造を気にすることなく，選択行為を描く行為と同様のものとして遂行できるようになる．この行為のリアリティを一致させることについて，サザーランドは次のように指摘している．
コンピュータの外の情報の形式と，コンピュータ内部の情報の形式は，大抵，大きく異なっている．人間は，十進法で数字を扱いたいが，コンピュータは二進法を用いたい．また，人間は，ドル記号や，別々にされたユニットやプリントされたものなどを望むのだが，コンピュータは，数字を扱うだけである．入出力の情報のための望ましい形式を明らかにすることは，プログラミングにおいて重要なことであり，特定の形式へ，もしくは，特定の形式から別の形式へ，情報を変換することは，コンピュータにおいて最も重要な機能である．2-31)
ここで，サザーランドは，コンピュータの最も重要な機能を「情報を変換すること」としている．私たちは，コンピュータとヒトとの間を行き交う情報の形式を，双方が理解できる形へ，コンピュータに変換させなければならないのである．このことから，スケッチパッドにおいては，ヒトの描く行為を，コンピュータに対して理解できる形式に変換し，コンピュータの選択行為を，ヒトが理解できる形式に変換することが，最も重要な問題となるはずである．つまり，この情報形式の変換に伴って，ヒトの行為の変化が起こり，描く行為が，選択行為になるのである．この行為の変化を詳しくみていく必要がある．なぜなら，このコンピュータ・グラフィクス・システムは，ヒトとコンピュータの異なる行為のリアリティを一致させるために，描く行為と選択行為を相互に理想的な形式に変換し，互いに意味あるものとして向かい合わせているからである．それゆえに，スケッチパッドは，ヒトとコンピュータとの対話という領域において，大きな影響力を持っているのである．
この行為の変化を示す兆候は，ヒトとコンピュータとが向き合うインターフェイスのデザインにみることができると考えられる．なぜなら，ヒトとコンピュータとが物理的に接触するインターフェイスが，異なる二つのリアリティを一致させ調停する役割を担っていると考えるからである．そこで，次に，スケッチパッドで生じた行為の変化を，そのインターフェイス・デザインにおける，行為，痕跡，イメージの関係から考察していく．
スケッチパッドは，イメージを描くためのライトペンと，その種類を決める押しボタン，それを表示する CRT ディスプレイというインターフェイスをもっている．この中で，サザーランドが「ディスプレイ表面に，直接，痕跡を刻まないペン」2-32)と考えているライトペンが最も特徴的なデバイスである．そこで，このライトペンが，なぜ直接，痕跡を刻まないのかということを，行為の変化という点から考えていきたい．
ライトペンを開発した，ロバート・ストッツは，「ライトペンは，まったく新しい表現メディアである」2-33) とし，その理由として，次のように書いている．
ライトペンは，光電性の装置である．この装置は，ペンの先のレンズによってとらえられた光に反応する．とらえられた光は増幅されて，信号となり，コンピュータへと送りかえされる．コンピュータ内部では，送りかえされた信号がプログラムによって判断され，分岐条件として機能する．2-34)
ストッツの言葉から，サザーランドの言うように，ライトペンが，CRT ディスプレイの表面に直接，痕跡を刻んで，イメージを描いているのではないということがわかる．ライトペンが行っていることは，ディスプレイから発せられる光を感知して，その光を電気信号に変換し，コンピュータに送りかえすことである．このことから，ライトペンは，はじめに，ディスプレイに表示される光をとらえなければ，イメージを描くことができないことになる．そこで，サザーランドは，ディスプレイに何も描かれていない際には「INK」という文字を提示しておき，その光をライトペンで「触る（touching）」ことで，プログラムが開始されるようにした．このことを，サザーランドは「筆入れ（inking-up）」と呼んでいた．2-35)
筆入れがなされると，コンピュータは，ライトペンがどのようなイメージを描いているのかを，その動きから常に位置を特定する追跡プログラムを用いて推測し，ユーザに提示していく．その際に機能するのが，多くのボタンである．このボタンを，ユーザが描きたいものに応じて選択することによって，コンピュータは，ライトペンの動きと押されたボタンの性質から，ユーザが描こうとしているイメージを計算し，ディスプレイに表示する．このイメージの表示及び，ライトペンの動きをとらえるために，CRT ディスプレイの表面は，ヒトには見えないが，格子状に区切られている．2-36) この格子の交点のどこにライトペンがあるのかということで，コンピュータは，ライトペンの位置を知る．つまり，ライトペンが，ディスプレイのどこを「触っている」のかを，コンピュータが計測し，位置情報として確かめているのである．
ここに，マジック・メモで，私たちがイメージを描くために行っていた尖筆による痕跡付けに基づく描く行為が，ライトペンによるディスプレイ上の光の選択という，コンピュータがイメージを表示するために理想的な，位置情報の選択行為に変化している様子をみることができる．そして，「ライトペンによって変更されたイメージの一部は，できるだけ早く再計算されて，再び，次の位置に表示される」2-37) ことで，ディスプレイにイメージが表れる．
このように，ライトペンという筆記具は，プログラムのために，ディスプレイ上の位置情報を示す光の点を選択する道具となっており，ディスプレイ表面に，直接，痕跡を刻むことはない．その代わりに，CRT ディスプレイ自体が，コンピュータからの指示により，自らビームを発し，スクリーン表面の蛍光物質を変化させて，イメージを表示する．その際に，私たちに提示されるものは，ディプレイ上の蛍光物質の物質的変化による痕跡だとハイルズは考えているのだが，2-38) プールによれば，それは，ユーザの眼に見える表示を行うために，電子ビームの持つエネルギーが，光のエネルギーに変換されたものであり，2-39) CRT ディスプレイは「電気信号を眼に見える形にする変換する装置」なのである．2-40)
ここで起こっているのは，コンピュータが，ヒトに描く行為のリアリティを与えるために，変換の作用によって，イメージをディスプレイ表面に定着させているということなのである．このディスプレイから放たれる光が，ライトペンによってピックアップされ，電気信号に変換された後，コンピュータに送り返され，プログラムという装置固有の時間に沿って，様々な変換がなされ，再び，ディスプレイに表示されている．
ここにはマジック・メモが示したような描く行為と直接結びついているという意味での「持続的な痕跡」はない．そもそも，スケッチパッドは，従来の意味での描く行為を遂行させる表面を，ヒトに提供していない．スケッチパッドでは，描く行為そのものが，選択行為へと変化しているからである．そして，選択行為によって引き起こされるのは変換という操作であって，私たちの行為は，すぐさま電気信号等の他の何かに変換されてしまう．この意味で，スケッチパッドでは，サザーランドが指摘するように描く行為が，どこかの表面で遂行され，その行為によって直接痕跡が刻まれることはない．マジック・メモでは，垂直方向に密着した三層という構造によって「行為の層」で遂行された行為が，そのままの形で「イメージの層」を通り抜け，最も下の「痕跡の層」に辿り着いた．しかし，スケッチパッドでは，行為と痕跡との間に変換という操作が加わるために，描く行為が示していた，行為が直接痕跡へと受け渡されることがなくなったのである．つまり，変換という操作によって，行為と痕跡は互いから引き離される．よって，マジック・メモでは行為と結びついていた「持続的な痕跡」は存在していたが，スケッチパッドにおいて，もはやそれは存在していないのである．この変換という操作によって行為と痕跡の関係が解体したことから，イメージを表示させるためのヒトの行為が，描くことから，選択することへと変化したと考えることができる．
マジック・メモで，既に，イメージと痕跡との関係は緩んでいたが，まだ，行為と痕跡は結びついた．それゆえに，行為は痕跡に縛られ，内部から，イメージを再生させることができないでいた．そこに変換という操作が加わることで，痕跡が表面上無くなり，この結びつきが無効となった．その結果，行為，イメージ，痕跡のそれぞれが互いから自由になり，「描く」から「選択」へという行為の変化が起こったといえる．また，イメージは，コンピュータによる変換という独自の時間によって遂行される行為によって，装置の内部から再生されるようになった．イメージと痕跡との間にも，変換が行われるために，そのつながりはマジック・メモでの密着のように直接的ではなくなっている．それゆえに，痕跡との関係を失った後でも，イメージは消えることなくディスプレイに表示される．
さらに，スケッチパッドでは，イメージを表示する表面は，マジック・メモのように行為を受け入れる層による保護を受けなくてもよいものに変化している．サザーランドは，変換によって，イメージが作り出されるコンピュータ・スクリーンのことを「数学的世界の鏡」と呼び，コンピュータは，数学的構造の抽象的な性質を，ルイス・キャロルの『不思議の国のアリス』のように，人間が適応できる表現の世界へと変換するものだとしている．2-41) そして，スケッチパッドをはじめとするコンピュータは，数学的に正しい幾何学図形を，CRT ディスプレイに映し出すことで，ユーザの抽象的思考を助けることを一つの目的にしていると，彼は述べている．2-42) この「数学的世界」と，それを映し出す「鏡」としての CRT ディスプレイを，イメージと痕跡という関係から考察すると，そこには痕跡付けに基づいた描く行為が意味をなさない世界が存在している．なぜなら，コンピュータが，プログラムという一つの公理系に基づいて，多くの命題の選択から生み出す正確な幾何学図形は，その正確さゆえに「どんなに鋭利な針や尖筆をもってしても切れ目や刻み目をつけることができず，またいかなる溝や皺もそこに跡を残すことができないようになっている」2-43) と，ミッシェル・セールが指摘する抽象的幾何学空間に属していると考えることができるからである．それゆえに，私たちがそこでできるのは，抽象的幾何学図形を選択することだけとなる．
また，変換によって，純粋な光エネルギーとしてのイメージを作り出すディスプレイ装置は，ドゥルーズが，モンドリアンなどの抽象絵画が展開した「抽象的形体は純粋に光学的な新しい空間に属し，しかもこの空間はもはや手覚や触覚による構成要素はそれを，この空間それ自身に従わせる必要さえない」といった「抽象的光学的空間」を構成しているということができる．2-44) サザーランドは，「抽象的幾何学空間」を生み出すコンピュータと「抽象的光学的空間」を生み出すCRT ディスプレイというふたつの装置を結びつけることによって，行為と痕跡から自由になり，より克明になったイメージを表示するための強固な表面を，私たちに提示したといえる．私たちは，この新たな表面の上で，選択行為によって描くという新たな行為を遂行しているのである．
この新たな行為を，私たちが受け入れてしまうのは，サザーランドらの研究開発によって，行為＝痕跡＝イメージという関係に基づいた描く行為というヒトが長く抱いてきたリアリティの外観，つまり，ライトペンという「ペン」を持ち，ディスプレイという「紙」に向かっているようにみえる行為を，スケッチパッドが採用しているからである．つまり，スケッチパッドにおけるリアリティを一致させるという作業は，私たちが慣れ親しんだ描く行為を遂行する形式を，新しい選択行為に適用したということを意味するのである．しかし，選択行為には，この行為に適した行為遂行の形式が存在するはずである．
2-24）
Ivan E. Sutherland, ‘The ultimate display’ in “Multimedia: From Wagner to virtual reality”, Randall Packer and Ken Jordan, ed., W. W. Norton & Company, 2001, p.236
2-25）
2-26）
2-27）
Douglas T. Ross and Jorge E. Rodriguez, ‘Theoretical foundations for the computer-aided design system’, Proceedings of AFIPS Spring Joint Computer Conference 23, 1963, pp.314-315
［強調は原文による］
2-28）
Ibid., P.306
2-29）
Ibid., p.307
2-30）
Ibid., P.315
［強調は原文による］
2-31）
Ivan E. Sutherland, ‘Computer inputs and outputs’, Scientific American 215.3 (September 1966), p.92
2-32）
Ibid., p.92
2-33）
Robert Stotz, ‘Man-machine console facilities for computer-aided design’, Proceedings of AFIPS Spring Joint Computer Conference 23, 1963, p.323
2-34）
Ibid., p.323
2-35）
Ivan E. Sutherland, ‘Sketchpad: A man-machine graphical communication’, Proceedings of AFIPS Spring Joint Computer Conference 23, 1963, p.334
2-36）
Ivan E. Sutherland, ‘Computer displays’, Scientific American 222.6 (June 1970), pp. 58-59
2-37）
Sutherland (1963), p.335
2-38）
2-39）
2-40）
同上書，ページ番号なし（序）
2-41）
Sutherland (2001), pp.234-236
2-42）
Ivan. E. Sutherland, ‘Ten unsolved problems in computer graphics’, Datamation 12.5 (May 1966), p.27
2-43）
2-44）