GUI に生じる、緩やかではあるが途切れることのないイメージの相互関係

GUI に生じる、緩やかではあるが途切れることのないイメージの相互関係カーソル/指標記号/指示詞(14697文字)【2024/07/11修正】

1.はじめに
コンピュータ以後のイメージを考えるとき,その操作可能性の向上は自明なものである.私たちは,コンピュータに向かいながら,それまでは「見る」ことしかできなかったイメージを「操作」している.それは,イメージが痕跡から離れた結果,イメージ自体をリアルタイムで直接操作できることが可能になったからである.以上のことを,私は前の論文で論じた1.

本論文では,操作可能性を拡げたイメージと,私たちとの関係を考えてみたい.ここで参照したいのが,私たちが常日頃接しているコンピュータのディスプレイに展開されるグラフィカル・ユーザ・インターフェイス(GUI)の原型を作ったアラン・ケイが,GUI が目指すものとして掲げたスローガン「Doing with Images makes Symbols」である2.ケイはイメージを操作することで,言葉が持つようなシンボル体系を作り上げようとした.それは,コンピュータ・ディスプレイのなかに,イメージを構成要素とした操作可能な環境を作り上げることを意味した.この試みはデスクトップ・メタファーを GUI に採用することにより大きな成功を収めた.イメージの操作に「メタファー」という言語的要素を適用することによって,ディスプレイ上のイメージは理解しやすく,操作しやすいものになった.

イメージは言語的要素を自らに取り込むことによって,ある環境を再現,構築するだけでなく,その環境への私たちの理解を助け,それを私たちが操作するための手段となっているのではないだろうか.このことをケイのスローガンから生み出された GUI のディスプレイ上に展開するイメージから考察したい.そのために,GUI 環境で,もっとも私たちが操作している「カーソル」というイメージを取り上げ,この対象を思考は記号の流れだと考えたパースの記号論における指標記号や,そこから派生する指示詞という言語的要素を用いて考えていきたい.

2.カーソル
GUI の登場は,コンピュータにとってどのような意味をもっていたのであろうか.ボルターとグロラマは「GUI の発明以前のコンピュータは,テレビや視覚的リアリズムへの文化の動きとは関係あるように見えなかった.エンゲルバートやケイらによって GUI が発明されて,コンピュータがメディアであることがわかったのだ.ワープロや簿記会計の新しいツールになっただけではなく,コンピュータが視覚文化において果たし得る役割が示された3」と述べている.このボルターとグロラマの指摘を受けて,北澤はGUI の以前のインターフェイス形式である CUI と比較して,その変化「初期の GUI のアイコンはシンプルであったが,CUI よりは視覚に訴え実際のデスクトップに近い状態を自動的に立ち上げ再現したという点で,直接対象に迫るという透明性を獲得し4」たと書く.

GUI とともに,私たちは視覚メディアとしてコンピュータを捉えるようになり,計算機をなじみ深いテレビや映画と同じように見るものと考えるようになったと言える.コンピュータが私たちにリアルであることを訴える視覚メディアとなったことは,ディスプレイに映しだされるものが,現実の世界と関係を持たなければならないという意識の始まりを意味している.GUI はデスクトップ・メタファーとセットで一般化していったことが,現実世界との関係を示す証拠である.私たちにとって未知の存在であり,操作方法もよくわからなかったコンピュータへの手がかりとして,ディスプレイを「机の上」というよく知っている環境に見立てた.メタファーの力を借りて,現実とのつながりを作り出したアイコンは,GUI に大きな成功をもたらした.その過程で,ディスプレイに,ウィンドウ,メニュー,カーソルといった現実の机の上には関係ないものが映しだされることにもなった.ボルターとグロラマはウィンドウというメタファーが「インターフェイスが『現実そのままの』(歪めない)データ,言葉,画像といったものを提示していると示唆する5」と指摘する.ここでのウィンドウは,「現実そのまま」を見せるインターフェイスなので,私たちの意識に上がりにくい「透明性」をもつとされる.と同時に,ウィンドウは,私たちの意識をインターフェイス自体に向ける「反映性」6をもつとして,ボルターとグロラマ は次のように, GUI の本質を簡潔にまとめている.
インターフェイスは透明性の状態と反映性の状態の間を制御された方法で揺動すべきだ.インターフェイスの本質は制御された揺動にある.GUI の重要な要素である”重なりあうウインドウ”を発明したとき,アラン・ケイはそれに気づいていた.ウインドウが一つだけ開いていて,そのデータがユーザーに示されている状態は”透明”と言える.ケイらは,スクリーン上で複数のウインドウが重なりあうという着想を得た.ユーザーはいかなるときも,ウインドウをクリック一つで前面に出し,注意を向けることができる.ウインドウをクリックで前面化するということは,ユーザーがインターフェイスを(少なくともときおり)意識していることを意味するだろう.ウインドウの重なりの中から一つを選ぶときには,インターフェイス自体にも注目しているので,もはや完全に透明ではない.データだけでなく,ツールも,ユーザーの情報の組織化に貢献している7.
ウィンドウというイメージをクリックするときに,私たちはウィンドウ自体,つまりインターフェイスを必ず意識する.それは,本来ならば意識にあがってはならないはずのものであるが,アラン・ケイのオーバーラップ・ウィンドウは,このことをも利用しているとボルターとグロラマは指摘する.私たちはウィンドウというイメージをクリックする度にインターフェイスに注意がいき,意識を切り換えるようになっている.私たちの行為に着目したボルターとグロラマの指摘は,GUI を理解する上でとても重要なことを示している.なぜなら,ウィンドウというディスプレイ上のイメージに,インターフェイスを構成する部品としての操作可能性を私たちに与えることによって,ディスプレイ上にイメージによる操作システムを作っていることを示しているからである.

しかし,実際のところ,私たちはクリックする前に意識をすでに切り換える準備は済んでいるのではないだろうか.つまり,マウスに手を伸ばしたときには,意識は既に切り替わっていると言えないだろうか,もしくは切り替わろうとしている.そして,マウスでクリックをするまえに,私たちが必ず見ているものがある,カーソルである.マウスに手を伸ばして動かす際に,私たちは必ず画面上を動くカーソルという→の形をしたイメージに一度注意を向けているはずである.そして,この→を使って,重なる複数のウィンドウのなかからひとつを「これ」と指差すことによって,ウィンドウの切り替えを行っている.

今までみてきたように,アイコンやウィンドウは GUI に現実との関係を持ち込むために視覚的リアリズムとの関係の深いメタファーによって構成されたイメージである.これらの要素によって GUI は,「自然」で「直観的」な操作環境を私たちに提供した.そして, GUI は30年もの間,私たちとコンピュータとのコミュニケーションを担っている.この視覚的リアリズムと深い関係をもつ GUI 環境において,机の上どころか現実に対応するものがないカーソルはイメージとしては奇妙な存在だったはずである.同時に,ボルターとグロラマが「今ではメニューや,画面内のポイント指示装置がないほうが奇妙に感じられる8」と指摘するように,カーソルはユーザがディスプレイ上のどこで作業を行うのかをコンピュータに知らせるポィンティングという作業を行うのに必要不可欠な存在である.つまり,GUI はカーソルというイメージとしては奇妙な存在を使って,コンピュータを操作するのに「自然」で「直観的」環境をつくるポインティングの機能を私たちに提供していると言える.

GUI への考察において,ボルターとグロラマの考察が示すように視覚的リアリズムと関係が深いウィンドウをディスプレイに複数表示させるオーバーラップ・ウィンドウや,現実世界とのつながりを持ち込んだアイコンは多く取り上げてられている.しかし,カーソルへの言及は少ない。たとえあったとしても,ウィンドウの切り換えやアイコンやメニュー選択といったように他の要素との絡みであって,カーソル自体への考察はほとんどないに等しい.それは視覚的リアリズムという枠組みのなかでは,カーソルは捉えにくいものであったからと考えられる.その理由は2つ考えられる.まず,カーソルは視覚的リアリズムに基づいた環境を構築するためには,不必要なイメージであること.そして,カーソルはGUI の他のイメージと同様に私たちに操作されるイメージはあると同時に,他のイメージを操作するイメージでもあること.このようにカーソルはGUI の中で異質な要素であるにもかかわらず,現在では「自然」なものとして受けとられている.ここには,GUI 上のイメージと私たちの関係を考える契機が含まれていると考えられる.先ほどみたように,私たちは GUI の画面と向かい合っているときには,必ずカーソルに注意を向け,動かしているのであるから,この→のイメージこそが GUI というディスプレイ上の環境への理解を助け,それを操作するシステムを私たちとともに構築しているのではないだろうか.

3.指標記号
先に引用したボルターとグロラマ,北澤はGUI の開発の功労者として,ダグラス・エンゲルバートとアラン・ケイを挙げている.彼らはそれぞれマウスとオーバーラップ・ウィンドウ・システムを生み出したのであるから,それは間違いではない.しかし,ティエリー・バーディニはエンゲルバートとケイという GUI 開発の流れにはひとつの断絶があるとして,次のように指摘する.
エンゲルバートのシステムでは,ユーザーは現実の世界とはまったく似たところのない仮想空間で身体感覚的に記号を操作した.エンゲルバートのモデルは,ただの概念上だけのものだった.実際彼は,仮想のデータ景観を「飛行する」空間と考え,それは紙の上ではとらえどころのない第三の次元に属するものだった.一方,アラン・ケイと彼の仲間が作り出したグラフィックインターフェースでは,ユーザーはそれに当てはまる現実の物が類推できるようなオブジェクトの状態に変更を加えるのである.この相違は,「アイコン」と「インデックス」についてのチャールズ・サンダース・パースの有名な区別を再現している.「図式的な記号またはアイコンは・・・その話題に対する相似性または類似性を表す・・・インデックスは・・・考えている特定のオブジェクトに対してそれを言葉で表現することなしに注意を引きつける」.エンゲルバートの NLS では,NLS のインターフェース記号が現実世界のオブジェクトとはまったく関連がないため,インターフェースはインデックス的である.その代わりに,インターフェース記号は概念的なオブジェクトを指しており,ユーザーの手と腕の物理的な動きによって操作される.グラフィカル・ユーザー・インターフェースでは,記号はそれが表現している現実世界の物体との「類似性」を示している.それは現実世界で作成に参加しているオブジェクト,すなわち書類,文書,テキスト,図画などをアイコンによって予備的に視覚化したものなのである.したがって,グラフィカル・ユーザー・インターフェースが本質的にアイコン的であることは最初から明らかだった.なぜなら,これによってわれわれはインデックスによる操作からアイコンによる視覚化に移行したからである9.
バーディニが参照するパースは記号を類似記号(イコン),指標記号(インデックス),象徴記号(シンボル)の3つに分類している10.バーディニはGUI が作り出される過程において,まず,エンゲルバートによって導入されたマウスと結びつく形でディスプレイに表示されたカーソルによって,指標記号がコンピュータの表示するイメージのなかに持ち込まれたとする.そして,次に,ケイによって現実とのつながりをもったアイコンという類似記号がディスプレイに全面的に導入された結果,コンピュータの操作体系が「インデックスによる操作からアイコンによる視覚化に移行した」と指摘する.マウスとカーソルとを結びつけ,カーソルを指標記号だと考え,NLS のインターフェイスをインデックス的だとするバーディニの指摘に,私は同意する.だが,バーディニはパースの3つの記号間の関係を考慮していないと思う.そのために,インターフェイスの本質がインデックス性からイコン性に移ったと単純に考えてしまっている.パースは3つの記号間の関係とその性質を次のようにまとめている.
記号の三つの種類つまり類似記号,指標記号,象徴記号の順序には,一,二,三という規則的前進が見られる.類似記号はそれが表意する対象と力動的なつながりを持っておらず,たまにその質が当の対象の質に似ていて,その類似記号であると思う人の心の中に類比的な感覚を惹起するようになっているだけである.しかし類似記号は本当はそのような感覚と無関係に存在する.指標記号は物理的にその対象と結合しており,それらは有機的な一対を作り上げる.しかし解釈をする心はこの結合が確定された後でそれに注目する以外,この結合には関係がない.象徴記号は,象徴記号を使用する心の観念のおかげでその対象に結合されており,それなしではこのような結合は存在しない11.
バーディニが示すように,GUI において,類似記号はデスクトップ・メタファーに基づいたフォルダやファイルのアイコンや,それらを開くウィンドウである.これらの力によって,GUI は視覚メディアとして機能することになった.そして,指標記号は,マウスとともにエンゲルバートがコンピュータ・ディスプレイに持ち込んだカーソルである.では,バーディニが言及していない象徴記号は,ディスプレイ上に存在しないのであろうか.このことを考えるために,パースが3つの記号の間に「相対的階層性」を認めていたという有馬の指摘をみていきたい12.相対的階層性とは「シンボル性のなかには,インデックス性が含まれ,インデックス性にはイコン性が含まれている13」ということを意味する.さらに,有馬は,パースの記号論は「記号の最も原初的で自然的な直観的段階である第一次性=イコン性から第二次性=インデックス性というコンテクストとの接点を経て,きわめて社会的文化的な第三次性=シンボル性へと進展する.この点において,パースの考え方は,イメージ・メタファー・ダイアグラムというイコン性によって身体的に自然と連続しながら,常にコンテクストとの関係において高度に社会的な記号の生成を説明できる方向に向かっている14」ものであると説明する.この説明を,ケイの「Doing with Images makes Symbols」とあわせてみると,この流れはそのままGUI という操作システムがなぜ「自然」で「直観的」なものとして拡がっていったことの説明になっていると考えられるだろう.以下,このことを GUI の歴史に即してみていきたい.

パースによると,指標記号にはふたつの機能がある.ひとつは対象との間に現存的関係をもつ真正なものであり,もうひとつは,記号と対象との関連を示すもので,それらは退化的なものとされる16.エンゲルバートが,マウスとともにコンピュータに持ち込んだカーソルは,バーディニが指摘したように,私たちの手や腕と現存的に結びつき,その動きを,ディスプレイ上に映しだした真正な指標記号である.それは,データ空間の中に,私たちの手の延長を導入することであった.確かに,ケイらの開発した GUI において,マウスの基本的な役割は変わっていない.しかし,類似記号に満たされた視覚的な環境への移行によって,カーソルのインデックス性は退化し,アイコンを指し示すためのものなったといえる.なぜなら,この段階では,マウスと手との結びつきよりも,伸ばした手で「これ」と指差すように,私たちの注意をアイコンに向けさせる役割の方が前面に出てくるからである.その際,カーソル以外のイメージが視覚的リアリズムに基づいたイメージであるために,私たちはあまり違和感を覚えずに,それらを現実のものと同じように「これ」「ここ」と指差すことができるようになる.逆に,現実とのつながりをもったアイコンに満たされた環境だからこそ,カーソルという異質のイメージもまた,指差すことを強調することで機能し続けることができたといえる.このような変化のなかで,カーソルの形状も単なる点から,アイコンへ注意をより向けやすくするために,→となっていった.バーディニが指摘するようににGUI は「本質的にアイコン的」なのであるが,そこにはカーソルのインデックス性の変化も大きく関わっていることを見落としてはならない.「相対的階層性」において記号の関係性が動的に変化していくなかで,カーソルのインデックス性が退化し,アイコンを「これ」「ここ」と指し示すことで,記号間の関係が生まれ,コンピュータを操作するシステムが生まれてきたといえる.つまり,ウィンドウや,カーソルは,それぞれ現実との類似や,対象との物理的なつながりの中で理解されるのであるが,それらを組み合わせることで生じる様々な関係を理解することによって,これらの記号は,GUI の操作システムを担う象徴記号になっていくといえる.

 パースによると、指標記号にはふたつの機能がある。ひとつは対象との間に、現存的関係をもつ真正なものであり、もうひとつは、記号と対象との関連を示すもので、それらは退化的なものとされる16。エンゲルバートが、マウスとともにコンピュータに持ち込んだカーソルは、バーディニが指摘したように、私たちの手や腕と現存的に結びつき、その動きを、ディスプレイ上に映しだした真正な指標記号である。それは、データ空間の中に、私たちの手の延長を導入することであった。確かに、ケイらの開発した GUI において、マウスの基本的な役割は変わっていない。しかし、類似記号に満たされた視覚的な環境への移行によって、カーソルのインデックス性は退化し、アイコンを指し示すためのものなったといえる。なぜなら、この段階では、マウスと手との結びつきよりも、伸ばした手で「これ」と指差すように、私たちの注意をアイコンに向けさせる役割の方が前面に出てくるからである。その際、カーソル以外のイメージが視覚的リアリズムに基づいたイメージであるために、私たちはあまり違和感を覚えずに、それらを現実のものと同じように「これ」「ここ」と指差すことができるようになる。逆に、現実とのつながりをもったアイコンに満たされた環境だからこそ、カーソルという異質のイメージもまた、指差すことを強調することで機能し続けることができたといえる。このような変化のなかで、カーソルの形状も単なる点から、アイコンへ注意をより向けやすくするために、→となっていった。バーディニが指摘したように、GUI は「本質的にアイコン的」なのであるが、そこには、カーソルのインデックス性の変化も大きく関わっていることを見落としてはならない。「相対的階層性」において記号の関係性が動的に変化していくなかで、カーソルのインデックス性が退化し、アイコンを「これ」「ここ」と指し示すことで、記号間の関係が生まれ、コンピュータを操作するシステムが生まれてきたといえる。つまり、ウィンドウや、カーソルは、それぞれ現実との類似や、対象との物理的なつながりの中で理解されるのであるが、それらを組み合わせることで生じる様々な関係を理解することによって、これらの記号は、GUI の操作システムを担う象徴記号になっていくといえる。

ここまでの流れをまとめてみたい.私たちは,まず自分の身体とコンピュータとの関係をマウスというデバイスとカーソルという記号を組み合わせて,ディスプレイに持ち込んだ.それは,私たちとコンピュータとのコミュニケーションというコンテクストにおいて,私たちの身体に焦点を合わせるものであったといえる.その後,ディスプレイに映しだすものを,メタファーを用いて現実と結びつけた類似記号としていくなかで,カーソルのインデックス性は退化し,アイコン,ウィンドウ,メニューの関係を特定し,その関連を示す機能を主とするようになっていった.その際に,カーソルがもともと果たしていた,私たちの身体との関係は退化し,見えにくくなったのである.

4.指示詞
カーソルは,普段,→の形状をしている.つまり,矢印の先が常に「ここ」もしくは「これ」ということを示す.「ここ」「これ」とは,指示詞であり,GUI 上のカーソルというイメージはアイコンなどの他のイメージを指差すことを強調するために,指示詞の機能を取り込んだと言える.その結果,ディスプレイ上にあるアイコンやウィンドウ,メニューといったイメージを,明確に「ここ」「これ」と指し示すことが可能になった.→の形状ではなく,ペンやバケツ,アイビームという形であっても,指示詞の機能は引き継ぎ,「ここ」から線を描く,「ここ」に色を塗る,「ここ」に文字を入力するなど,その働きは「ここ」を示すことである.私たちはカーソルを使って,常に,ディスプレイ上のどこかを「ここ」にしている.アプリケーションによっては,文字入力などの作業をしている際に,カーソルがディスプレイから消えることもあるが,最後に指定した「ここ」は記憶されており,マウスを動かすとその記憶された「ここ」にカーソルが現れる,デスクトップのカーソルは,何も指し示すものがないときでも「ここ」「これ」と,私たちに示してしている.多くのアイコンがあったときでも,アイコンがないところを,「ここ」「これ」とポインティングしていることもある.カーソルが何もないところを指さしている状況を,私たちが見ていても何も始まらない.

ディスプレイ上のメニューやアイコンをカーソルで指さすと,ディスプレイ上のイメージが変化する.その変化にもとづいて,また,ディスプレイ上のどこかをカーソルで指さす.その連続の中で,私たちは何をしているのであろうか.北島は,「ディスプレイベースの HCI の認知モデル:適応専門知識の理論にむけて」という論文の中で,GUI 環境で作業する際,私たちは「アクションの実行によって変化するディスプレイ情報に柔軟に追随して,適応的にアクション選択を行っている17」と指摘する.まず,私たちがディスプレイのどこかを指さすことで,ディスプレイの変化が起こる.北島はこの段階を「ディスプレイ表現の形成」と呼ぶ18.ここで,「ディスプレイ表現は知覚レベルの表現なので,対象に対してどのようなアクション(ドラッグ,ダブルクリック等)が可能なのか,他の対象とどのような関係を持つのか,といった知識が何も含まれていない19」と仮定されている.これらのディスプレイ表現に対象の意味に関する知識を与える段階が「ディスプレイ表現の精緻化」と呼ばれる20.この段階においては,私たちの記憶に基づいて,ディスプレイ上のアイコンをダブルクリックするとウィンドウが出てくるなどといった意味がディスプレイ表現に与えられる.このディスプレイ表現の精緻化を経て,私たちは「アクション対象の選択」をし,選んだ対象に対して「アクションの選択」を行う21.

北島の仮説に従えば,GUI 環境をはじめて使用した際に,私たちには「ディスプレイ表現を精緻化」するための記憶がないので,ディスプレイ表現で何が可能なのかに関する手がかりはまったくないことになる.それでも,私たちはコンピュータを使えるようになってしまう.それは,ディスプレイ上に不自然に存在している→の形をしたイメージを見ることからはじまる.この→という形から,このイメージが,ディスプレイ上の「何か」「どこか」を「これ」「ここ」と指差すものだということが類推される.だとすれば,この→は動かせるはずだと考え,その結果,この→のイメージがマウスと同期して動くことを知る.ここから,私たちは,GUI 環境のなかで,何かを「これ」と選択するために,ディスプレイ上のアイコンなどをカーソルで指さすようになる.つまり,GUI は「ディスプレイ表現の精緻化」のための記憶がない状態でも動かせるように,指示詞の機能を取り込んで→の形をしたイメージをディスプレイに最初から表示しているといえる.つまり,カーソルを認めたときに,私たちは,何もアクションは実行していないが「ディスプレイ情報に柔軟に追随して,適応的にアクション選択を行っている」状態になっているといえる.→の形をしたイメージであるカーソルという GUI を構成する要素から,私たちは「ディスプレイ表現の精緻化」のための知識を得ていることになる.

私たちは,最初に→の形状をしたカーソルに注意を向けるといったが,なぜ,カーソルに注意を向けてしまうのであろうか.パースによると,→のような指標記号は「理屈抜きの強制によって注意をその対象に向け22」させるとされる.そして,パースは注意を「それによってある時点での思考が別の時点での思考に結合され,関係づけられる力23」と考えている.GUI は次から次へと画面上のイメージを変化させることで,操作を行う.その始まりが,カーソルという→のイメージへ注意を向けることであり,それをマウスで動かすことなのである.その後,私たちは次々にカーソルをアイコンなどの他のイメージに重ねていくなかで,私たちは強制的にカーソルの先を見るように注意を誘導され,それらを見ることになる.つまり,私たちは,アイコンや,ウィンドウ,メニューに対して,カーソルというイメージで「これ」「ここ」と ディスプレイ上のイメージを次々に指差し,注意を向けることで,イメージの間に相互関係を作り出し,コンピュータを操作しているといえる.

5.緩やかではあるが途切れることのないイメージの相互関係
私たちがGUI 環境を立ち上げたときに最初にみるのは,メニューといくつかのアイコン,そして,カーソルであることは何度も書いてきた.私たちは上の状況をまず認識する.そのあとでマウスに手を伸ばし,それを動かすとカーソルが動くので,カーソルを動かしながら,アイコンなどを「これ」と指差し続けて,使い方を学習していくとした.しかし,である.ここで,再び,最初にディスプレイを見た状況に戻ってみたい.何も動かないディスプレイを見ている.すぐに,カーソルに注目する.カーソルは→の形をしており「ここ」「これ」を示しているということは既に述べたが,最初にカーソルが何も指差していないに注目すると,私たちはこの→を無意味なものとして無視しても仕方ないのではないか.何も指差していない→は無意味ではないのか.このような無意味な状態から,なぜ私たちは→をどこかに向けたいという意識が生じるのはなぜなのであろうか.

このことを考えるために.カーソルについてさらに観察してみたい.カーソルを,デスクトップ画面のアイコンも何もないところにもっていき,そのままの状態にして,ずっと見つめ続ける.このとき,私たちがまず思うことは,「カーソルが何も指していない」ことであり,次第に「カーソルは何かを指しているのではないか」ということも思い浮かべるかもしれない.では,何かとは何かというと,デスクトップ画面すべてを指していると考える人もでてくるかもしれない.ここで,「ここ」「これ」という指示詞を「オープンリミット」だと考える郡司の考えを参照したい,オープンリミットとは,「動的で,有限,無限の間を行き来するような24」記号だと,郡司は定義する.そこから,指示詞のはたらきを次のように説明している.
あるはっきりしない領域を指して,「ここ」と言う.全体という極限でありながら,使われるそのとき,その場に応じて,具体的意味を異にする25. 
「これ」という存在において,無意味な極限という理念的存在と,指示対象という具体的個物の間に,断絶はない.まさに「これ」は,両者の区別を作り出すと同時に,両者の関係を模索し,間を紡ぎ,間をつないでいこうとする.断絶があるなら,無意味な記号に意味を持つべきである,という必要は生じない.無意味が意味の不在とされるからこそ,「意味を指定せよ」というツッコミが入る26.
私たちはカーソルをディスプレイ上で何もないところに移動させて,そのままにしているのを観察しているうちに,郡司が書くようなプロセスを体験すると言えないだろうか.何も指差していないカーソルが指示する「ここ」「これ」というのが,デスクトップ画面全体という「無意味な極限という理念的存在」を指示している,と.カーソルは,郡司がオープンリミットと呼ぶ指示詞の機能を取り込んだイメージとして,その機能から何も指していなくても無意味ではないことを,私たちに示すのである.さらに,この→のイメージをした指示詞は,言葉の指示詞と違い,常に表示され動くことができる.そのため,理念的存在と具体的個物の間のつなぐ過程を,私たちに見せることができる.私たちが何も指差していないカーソルという→のイメージを,アイコンやメニューの上に移動させようとしているのは,「意味を指定せよ」と指示詞にツッコミを入れる過程を見ていることを意味する.特定の何かを指しているわけではないが無意味ではないカーソルと,何かを確かに指定しているカーソル,どちらも私たちの手がマウスを通して動かす,「これ」「ここ」という指示詞の機能を取り込んだ→のイメージであることには変わりがない.そして,それは,私たちが意味を求めて動かすことで,その指差す対象が次々に変わり,その意味は次々に変わっていく.私たちは,その過程をすべて見ることができる.つまり,カーソルは「意味を指定しろ」と喚起される「意味の不在」を指定することも含めて,ディスプレイ上のイメージの配置のなかで「これ」「ここ」の意味を指定するためのプロセスをすべて見せるイメージといえる.それゆえに,GUI には,そのはじまりから終わりまで,カーソルを中心にして,緩やかではあるが途切れることのないイメージの相互関係が生じるのである.

ここまで考察してきたように,「これ」「ここ」という指示詞の機能を取り入れたカーソルという主に→の形をしたイメージは,私たちとの結びつきを保ちながら,ディスプレイ上の様々なイメージを次々に選択していき,イメージの相互関係を作り,常にその関係のおいて,私たちの注意を惹きつける.つまり,GUI は私たちとのつながりのなかで,ディスプレイ上を自由に動くカーソルが常に「これ」「ここ」の意味を求め続けて他のイメージのところに赴き指定することで,私たちにイメージの間に相互関係を作り出すプロセスのすべてを見せ,かつ,その相互関係自体を操作させるのである.そして,GUIと私たちはカーソルを起点とする関係自体を操作していくなかで,環境そのものが変化していくシステムを構築していると考えられる.その中で,カーソルは自らの機能である「これ」「ここ」の意味を指定するプロセスをすべて見せることから生じるイメージの相互関係によって,私たちが GUI 環境を理解することを助け,環境そのものを操作するための手段となっているのである.

6.おわりに
コンピュータによって,操作可能性を拡げたイメージと,私たちとの関係を考えてみるために,アラン・ケイの「Doing with Images makes Symbols」を参照するところから,本論考は始められた.そこから,パースの記号論等などを経て,GUI が,指示詞の機能を取り入れたカーソルを中心にしたイメージの相互関係を作り出していることを示した.

私たちは,与えられた道具が使いやすいと,その道具が私たちに対してどのような影響を与えているのかをさほど考えずに使ってしまう.コンピュータを一般化したデスクトップ・メタファーに基づいた GUI は,今では,私たちにとって,あまりにも「自然」になってしまっている.そのため,その「使いやすさ」を顧みることも少なくてきている.しかし,iPhone が注目集めたように,インターフェイスのデザインとは,ますますディスプレイ上でのイメージの配置や振る舞いを決めることになってきている今だからこそ,イメージを的確に配置することで,コンピュータを使いやすいものにした GUI をイメージの問題としてその意義を考えなければならないのである.その試みとして,本論考ではカーソルという→のイメージを対象として,そのシステムの概要を捉えた.今回得られた知見を基に,GUI をさらに考察すること,また,GUI を手がかりにして,今後ますます増えるであろう「インターフェイスとしてのイメージ」を考えていくことは,今後の大きな課題である.

  1. 水野勝仁「マジック・メモとスケッチパッドにおけるイメージと痕跡の関係」『映像学』第76号,2006年.
  2. アラン・ケイ「ユーザーインターフェース:個人的見解」,ブレンダ・ローレル編,上條史彦・小嶋隆一・白井靖人・安村通晃・山本和明訳『ヒューマンインターフェースの発想と展開:人間のためのコンピューター[新装版]』ピアソン・エデュケーション,2002年,156頁.
  3. ジェイ・デイヴィッド・ボルター,ダイアン・グロラマ『メディアは透明になるべきか』田畑暁生訳,NTT出版,2007年,60頁.
  4. 北澤裕『視覚とヴァーチャルな世界:コロンブスからポストヒューマンへ』世界思想社,2005年,201頁.
  5. ボルター&グロラマ,前掲書,62頁.
  6. ボルター&グロラマ,前掲書,98頁.
  7. ボルター&グロラマ,前掲書,100-101頁.
  8. ボルター&グロラマ,前掲書,68頁.
  9. ティエリー・バーディニ『ブートストラップ:人間の知的進化を目指して』森田哲訳,コンピュータ・エージ社,2002年,269-271頁.
  10. チャールズ・サンダース・パース『パース著作集2:記号学』内田種臣編訳,勁草書房,1986年,12頁.
  11. 同上書,47-48頁.
  12. 有馬道子『パースの思想:記号論と認知言語学』岩波書店,2001年,52頁.
  13. 同上書,52頁.
  14. 同上書,52-53頁.
  15. Douglas Engelbart, The Click Heard Round The World, __WIRED__, http://www.wired.com/wired/archive/12.01/mouse_pr.html(2008.8.29アクセス)
  16. パース,前掲書,37頁.
  17. 北島宗雄「ディスプレイベースの HCI の認知モデル:適応専門知識の理論にむけて」『人工知能学会誌』Vol.11, No.2,1996年,324頁.
  18. 同上書,325頁.
  19. 同上書,325頁.
  20. 同上書,325頁.
  21. 同上書,326頁.
  22. パース,前掲書,53頁.
  23. 同上書,189頁.
  24. 郡司ペギオ−幸夫『生きていることの科学:生命・意識のマテリアル』講談社,2006年,94頁.
  25. 同上書,104頁.
  26. 同上書,105頁.

このブログの人気の投稿

【2023~2024 私のこの3点】を書きました.あと,期間を確認しないで期間外の3点を選んで書いてしまったテキストもあるよ

マジック・メモ:行為=痕跡=イメージの解体可能性

インスタグラムの設定にある「元の写真を保存」について

映像から離れていっている

出張報告書_20150212−0215 あるいは,アスキーアート写経について

「グリッチワークショップ」を見学して考えたこと

画面分割と認知に関するメモ

カーソルについて何か考えたこと,または,エキソニモの《断末魔ウス》《ゴットは、存在する。》の感想

矢印の自立

アンドレアス・グルスキー展を見て,谷口暁彦さんの習作《live-camera stitching》を思い出しました