見ているモノは触れているモノか？（２）

3/02/2010

「自分の興味が「カーソル」に向かっているので，以前，英語で書いた‘What You See is What You touch?’ を（少しずつ）訳してみる．このテキストは，名古屋大学で行われた第４回感覚設計国際シンポジウムで発表したものです．」と考えて訳し始めてたけれど，ちょっとずつ変え始めている．
見ているモノは触れているモノか？（１）
--

ディスプレイ行為

私たちはコンピュータを使っているとき，何をしているだろうか．ほとんどの人がディスプレイ上のイメージを見ながら，マウスを持って動かし，キーボードをうっているのではないだろうか．私たちが，目の前にあるプラスチック製のモノに何かしらの行為を行うと，ディスプレイ上のイメージが変化すること．これは私たちにとって，とても「自然」なことだ．しかし，この身体とイメージとの関係はコンピュータが，特に GUI が現れるまでは存在しなかったものである．身体とイメージとが結びついて機能する行為のことを，私は「ディスプレイ行為」と呼ぶ．だが，この行為はよく理解されてはいない．なぜなら，ヒトとコンピュータとのコミュニケーション，つまりインターフェイスの領域においては，ヒトの行為とイメージとがそれぞれ別物として考えられがちだからである．行為とイメージは，コミュニケーションを成立させるための回路の部分として考えなければならない．

ヒトとコンピュータのコミュニケーション回路における行為とイメージとの関係を明らかにするために，この論考では物理世界にあるマウスとディスプレイ上のカーソルに注目する．カーソルとは「コンピュータのユーザインタフェースを構成する要素のひとつで，指示や操作の対象を指し示すために用いられる」もので，ほとんどが向きや位置を指し示すための矢印：←の形をしている．私たちはディスプレイ上のカーソルをただ見ている．それはアイコンを指し示すためだったり，たんにそれがどこにあるのかを知るためだったりする．そしてそのとき同時に，マウスに触れている．ここでは，見ることが触れることにつながり，触れることが見ることにつながっている．見ることと触れることからヒトとコンピュータとのコミュニケーションのための回路が構成されている．

このブログの人気の投稿

「テクノロジーと表現論」（2026年度）の授業資料

6/04/2026

京都精華大学で「テクノロジーと表現論」という授業を担当しました。全7回で、表現の道具としてのコンピュータ、そのインターフェイスの歴史を辿る授業です。Sketchpad、マウスとカーソル、ウィンドウとデスクトップメタファー、ハイパーテキスト、スキューモーフィズムからフラットデザイン、Fluid Interfaces、そしてAIを順番に読んでいきました。この授業を準備しながら、わたしはずっと渡邊恵太さんの『融けるデザイン』（2015年）を読み直していました。出版から10年。10年前の本を、いまのインターフェイス体験のなかで読み直していくと、不思議なことに、この本は「これまで」の本ではなく「これから」の本に見えてきました。授業が終わってしばらくして、渡邊さん本人のこんなポストを見つけました。最近は融けるデザインとは何だったかみたいな話し方にシフトしてる。さすがに10年過ぎて。そこの超軽工業への話をプラスして話す感じ。（ @100kw のポスト）これを読んだとき、「おお！」と思いました。渡邊さん本人が「融けるデザインとは何だったか」を10年後に読み直し、そこに超軽工業への話を足して話していたことを、わたしは半期の授業で、図らずもやっていたからです。もちろん、本人の語り直しとわたしの授業がそっくり同じというわけではありません。それでも、『融けるデザイン』（2015年）を読み直し、そこに『超軽工業へ』（2025年）を重ねていくという流れは、意図しないまま、このポストとよく似た形になっていました。感覚的リアリティと意味的リアリティ授業を振り返ってみます。第1回で、わたしはまず渡邊さんの「分けない」を紹介しました。むしろ物質も結果的には体験であり、実は情報的に捉えられる。だから情報も物質も分けない設計ができる。渡邊恵太『融けるデザイン』（2015年）、p. 40 確かに設計面では「情報も物質も分けない」ということが行われてきたのが、この10年でした。けれど、そこから生まれる体験のほうを考えると、話はもう少し込み入ってきます。情報も物質も分けない設計のもとで、うまくいった体験は、疑問の余地なく、一つのまとまりとして立ち上がってくれます。けれど、それは本当に一つのリアリティなのでしょうか。わたしには、感覚的リアリティと意味的リ...

Surfin' に見たふたつのデスクトップ───永田康祐《Sierra》と山形一生《Desktop》

6/17/2017

Surfin' を見てきた．永田さんの《Sierra》は「乱層のデスクトップ」という感じ，と書いてみて，すぐに「乱層」ではないなと思った．平面の重なりで，デスクトップという普段は静止画のところに動画が流れることで，ひとつ土台が崩れるというか，デスクトップが平面ではなく映像となることで，前提が崩れるというか，メニューバーやドックの奥にデスクトップがあることが，もうひとつだけ奥に行っているような感じがした．何が言いたいかというと，「デスクトップ」という平面が無効化されて，その奥に映像が流れていると感じたということなんだろう．「デスクトップ」がなくなってしまっている．けれど，その他のカーソルやウィンドウは通常通りである．だからこそ，少し感覚が狂う感じがある．失われた地面の上で通常通りの行為を行うという感じだろうか．永田さんの作品によく感じる平面がパラレルに重なっていく感じを，ディスプレイのデスクトップを基準に，その前面と背面でミニマルに行なっている感じがした．となると，それはディスプレイのデスクトップという平面での前面と背面との重なりが強調されると同時に，ディスプレイというモノとそれが置かれた空間における3次元的な重なり，ディスプレイとその裏側に置かれたMac Pro，ディスプレイ下からケーブルが伸びるヘッドフォン，もうひとつの平面であるトラックパッド，そして，それらを操作するヒト，ヒトがいる展示空間といったものが平面的に重なり合っている感じがでてくる．そこでは，ディスプレイのデスクトップ基点の重なりが確かにあると感じつつも，その重なりがあやふやになっているので，3次元空間で起こるモノの重なりが不思議に思えてくる．3次元を投影したデスクトップという2次元が消え去って，その重なりがあやふやに強調されて3次元的になって，その感覚が3次元に投影されるなかで，次元が折り重なるというか，2次元と3次元とが等価に投影し合うというありえない状態が生まれているのかもしれない．永田さんの《Sierra》を見た後に，けど，この重なりは時間差で起こっている感じがある．机の上に形成された「痕跡」が，おそらく，かつて，そこに垂直に近い角度で「デスクトップ」が表示されていたことを示している．作品にはディスプレイはないけれど，ノートパソコンが置かれていただろう痕跡から，ディ...

中村夏野さんの個展《we, topologically.》のトークイベント「イメージと物語をめぐる認知」に登壇しました。

7/27/2026

中村夏野《Duality》 2026年7月25日（土）、大阪・西成の SUCHSIZE で、中村夏野さんの個展《we, topologically.》のトークイベント「イメージと物語をめぐる認知」に登壇しました。その記録を、トークに向かっていった経路と、トークで実際に話したこととに分けて、書いてみたいと思います。「跨がされる」から始まった 5月の終わりに、Yukawa-Nakayasuさんからトークとレビューのオファーをもらいました。共有された資料を読んで最初に書いたのは、中村さんの作品が「デジタルとフィジカルを横断している」という説明ではなくて、作品を見るわたしの方が二つのあいだへ「跨がされる」ということでした。これはデジタルか、フィジカルか。オリジナルか、コピーか。発光か、反射か。判定しようとするたびに判定の足場がふっと浮いて、右足と左足はそれぞれの領域に接地しているのに、身体全体はどこにも接地しない。この宙に浮いた感じを軸にする、と引き受けの返信に書きました。展示初日に行われたトークの打ち合わせで、わたしが「物語に興味がない」と言ったら、それってどういうこと、となって、中村さんが「イメージと物語」をテーマにしましょうと言って、わたしは「困ったな」と思いつつ、それでいきましょうと言いました。初日、「発光の粘度」を持って行く（7/3）展示を見に行く前にオンラインカタログを全部読みました。というのも、SUCHSIZEは展示までにしっかりと展示に基づいたカタログができているのだから、それを読んで展示に臨むというのが、今回のトークや、そのあとに書くテキストに活かせると思ったからでした。このような体験ができるのであったら、しっかりとその体験をして、そこからテキストを生成してみたいと思いました。テキストを読んで、電車の中でAIと対話しながら、作品を実際に見る前に、オンラインカタログを読んだ感じとして、「発光の粘度」という言葉が出てきました。光には粘度なんていう物性はないのに、その物性を合わせてみると中村さんの作品が面白く見れるんじゃないかと、わたしは感じていました。見る前から見るためのフレームを決めて行くという、わたしとしては珍しいことをしたと言えます。会場で作品を見ながら書いたメモには、「発光が先にあって、認知と物質があとにある」と書いてありまし...

「サブシンボリックな知能」と Doing with Images makes Symbols

12/04/2009

アレゴリーを創造するプログラムという言語的記号

12/28/2009

既に述べたように，プログラミング言語とは，ユーザと対話するものである．同時に，CPU とも対話するものであるがゆえに，ヒトにとって不可解な記号となっていた．スミスは，私たちにとって異質なものとなってしまった言語的記号を，アイコンという絵画的記号で示すことで，コンピュータとヒトという異なる秩序をもったものの間に，新たな対話環境を作り出そうとした．やがて，この対話環境が「機械の中にある世界と，人間の中の世界をメタフォリカルに重ねていこうという考え方」3-36) に基づいて，アイコンは現実世界との類似が求められていった．その結果，コンピュータ・ディスプレイは，現実世界に類似していなければならないというアナロジーの原理によって生み出される絵画的記号によって支配され，コンピュータの逐次的情報処理が現実世界と比喩的に結びつけられたデスクトップ画面が生まれることになる．コンピュータを，ヒトの直観は視覚的なものであるという信念に基づいて，ケイは，ノイマンロジックによる逐次的情報処理を隠蔽することで，絵画的記号を表示するための平面を作った．その平面に，スミスがコンピュータを操作するための絵画的記号，アイコンを導入した．けれども，アイコンを表示することは，コンピュータにしてみれば，従来通りの言語的記号の逐次的処理の結果として生じているにすぎない．確かに，情報処理という観点からみれば，プログラムという言語的記号の指示によって，ディスプレイ上の点が塗りつぶされていくだけである．そして，その塗りつぶされたものを，ヒトが，言語的，絵画的記号のどちらかとして解釈する．この意味で，ディスプレイに映し出されているものが，絵画的記号か，言語的記号かを決めるのはヒトであって，コンピュータにとって，それは点の集まりにすぎない．しかし，ここで問題としたいのは，アイコンが，プログラムによって塗りつぶされた点の集合だということではない．この説明は，コンピュータがプログラムによって，アイコンを「どのように」ディスプレイに表示していくのかを教えてくれる．だが，ヒトにとって何万行もの膨大な言語的記号の集まりといえるものが，ディスプレイに表示される時に，「なぜ」絵画的記号の集まりといえるものになるのかは分からないままである．つまり，デスクトップ画面と呼ばれることになるインターフェイスのレベルで，プログラムという言語...

.review に投稿するためのテキストを昨日，サインペンで殴り書きしたものをタイプした．今のところ，6382字．でも，全然まとまっていません．何となく形になってきたというところだけが救いですが…．その後，読み返して，自分で赤い入れながら考えを少しでもよくしようと頑張りました．下のツイートはそこからでてきたものです． -- カーソルが私たちに促すのは始点と終点とを決めるという単純な規則に基づいた単純な行為である．ただし，ここで一度決められた終点は，一瞬の後に始点になってしまうがゆえに，延々と始点と終点を決め続けなければならない． http://twitter.com/mmmmm_mmmmm/status/8959994500 コンピュータは，カーソルを介して私たちが延々と行う始点と終点を決め続ける行為を受け入れ，この単純な行為の繰り返しから多様なアウトプットを計算し，表示し続ける． http://twitter.com/mmmmm_mmmmm/status/8960129574 デスクトップ・メタファーをめぐる想像力の変化．1984：マウスとカーソルによって多様な行為が始点・終点の選択という単一の行為に縮減・後退し，現実／仮想という構造が前景化する． http://twitter.com/mmmmm_mmmmm/status/8960538375 1999〜：現実／仮想という構造が後退し，単一化された行為がその単一性にゆえに前景化する．デスクトップ・メタファーをめぐる想像力の反転に，カーソルが示す身体性の「ある｜なし」の重ね合わせが影響してる． http://twitter.com/mmmmm_mmmmm/status/8960699371 -- 私たちは始点と終点を決めるという単純な行為と，キーをして文字を入力するということを延々と繰り返している．キーで文字入力はタイプライターがあったけれども，始点と終点を決めるだけで，ここで始点を決めるというのは少し違うかも知れない．私たちは，カーソルをどこか目的の場所，終点を目指して私たちは動かすのだが，そこでクリックなりなんなりをしてしまったあとは，カーソルはそこに放置される．今まで私たちの身体と結びついていたのに，あっさりと放棄される．放棄されても，カーソルはそこにあり続けて，次の目的...

ナウシカの世界におけるメディア・コミュニケーション（１）

7/27/2015

みなさんはケータイで友人と話，インターネットで動画を見たりすることが当たり前だと思います．もし明日からこれらの通信・情報技術がなくなってしまったらどうするでしょうか．友人とも連絡がとれないし，時間をどうやってすごしたらいいのか分からなくなってしまうのではないでしょうか．　今回は『風の谷のナウシカ』で描かれている世界を通信・情報技術が可能にしたメディア・コミュニケーションという観点から，私たちが生きている世界と比較していきます．その中で，私たちの世界のあり方を考えていくことになります．復活しない通信・情報技術宮崎駿監督の「風の谷ナウシカ」は一度文明が滅んだ後の物語です．一度リセットされた技術．リセットされる前には，車も飛行機などの移動技術もあっただろうし，電話などの通信技術，コンピュータに代表される情報技術もあったでしょう．しかし，ナウシカの世界では通信・情報技術はまったくと言っていいほどに復活していないのです．飛行機は復活して「船」と呼ばれて空を飛んでいます．しかも現在とは異なるより高度なエンジンを用いて飛んでいるにもかかわらず，この世界には電話すらないというのが，今の私たちから見たときの感想ではないでしょうか．ナウシカの世界では，なぜ通信・情報技術は復活しないのでしょうか．　【問い：もし今の技術すべてが失われたとしたら，「通信．情報技術」を再生させますか？　「再生する／しない」を選択して，その理由を考えみましょう．】通信・情報技術は，私たちにとってごくごくあたり前の存在です．ケータイでいつでもどこでも友達と話し，メールする．それが便利だとも思わないくらいにあたりまえになっています．確かに，ナウシカが映画化された1984年（マンガは1982年から連載開始）には，ケータイはなかった．けれど，宮崎さんの想像力を持ってすれば，容易に描くことができる未来だったのではないでしょうか．1984年と言えば，コンピュータをディスプレイ，キーボード，マウスという「今」のかたちにすることを決定づけた，アップル社のマッキントシュが発売されています．多くの人がコンピュータを使うようになっている「現在」につながる「未来」が1984年に示されていたのです．だとすれば，「風の谷のナウシカ」の世界に通信・情報技術が「ない」という状況は，宮崎さんの明確な意思でなされた...

メディア映像史（2025年度水野担当分）の授業資料

2/25/2026

今年度も愛知県立芸術大学のメディア映像専攻で「メディア映像史」を担当しました。15回中5回を「インターフェイスとともに考えるメディア映像史」という感じで、インターフェイスの歴史を振り返りました。今年度は、AIを使って授業資料の修正をしていったので、授業全体を貫く理論的な枠組みがだいぶ整理できたと思います。ボームの「内蔵秩序／顕前秩序」と「enfold／unfold」を導入したことで、情報体を固定された実体ではなく、「渦」のような運動のパターンとして語れるようになりました。これによって、入不二基義が『問いを問う』で展開していた「情報」に関する議論をそのまま使うのではなく、自分なりにずらして使う足場ができたと感じています。 2回目では、「合生的行為」と「合生的認知」を明確に定義して、スケッチパッドからマウス、重なるウィンドウまでを「行為が先、認知が後」という流れで一貫させることができました。特に、チャンギージーの「透視仮説」を重なるウィンドウと結びつけたことで、ケイのスローガン「Doing with Images makes Symbols」の読み直しにつながりました。「イメージの操作」は透視仮説に基づく層状の認知であり、「シンボルの生成」は立体視仮説に基づく収斂型の認知である、という対比が見えてきたのは大きかったです。 3回目のカーソル回は、大幅に書き直しました。AIを使うと、自分でやるともったいないな、せっかく書いたのだからと思ってしまうところをバッサリと削除できて感激です。カーソルを「ミニマルセルフの情報的現れ」として位置づけ、物理空間と情報空間を縫い合わせる「縫い針」というメタファーで整理したことで、4回目のiPhone以降の話への接続がスムーズになりました。 4回目は今年度の新しい試みで、カーソルの消失から「自己の宙吊り」を経て、「処理の共同層」という概念を導入しました。スキューモーフィズム→フラットデザイン→マテリアルデザインの変遷を、合生的行為と合生的認知がそれぞれ処理の共同層で最適化されていくプロセスとして読み替えたことで、デザイントレンドの話ではなく、ヒトとコンピュータの関係の変容の話として語れるようになりました。このあたりは、引き続き、考えていきたいことになっています。 5回目では、AIをどうしても扱いたかったし、扱わない...

このブログを検索

touch-touch-touch