ÉKRITS連載_GUIが折り重ねる「イメージの操作／シンボルの生成」 - インターフェイスを読む #3


エクリでの連載「インターフェイスを読む」の第3回目「GUIが折り重ねる「イメージの操作／シンボルの生成」が公開されました．今回「読む」のは，GUIのスローガンともいえるアラン・ケイの「Doing with Images makes Symbols（イメージを操作してシンボルをつくる）」です．

テキストは「Doing」につながるデバイスとして，ダグラス・エンゲルバートのチームが開発した「マウス」から始まっています．マウスが物理世界をXYグリッドに区切り，ヒトの行為をコンピュータのn次元の世界にマッピングしていきます．その後，アラン・ケイの「Doing with Images makes Symbols」を体現する「重なるウィンドウ」の考察を行っています．GUIを考察するときには「ウィンドウが重なる」ことが重要だと，もともと考えていたのですが，その重要性をうまく書くことができませんでした．そんなときに，思想家の東浩紀のゲンロンβでの連載「観光客の哲学の余白に」で取り上げられていたマーク・チャンギージーの「透視仮説」を知りました．ウィンドウの「重なり」を説明するのに，チャンギージーの「透視仮説」はフィットするのではないかと思い，書いています．その結果として，前回までは「🖐」についての考察でしたが，今回は「👀」からヒトとコンピュータとのあいだの行為を考えるテキストになっています．

よろしくお願いします👁👀👓

このブログの人気の投稿

メディアアート概論（2026年度水野担当分）の授業資料

女子美術大学の「メディアアート概論」で、今年度も5回の授業を担当しました。 昨年度は、谷口暁彦さんの《parallax》を最初と最後に見てもらって、その間に「視界・リンク・仮想空間」について考えるという構成にしました。今年度は、もう少し「見る」ということに絞って、5回の授業を組み立てました。⁠ 第1回　「見る」の主語は誰か——誰も立ったことがない視界 第2回　写真は何を止めるのか——新津保建秀の写真 第3回　「見る」を切り出し、外へ置く技術——スマートフォン、谷口暁彦《parallax》ほか 第4回　見るが生まれる前に見るもの 第5回　4つの視界がどう作用するか——作品をもう一度見る 第1回では、小林健太さんの「TOKYO 2025」シリーズを見てもらいました。奥行きがあるように見えるのに、その空間に自分が入っていけるようには感じられないのなぜなのだろうか。そして、この写真を「誰も立ったことがない視界」と呼ぶところから、授業を始めました。第2回は、新津保建秀さんの写真を通して、写真が時を止めるというとき、何が止まっているのかを考えました。第3回は、スマートフォンや《parallax》、エキソニモの「スクリーンショット」を通して、視界が切り出され、外へ置かれることを考えました。第4回は、村本剛毅さんの《Imagraph》と古澤龍さんの《Mid Tide #3》を取り上げ、「見る」が生まれる前の視界について考えました。⁠ そのなかで、普段ひとつの言葉として使っている「視界」を、〈視界〉、［視界］、【視界】に分けて考えてみました。〈視界〉は、記憶や気分、身体の動きなどが関わりながら、その都度つくられる、わたしの見ている世界です。［視界］は、カメラやディスプレイによって切り出され、持ち運んだり、共有したりできる視界です。そして【視界】は、「見る」という行為がまだ確立していない、〈視界〉が組み立てられる前の状態の見るということです。これらを、視界を分類するための言葉として使うのではなく、一つの作品を見ているときに、それぞれがどう作用しているのかを考えるための道具として使いました。そうやって、授業を進めていくと、テクノロジーによって、これらの視界がより複雑に絡み合っている状況で、わたしたちの「見る」は生じていると強く感じました。 ⁠最終回には、それまでに見た作品のなかから一つを...
続きを読む

村本剛毅『Beautiful Medium』への寄稿

村本剛毅『 Beautiful Medium 』に「 私は何か大切なことを忘れているような気がする／Something at the core of my being feels absent 」を寄稿しました。 村本さんの《Imagraph》体験をもとに、〈視界〉と「視界」という二つの言葉で見るということを考えました。テキストを翻訳する過程で、視界の区別を明確する必要が出てきたため、〈視界〉＝vision-after-seeing、「視界」＝vision-before-seeing となりました。 英語で視界の区別を明確にして、vision-before-seeing と書いたときに、わたしは不思議な体験をしました。自分が見ているものから「見る」ということがなくなったのです。わたしの主観的な〈視界〉でもなく、スマホなどデバイスが世界を記録した［視界］でもない、ただの「視界」というものがあって、そこではわたしなしで「見る」ことが起こっているのではと感じたのです。とても怖くなりました。それは「世界が剥がれておちていく感じ」で、世界の底に触れてしまった、という感覚でした。 そのとき、村本さんの個展で《Training Wheels》を体験したときには、どうしてもそれをイメージすることができなかった「（これを通して、）見なさい、何もないと信じながら／ （Through this,）See, while believing that there is nothing.）を、わたしはとても強いリアリティを伴って、理解できてしまったのです。その理解とともに、わたしはわたしというものではなくなって、世界も世界ではなくなって、力となってしまったような気がしました。強烈な体験でした。 そのような体験をわたしにもたらしたテキストを掲載されている『Beautiful Medium』は、村本さんの サイト から購入できます。ぜひ、読んでみてください。
続きを読む

マジック・メモ：行為＝痕跡＝イメージの解体可能性

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている． このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている． このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる...
続きを読む

「サブシンボリックな知能」と Doing with Images makes Symbols

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions...
続きを読む

「テクノロジーと表現論」（2026年度）の授業資料

京都精華大学で「テクノロジーと表現論」という授業を担当しました。全7回で、表現の道具としてのコンピュータ、そのインターフェイスの歴史を辿る授業です。Sketchpad、マウスとカーソル、ウィンドウとデスクトップメタファー、ハイパーテキスト、スキューモーフィズムからフラットデザイン、Fluid Interfaces、そしてAIを順番に読んでいきました。 この授業を準備しながら、わたしはずっと渡邊恵太さんの『 融けるデザイン 』（2015年）を読み直していました。出版から10年。10年前の本を、いまのインターフェイス体験のなかで読み直していくと、不思議なことに、この本は「これまで」の本ではなく「これから」の本に見えてきました。 授業が終わってしばらくして、渡邊さん本人のこんなポストを見つけました。 最近は融けるデザインとは何だったかみたいな話し方にシフトしてる。さすがに10年過ぎて。そこの超軽工業への話をプラスして話す感じ。 （ @100kw のポスト ） これを読んだとき、「おお！」と思いました。渡邊さん本人が「融けるデザインとは何だったか」を10年後に読み直し、そこに超軽工業への話を足して話していたことを、わたしは半期の授業で、図らずもやっていたからです。もちろん、本人の語り直しとわたしの授業がそっくり同じというわけではありません。それでも、『融けるデザイン』（2015年）を読み直し、そこに『 超軽工業へ 』（2025年）を重ねていくという流れは、意図しないまま、このポストとよく似た形になっていました。 感覚的リアリティと意味的リアリティ 授業を振り返ってみます。第1回で、わたしはまず渡邊さんの「分けない」を紹介しました。 むしろ物質も結果的には体験であり、実は情報的に捉えられる。だから情報も物質も分けない設計ができる。  渡邊恵太『融けるデザイン』（2015年）、p. 40 確かに設計面では「情報も物質も分けない」ということが行われてきたのが、この10年でした。けれど、そこから生まれる体験のほうを考えると、話はもう少し込み入ってきます。情報も物質も分けない設計のもとで、うまくいった体験は、疑問の余地なく、一つのまとまりとして立ち上がってくれます。けれど、それは本当に一つのリアリティなのでしょうか。わたしには、感覚的リアリティと意味的リ...
続きを読む

「\風景＝風景」あるいは「システム＝風景」

「風景」をめぐる２つの作品， 新津保建秀『\風景』 と ペトラ・コートライト 《 System Landscape 》を考えているけれど，考えれば考えるほど，広がりをもつトピックだなと感じています． 『\風景』では，ページをめくるごとに，意識がネットに行ったり，写真で撮られている「現実」にいったり，デスクトップ上のウィンドウに行ったりする．意識がフラフラする．この意識のフラフラが，最後にある「バックスラッシュ」の説明ですっきりする．「すっきりする」と言っても，写真を見ているときの意識がネットに行ったり，「現実」に行ったりする感じのすべてを理解できたわけではいのだけれど，「あぁ，そういうことか」と思う．池上高志さんが 美術手帖 に書いている「安定した解の存在しない関係式『\a = a』」によって，意識が落ち着く感じがある．今まで見ていたものが風景なのなか，デスクトップも風景なのか，そうしたことが「\風景」として無効化されて，その上でそれが「\風景＝風景」となるという感じ． ペトラのときに書いたことでいうと，写真集の写真の隣接性によって意味がわからないけれど，とても強烈な結びつきを感じていたものが，最後の一文によってまとめ上げられて，意味を持つ感じ．これは言いすぎかもしれない，池上さんの「\a = a」という式によってこそ，まとめ上げられるというべきかもしれない．まとめ上げられるといっても，隠喩的なものではなくて，「\風景＝風景」という直結回路ができた感じ．メタファーを経由しないから，デスクトップ・メタファーで特権的に位置にある「カーソル」が写真に写っていなくてもいいのかなと思えるようになった．以前は，「カーソル」が写っていないことに違和感を感じたのだけれど，今の解釈だと感じない． 新津保さんはインタビュー（ アサヒカメラ2012年５月 ：あたらしい「風景」をとらえるために，インタビュー 島貫泰介）で「ネットワーク内の膨大な情報は、第二の自然環境といえるのではないでしょうか。写真は見えるものしか撮ることができないけど、写真が持つ『フレーム』の意味を拡張することで現れる風景があるんです」と言っています．コンピュータのディスプレイに映っているもののスクリーン・ショットを撮ることで，「第二の自然環境」を撮影しているとすれば，ペトラの《System L...
続きを読む

お仕事：ヒューマンインターフェースの歴史 ：「よくわからない」から、身体で感じるコンピューターへ

TELESCOPE Magazine で「 ヒューマンインターフェースの歴史 ：「よくわからない」から、身体で感じるコンピューターへ 」という記事を書きました． タイトルのようにヒューマンインタフェースの歴史に関するテキストです．テキストのリード文です． 人間とコンピューターとが触れ合う場，それがヒューマンインターフェースである．マウスを使うとか、ディスプレイに触れるとかの行為だけにとどまるのではなく，これらの行為を通じて人間がより賢く，豊かになっていくひとつの環境なのだ．それゆえにヒューマンインターフェースは、これからの人間のあり方を決める大きな要素とも言える．このテキストでは人間とコンピューターとの関係を決定してきた「ヒューマンインターフェースの歴史」を概観する． 博士課程時代に「インターフェイス」について研究していました．そこではこんな博論を書きました．上のテキストで「インターフェイス」に興味を持たれた方に読んでもらえたらうれしいです． 博士学位申請論文「 GUI の確立にみる『ディスプレイ行為』の形成過程 」，名古屋大学大学院情報科学研究科，2009年１月  コンピュータがアナログからデジタルへとイメージの性質を変化させるだけではなく，道具の変化を促し，ヒトの身体的行為を変化させていることを考察した． GUI というディスプレイ上のイメージの変化ともに，ヒト行為とイメージとが結びつき「ディスプレイ行為」という新たな行為を形成したことを提示した． GUIというものを工学的視点ではないところから考えてみたかったし，今も考えています．近頃，「インターフェイス美学」というものが海外でちょっと盛り上がっているみたいです．私の論文もこういったところにカテゴライズされると面白いなと思っています．そして， Rhizome の記事「 Interface Aesthetics: An Introduction 」が「インターフェイス美学」についてコンパクトにまとめています． この記事を書いた JASON HUFF という人は，「 Beyond the Surface: 15 Years of Desktop Aesthetics 」という記事も書いています．
続きを読む

「インターフェイス」は何かと何かのあいだの界面のことである

インターフェイス 「インターフェイス」は何かと何かのあいだの界面のことである．もともとは化学の用語であったが，今では「社会と大学のあいだのインターフェイス」のようにふたつ以上の物事があるところには，この言葉が多く使われるような状況になっている．しかし，「インターフェイス」という言葉から真っ先に思い浮かべるのは，ヒトとコンピュータとのあいだにある「マン-マシン・インターフェイス」や「ユーザ・インターフェイス」であろう．私たちが日々触れているコンピュータのキーボード，マウスやディスプレイ，アイコン，スマートフォンのタッチパネルは，ヒトとコンピュータとをつなぐインターフェイスであるけれど，それらをコンピュータの使い勝手を決めているものにすぎないと考えてはならない．インターフェイスはもっと大きな役割をもっているのである．スマートフォン以降のインターフェイスデザインを扱った『 UI GRAPHICS 』で，ウェブデザイナーである中村勇吾は「動きから『質感』を生み出すUIデザイン」というインタビューにおいて次のように応えている． 情報やデータという無形の世界と，人間側にある有形の世界の間には，両者をうまく取りもつインターフェイスが必要になってきて，その機能やレイアウトのデザインが「ユーザーインターフェイスデザイン」という表現になってくるわけです．(p.44) 中村勇吾「動きから『質感』を生み出すUIデザイン」 普段，私たちが意識するのはインターフェイスの「機能やレイアウトのデザイン」である．だから，インターフェイスを記述するときには「使いやすさ」や「格好良さ」という言葉が多く使われる．しかし，私たちはインターフェイスを介して，コンピュータが扱う情報やデータという「無形の世界」に触れている．中村が指摘するようにインターフェイスは情報の無形と私たちの有形の世界をつなぐ必要性から生まれたものであり，「デザイン」はそのための手段にすぎないのである．そこで，無形の世界と有形の世界のあいだのインターフェイスという観点から，ヒトとコンピュータとをつなぐユーザ・インターフェイスの歴史をみてみたい． 現在，私たちが使っているコンピュータのインターフェイスは「グラフィカル・ユーザ・インターフェイス（GUI）」と呼ばれている．GUIはディスプレイに「アイ...
続きを読む

映像から離れていっている

大名古屋電脳博覧会 に行って， 伊藤明倫さん の《波打つ大地，吹き抜ける瞬き》を見てきた．これは伊藤さんが去年の同じ時期に同じ場所で展示した作品 《瞬きの中，瞬きの外》 と同じ原理を作った作品です．今回の作品へのTextから引用します． 作品へのText１   このインスタレーション作品は，モニターの映像が Fade In, Out することによって生じる明るさの明滅が照明代わりになり，壁に貼られた写真作品を見ることができる，それらの空間的要素すべてを含めた作品となっています．　　　　　　　   このような構造になっていることから考えられるのは，発光体で光るモニターによって，反射光としてしか認知できない写真が表層してくるという入り組んだ構造である事と，モニターは映像を見せる為に光るのであり，それが照明として機能してしまうことは副次的，もしくは本来意図していない現象であるということなどが上げられます．     展示室に入ると，暗い．その先に，液晶ディスプレイが２台．見る人に背面を見せて，向こう側の壁に向かって光を放っている．光は一定ではなく，不規則に明滅している．明滅する光によって，壁に張られている写真が見える．鳥の写真．ディスプレイと向かい合っている壁，その両脇の壁にも鳥の写真が貼られている．明滅する光の中で写真を見る． 部屋に光を生み出しているディスプレイの黒い背面を見つめる．この黒い物体の壁に面している平面は発光している．黒い物体から発光する光．それが何を示しているのかは，後ろからでは分からない．ただ光っている．それはただの光でしかない．それが写真を見えるようにして，そこに鳥が写っていることを示していくれる．回りこんでディスプレイに発光する面を見てみる．水面が映っている．波が映っている．波が太陽の光を反射している．もしくは光る波．反射光をカメラが捉え，ディスプレイは自ら発光する． この作品をしばらく見ていると，そこにはただの光があると思えた．ディスプレイという「何か」を表示する装置だけれども，そして実際に波を映しているのだけれども，背面から見ていると，そこにはただの光しかない．光の明滅しかない．2011年３月11日から9ヶ月たった今でも，波は津波を意識させる．波でなくても，水を使うことは...
続きを読む

アンドレアス・グルスキー展を見て，谷口暁彦さんの習作《live-camera stitching》を思い出しました

名古屋から神戸に引っ越しました．それで国立国際美術館に アンドレアス・グルスキー展 を見に行きました．グルスキーの作品を一言で言うと「大きい」．それは写真として「大きい」ということですが，とにかくに大きい．普通の写真を見る距離でグルスキーの縦構図の作品を見ると見上げるかたちになるので，クビが痛くなります．このあたりはとても重要かと思われます．神の視点の前ではヒトは小さなものだなと，クビの痛みともに感じられるからです． といっても，グルスキーも神ではなくてヒトですから，その大きな作品を「チチンプイプイ」と言って簡単につくっているわけではなく，コンピュータで複数の画像をくっつけてつくっているわけです． パリのモンパルナス地区に位置するアパルトマンを捉えたこの作品は，グルスキーがデジタル技術によるイメージ加工を始めた頃に制作されました．二つの撮影ポイントから映された画像を組み合わせて一つの画面を作り出すことで，写真家は，建物の全体を正面から眺めることができ，かつ，アパルトマンの窓の中の一つ一つの世界を見ることの出来るイメージを完成させました． アンドレアス・グルスキー展パンフレット（国立国際美術館）  ふたつ以上の視点が入り込むから作品を見ていると混乱してきます．「あっちの視点で見ていると思ったら，いつの間にかこっちの視点に移動している」ということを写真でやられると僕の視覚はついていけずに混乱して気持ち悪くなったりしました．でも，グルスキーの作品で多い神の（上からの）視点において気持ち悪くなることなく，首の痛みだけを無視すれば自分も神になったような感じを味わっているような気がします．「神のような感覚」を味あうだけなら，グルスキーではなくて，もっと広大な俯瞰視点をとれて，自由に動き回れるGoogle Earthの方がいいかなという感じでもあります．グルスキーとGoogle Earthを比較するなんてと思うかもしれませんが，これらは「画像」として同等なものだと思います． 上の画像は「アンドレアス・グルスキー」とGoogleの画像検索してみたものです．なんで画像検索をしたかというと，多く人がこんな画像でグルスキーの作品を見ていると思われるからです．グルスキーの作品をネットで見るとちっとも大きくありません．クビも痛くなりません．神の視点と...
続きを読む