ÉKRITS連載_GUIが折り重ねる「イメージの操作／シンボルの生成」 - インターフェイスを読む #3


エクリでの連載「インターフェイスを読む」の第3回目「GUIが折り重ねる「イメージの操作／シンボルの生成」が公開されました．今回「読む」のは，GUIのスローガンともいえるアラン・ケイの「Doing with Images makes Symbols（イメージを操作してシンボルをつくる）」です．

テキストは「Doing」につながるデバイスとして，ダグラス・エンゲルバートのチームが開発した「マウス」から始まっています．マウスが物理世界をXYグリッドに区切り，ヒトの行為をコンピュータのn次元の世界にマッピングしていきます．その後，アラン・ケイの「Doing with Images makes Symbols」を体現する「重なるウィンドウ」の考察を行っています．GUIを考察するときには「ウィンドウが重なる」ことが重要だと，もともと考えていたのですが，その重要性をうまく書くことができませんでした．そんなときに，思想家の東浩紀のゲンロンβでの連載「観光客の哲学の余白に」で取り上げられていたマーク・チャンギージーの「透視仮説」を知りました．ウィンドウの「重なり」を説明するのに，チャンギージーの「透視仮説」はフィットするのではないかと思い，書いています．その結果として，前回までは「🖐」についての考察でしたが，今回は「👀」からヒトとコンピュータとのあいだの行為を考えるテキストになっています．

よろしくお願いします👁👀👓

このブログの人気の投稿

メディアアート概論（2025年度水野担当分）の授業資料

女子美術大学 の首藤圭介さんに声かけてもらって、 茅ヶ崎市美術館 の藤川悠さんと3人で「メディアアート概論」の授業を今年度もしました。 昨年度 同様、私の担当分は5回でしたが、今年は構成を変えました。担当回の最初に、谷口暁彦さんの《parallax》（2021）を見てもらって、その感想・コメントを書いてもらいました。その後、メディアアートを考える基礎的な事象を「視界・リンク・仮想空間」というキーワードで示して、最後に改めて、谷口さんの《parallax》を見てもらって、感想・コメントをかてもらうという構成にしました。このようにした理由は、以下のものです。こちらは授業資料から引用です。 「作品を作って、終わり／作品を見て、終わり」と、私たちは「作品体験」を一つのブロックとして完結させて考えがちです。しかし、そうではなくて、作品を作って、見て、考えて、次の作品を作って、見てという延々と続いていくプロセスの中で、私たちの考えは常に変化しています。この授業では、その変化を捉えたいと思っています。特に、「批評」「考察」といった言語がそのプロセスにおいて、どのような役割を持つのかということを、皆さんに考えてもらう機会が提供できたらと考えています。 最終回での学生のコメント、そして、水野担当回全体への学生のコメントを読んでいると、多くの学生が作品の感じ方、考察に仕方が変わったと書いてくれていました。試みは成功したと、自分では思っています。 メディアアート概論（2025年度水野担当分）の授業資料 https://mmmmm-mmmmm.notion.site/2b3a1dc0748180949db4d8d183a40414?v=2b3a1dc074818070887d000c4a1246c0&source=copy_link 授業資料をAIを積極的に使いながら、アップデートしてみました。昨年度よりは、わかりやすくなっていると思います。また、学生のコメント部分は削除しています。
続きを読む

artscapeの#30周年記念企画の座談会「30年後のウェブメディアを構想する」に参加しました

artscapeの#30周年記念企画の座談会「 30年後のウェブメディアを構想する 」に参加しました。なんか「ポストインターネット」の雰囲気を思い出して、懐かしいなと思いつつも、私自身は「AI大好きおじさん」のようになっていて、あのときは違うこともあって、でも、あのとき、何かしらの感じで表現に関わっていたという雰囲気がとても気持ちいい座談会でした。詳しくは、座談会の前後編を読んだみてください🙏 座談会を読むとわかりますが、私は「情報の総量が増えていくことを支える要素」なので、座談会に向けて、AIとしたやりとりをここにリンクして、情報を増やしていきます。 座談会の「外側」で増えていった情報たちは、たとえばこんなテキストたちです： 2025年10月24日 ブレスト準備メモ｜週末の座談会に向けて 対話記録｜30年後のウェブマガジンと二層構造 2025年生まれの視点から──蓄積しない主体への変容 座談会への応答案｜3つの問いへの回答 座談会の修正やりとり｜mmaiとの対話記録 人間だけでなく、AIも読んでください👾
続きを読む

カーソルについて何か考えたこと，または，エキソニモの《断末魔ウス》《ゴットは、存在する。》の感想

講義でカーソルについて話した．講義ではエキソニモさんの《断末魔ウス》，《ゴットは，存在する》の《gotexists.com》を見た．その講義への学生のコメント． -- カーソルよりも物理的に破壊されきづついているマウスの方が可哀想に思いました 《ゴットは存在する》を見てなんだか不思議な感じがした。ゴットについての検索結果がずらりと出ているにも関わらず、それらにカ-ソルを合わせて見ようとすると見られない。いつも当たり前に出来ている事が出来ないと言う事の不思議さが、とても新しく、面白いと思った。 なんだか無機物なのにカバーを外して中身がどんどん剥き出しになる過程が有機的で気持ち悪いと感じました パソコンの画面にカーソルがあるのは当たり前だったので、深く考えたことはありませんでした。断末魔ウスについては、マウスは無機質な物なのにあそこまで無惨に壊されると痛々しかったです。無意識の内に感情移入しているんでしょうか。 その発想を思いついた人がすごいと思いました。 マウスがたくさん壊されて、無機物といえどかわいそうでいたたまれない気持ちになりました。 自分も普段PCを触って、必ずと言っていいほど使っているマウスが壊れていくのは、なんだか非日常的ですさまじかったです。 シュールレアリスムとはこのことを言うのかと思い、すこしだけ切なくなりました。 カーソルはたまにどこにあるのかわからなかったり、押したいところでないところに教えてしまうことがある。 映像は面白かったが少し怖かった。何を表現したかったのかがあまり伝わってこなかった映像だった。 マウスは今ではほとんどが赤外線を使用しており、使用感もボール式よりもなめらかになってすごく良くなったと思う。 これからは指先の細かな動きで操作出来るマウスが出ると思う。 あの矢印をもっと可愛いデザインにしてほしい。 カーソルは、基本的に矢印と手の人差し指で表されていますが、未来のカーソルには、動物の手や人の顔などでも表示されるとおもしろそうだと思います。 いろんなアイコンにカスタムできるけど 結局シンプルかつわかりやすいので矢印が一番よいと思う カーソルをマウスで動かすのは、いつもちょっと難しいなぁと思います。 パソコンの画面のフィールドと実際のマウスを動かす机とは別物なので… Ma...
続きを読む

メタファーと身体の関係

1996年に，ダン・ゲントナーとヤコブ・ニールセンは，「アンチ-マック・インターフェイス」という論文を発表した．そこで，彼らは，現在でもGUI デザインを論じる際にバイブルとして参照されることが多い「マッキントッシュ・ヒューマン・インターフェイス・ガイドライン」の原理に，あえて反することで，新たなインターフェイスの可能性を論じている．4-3) マッキントッシュの第一の原理には，インターフェイスは私たちの馴染みの環境を用いたメタファーに基づいているべきだと書かれている．4-4) マッキントッシュの開発者たちは，この原理に則って，現在まで使用されている洗練されたデスクトップ・メタファー（図4-1）を開発した． 　　　　　　　　　　図4-1 システム1.1 のデスクトップ そこでは，ディスプレイ画面を「机の上（デスクトップ）」と見なし，「ファイル」，「フォルダ」，「ごみ箱」などを模したアイコンを，マウスで選択し，クリックすることで，コンピュータの操作が可能になっている．この原則に対して，ゲントナーとニールセンは，「ワードプロセッサ」は「タイプライター」にたとえられるが，ワードプロセッサには，タイプライターにはない「やり直し」の機能があるなど，メタファーが示す目標領域（コンピュータ）と基底領域（たとえる対象）とのミスマッチを指摘する．そして，彼らは，このようなメタファーの使用は混乱を招くことになるので，コンピュータ・システムの構造に即した，メタファーに頼らないインターフェイスをデザインすべきだと主張し，言語主体のインターフェイスの提案を行った．4-5) メタファーによる対象の機能のミスマッチを問題視するゲントナーとニールセンに対して，ジョン・キャロルらは，以前から，対象間のミスマッチを含んではいるが，メタファーの使用は私たちの最も基本的な学習へのアプローチのひとつなので，インターフェイス・デザインには不可欠なものだと主張していた．4-6) 確かに，コンピュータを取り巻くメタファーには多くのミスマッチがあるが，それにも関わらず，私たちは，それらを手がかりにして，コンピュータを使い始めて，気がつくと，それらを当たり前のように操作して自分の作業を進めてきたことは事実である． ゲントナーとニールセン，キャロルらは，似ている対象を結びつける言語の機能としてメタファーを論じ...
続きを読む

インスタグラムの設定にある「元の写真を保存」について

インスタグラム の設定にある「元の写真を保存」，英語だと「Save Original Photos」という項目が気になる．デフォルトだと「オン」になっているので撮影した写真にフィルターをかけたものと「元の写真」が残ることになる．「オフ」にするとフィルターをかけた写真しか残らない．設定で「オリジナル」が消去される．ここには「オリジナル」という言葉が「軽く」扱われるというか，それが「設定」のひとつの項目になったんだという感じがある． http://en.wikipedia.org/wiki/File:Instagram_versione_(santa_fiora,_peschiera).jpg 「オリジナル」は消去されるが，フィルターをかけた写真は残る．オリジナルが消えているのだから，フィルターをかけたものが「オリジナル」となるのだろうか？　「オリジナル」かどうかというよりも，「インスタグラムらしさ」ということが重要なのかもしれない． この前のトークで ，ラファエル・ローゼンダールがウェブ上の自分の作品に「これがオリジナル！」という意味では「オリジナルはない」ということを言っていたが，インスタグラムという代表的な写真アプリの設定項目を見てみても，ポスト・インターネットという状況では「オリジナル」という言葉を取り巻く環境が変化していることは間違いない．
続きを読む

「サブシンボリックな知能」と Doing with Images makes Symbols

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions...
続きを読む

ポスト・インターネットで途方にくれないためのメモ

Gene McHugh, Post Internet: Note on the Internet and Art 12.29.09 > 09.05.10   （これは 本 にもなっているし， 全文のPDFもネットあった ．）を読みながら，「ポスト・インターネット」って何だろうと考えていたけれど，どこに手をかければいいのかわからないくらいその世界は広大すぎて，何があるのかワクワクしつつも，途方にくれてもいる．自分のためのリンク集を兼ねて思いつつメモを書いてみたい． ポスト・インターネットを巡る言説は， Louis Doulas, Within Post-Internet | PartⅠ で簡単にまとめられているので，これをさらに簡単にまとめてみる．ポスト・インターネットという言葉は，2008年に Marisa Olson というアーティストが インタビュー の中で言ったことがはじまりらしい．インターネット・アートがもはやコンピュータとネットを使ったアートを指すものでなくなり，インターネットやデジタル・メディアに影響力されたものなら，どんな種類のアートであってもそれはポスト・インターネット（・アート）になる．作品がたとえオフラインであっても，ネットなどから影響を受けていれば，それはポスト・インターネットと呼ぶことできる．Olson はインタビューの中で，ネットアーティストのGuthrie Lonergan が Internet Aware art と言っていることにも言及している． そして，最初に挙げた『ポスト・インターネット』というブログを書き続けた Gene McHugh はインターネットはもはや目新しいものではなく，平凡・陳腐（banality）なものになったとしている．次に， Artie Vierkant が2010年に書いたエッセイ， The Image Object Post-Internet  では，ポスト・インターネットでは，作家性がユビキタスなものになり，作品への注目が重要になっていると言っている（作品への注目というは，McHugh も言っていて，彼の場合は「承認」という言葉であった） と，Doulas はポスト・インターネットを巡る言説を辿って，それぞれの違いはあるけ...
続きを読む

「グリッチワークショップ」を見学して考えたこと

東京藝術大学 芸術情報センター で８月20・21日に開催された公開講座「 グリッチワークショップ 」を見学しました． 「データを壊す」ってどういうことなんだろうと疑問から見学させてもらったのですが，とても興味深い内容でした． ucnv さん, 林洋介さんによるグリッジの技術的な講義と 針谷周作 さんによるグリッチの歴史とその可能性を示す講義といった，グリッチをめぐる技術と概念を端的に学べました．ワークショップ参加者は，技術を学んだあとに，グループごとに作品作りをしていたので，単に見学していた私よりもはるかに深く「グリッチ」のことを理解できたのではないかと思います．制作には参加しませんでしたが，私自身もこれから自分がメディアアートを考える上で役に立つような「グリッチ」という概念を得たような気がします． ここからはワークショップに参加した私の個人的な感想です． ucnv さんがグリッチの定義として「データは壊れているけれども再生できる」と言われていて，ここでの「壊れている」って何だろうと思いました． バイナリエディタで画像ファイルを開くと，その画像を構成しているデータが文字と数字ででてきて，この時点で自分的にはファイルが「壊れている」と感じてしまうわけですが，それは，画像を構成するデータの別の見え方であるわけです．「攻殻機動隊」や「マトリックス」で，緑の文字・数字が画面を覆い尽くすことのイメージや，概念では画像データを文字・数字で示すことは知っていても，バイナリエディタで画像ファイルを開くだけで，それが文字・数字ででてくると，やはりそれまでとは違って，やはりそうだったのかということを感じます．その文字・数字を適当なところで消したり，コピペなどで編集，保存して，その画像ファイルを画像として開くと，画像が変な感じになっている．バイナリエディタでやっていることは，自分の感覚からいうと「編集」という行為ですが，その結果生じた画像は「壊れた」と感じる．「編集」から「破壊」が生じるという変な感覚です．さらに，コンピュータにとっては別にそのデータが「壊れている」というわけではなくて，それをデータ通りに画像として表示しているわけです． 元画像 バイナリエディタで編集 （ちょっとした）グリッチ画像 コンピュータはデータは壊れ...
続きを読む

マジック・メモ：行為＝痕跡＝イメージの解体可能性

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている． このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている． このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる...
続きを読む

「非-用具的道具」？

A Demonstration of the Transition from Ready-to-Hand to Unready-to-Hand Dobromir G. Dotov, Lin Nie, Anthony Chemero を読んでみた．この論文についての解説は， 「コンピューターと自分は一体」：実験で検証  で読めますが引用してみる． Chemero氏の研究成果は，3月9日(米国時間)付でオープンアクセス誌『PLoS ONE』に掲載された．この実験は，ドイツの哲学者マルティン・ハイデッガーの基本概念の1つを検証する目的で行なわれた． 人間は，扱い慣れた，正しく機能している道具については特別に意識せず，道具の向こうを「透かし見る」ようにして，目の前の課題に意識を向けるものだ，とハイデッガーは唱えた．それはちょうど，靴ひもを結ぶのにいちいち自分の指を意識しないのと同じ理屈だ．すなわち，道具はわれわれ自身なのだと． この概念，「用具的」[他には「道具的」「手許的(性)」「用存的」など．英語では「ready-to-hand」＝手の届くところにあること．ドイツ語では「zuhanden」]と呼ばれ，人工知能や認知科学の研究に影響を及ぼしてきたが，これまでこの概念が直接検証されたことはなかった． ということらしい．検証されたかどうかは別にして，自分の関心のあるところを少し書いてみることにしたい．ハイデガーは道具の例としてハンマーというモノを出しているのだけれど，この論文ではマウスとカーソルとでひとつの「道具」を作って実験している．論文の著者たちは次のように，この「道具」のつながりを書いている． ハイデガーの例とアナロジーを示すと，マウスはハンマーの柄の役割をし，スクリーン上のポインターはハンマーの打撃面と同じような役割をする．[ To make an analogy to Heidegger’s example, here the mouse plays the role of the handle and the on- screen pointer figure plays a role similar to that of the hammer striking face. ] このアナロジーは妥当なんだろうか．マウスがハンマーの柄であることはい...
続きを読む