ÉKRITS連載_GUIが折り重ねる「イメージの操作／シンボルの生成」 - インターフェイスを読む #3


エクリでの連載「インターフェイスを読む」の第3回目「GUIが折り重ねる「イメージの操作／シンボルの生成」が公開されました．今回「読む」のは，GUIのスローガンともいえるアラン・ケイの「Doing with Images makes Symbols（イメージを操作してシンボルをつくる）」です．

テキストは「Doing」につながるデバイスとして，ダグラス・エンゲルバートのチームが開発した「マウス」から始まっています．マウスが物理世界をXYグリッドに区切り，ヒトの行為をコンピュータのn次元の世界にマッピングしていきます．その後，アラン・ケイの「Doing with Images makes Symbols」を体現する「重なるウィンドウ」の考察を行っています．GUIを考察するときには「ウィンドウが重なる」ことが重要だと，もともと考えていたのですが，その重要性をうまく書くことができませんでした．そんなときに，思想家の東浩紀のゲンロンβでの連載「観光客の哲学の余白に」で取り上げられていたマーク・チャンギージーの「透視仮説」を知りました．ウィンドウの「重なり」を説明するのに，チャンギージーの「透視仮説」はフィットするのではないかと思い，書いています．その結果として，前回までは「🖐」についての考察でしたが，今回は「👀」からヒトとコンピュータとのあいだの行為を考えるテキストになっています．

よろしくお願いします👁👀👓

このブログの人気の投稿

日本映像学会第51回大会での発表：VR体験をしているマウスにとっての映像とは何なのか

神戸大学で開催された日本映像学会第51回大会で「VR体験をしているマウスにとっての映像とは何なのか」という発表をしました。発表資料の最後に「この研究はJSPS科研費 23H00579 （モアザンヒューマンの美学――動物論的転回以降の感性論的可能性）の助成を受けたものです」と記したように、私はここ3年、動物が何かしらのインターフェイス関連の体験をしている題材を探していました。そこで見つけたのが、マウスがHMDをつけられてVR体験をする研究です。3年の科研の2年目の終わりで、マウスVR研究を見つけました🐭🥽🥸　セーフ！　 これでやっと科研の研究が進められると思ったものの、研究をどうすれば進められるかと、トマス・ネーゲルの『コウモリであるとはどのようなことか』を読みましたが、主観的体験についての限界を知って、頭を抱えるだけでした。それでも、どうにか発表の形にまとめられました。 今回の発表準備での変化は、NotionAIの半額オファーが来ていたので、契約して、AIを積極的に使ったことです。無制限にAIを使いながら、研究を進めました。ある程度、発表資料を書いたら、「発表資料のいい点と改善点を教えて」と聞いて、いい点を読んで「いけるぞ！」と思って気分を上げた後で、改善点で「おー、確かに」と頷きながら、自分で改善したり、AIに具体的に改善してもらったりしました。途中から、Notion AIだけでなく、比較も兼ねて、契約についてきたClaud、chatGPT、Geminiも使って、それらと対話を重ねながら、発表資料をまとめていきました👾 私はアイデアを勢いで書いたあとで、アイデア同士を接続していくのが苦手なのですが、生成AIたちはそこが得意みたいで、「そうやって、アイデアをつないでいくんだ」と感心することが多かったです。 使ってみたAIで発表資料に対する的確なコメントをくれたのは、GoogleのGeminiの2,5 Proでした。同じくGoogleのNotebookLMも良かったです。特に、Geminiが発表資料をもとに書いた論文を、NotebookLMにポッドキャストにしてもらったものはおもしろかったです。発表前に流していたら、会場で笑いが起こりました。 今回の発表は、一方で、マウスという主観的体験を推測するしかない存在を扱いながら、もう一方で、インターネットにあげてきた...
続きを読む

インスタグラムの設定にある「元の写真を保存」について

インスタグラム の設定にある「元の写真を保存」，英語だと「Save Original Photos」という項目が気になる．デフォルトだと「オン」になっているので撮影した写真にフィルターをかけたものと「元の写真」が残ることになる．「オフ」にするとフィルターをかけた写真しか残らない．設定で「オリジナル」が消去される．ここには「オリジナル」という言葉が「軽く」扱われるというか，それが「設定」のひとつの項目になったんだという感じがある． http://en.wikipedia.org/wiki/File:Instagram_versione_(santa_fiora,_peschiera).jpg 「オリジナル」は消去されるが，フィルターをかけた写真は残る．オリジナルが消えているのだから，フィルターをかけたものが「オリジナル」となるのだろうか？　「オリジナル」かどうかというよりも，「インスタグラムらしさ」ということが重要なのかもしれない． この前のトークで ，ラファエル・ローゼンダールがウェブ上の自分の作品に「これがオリジナル！」という意味では「オリジナルはない」ということを言っていたが，インスタグラムという代表的な写真アプリの設定項目を見てみても，ポスト・インターネットという状況では「オリジナル」という言葉を取り巻く環境が変化していることは間違いない．
続きを読む

日本映像学会第48回大会で「インターフェイスにおけるデジタルオブジェクトの実在性」という発表をします🧐（追記：2022/06/06 発表資料の追加）

Expanding the Sensory Experience with Core Haptics in WWDC2019のプレゼンテーションスライド 6月5日に京都大学で行われる 日本映像学会第48回大会 で「 インターフェイスにおけるデジタルオブジェクトの実在性 」という発表をします🧐 横浜国立大学の中川 克志さんに誘われて音の研究会に出ていて，そこで考えたコンピュータの内部音というのはコンピュータメタファーと関係あるのではということから考え始めて，発表はどんどんと音自体からは離れていくものになったような気もしますが，概要を書いた3月の時点では聴こえる音と感じる音としての振動＝触覚について考えていますね． 音を考えることで，ディスプレイ外の事象というインターフェイス体験で半ば意識外のことを考えられるようになった気がします．意識外のことを考えるというのは，映像学に書いた 「 ｢認知者」としての作品──エキソニモのUN-DEAD-LINK展を事例に 」から続く，ヒトがコンピュータとともに非意識的領域の情報を感覚できるようになっているのではないか，という問題意識です．ディスプレイ外の事象というのも聞こえているけど，考えられてはこなかったという点で，非意識とは異なるけど，意識のフレームの外にあったものを扱うという点では，今の私の問題意識で改めてデスクトップメタファーを扱って，ハプティックなインターフェイスにおけるデジタルオブジェクトの実在性につなげるということかもしれません． 発表も概要から外れるものではないですが，もっとチャーマーズよりというか， it-from-bit-from-it な感じになっているような気がします🫡 発表概要です． インターフェイスにおけるデジタルオブジェクトの実在性 　哲学者のデイビッド・チャーマーズは仮想現実と哲学の問題を扱う『Reality+』において，「デジタルオブジェクトは完全に実在する物体」と主張する．「デジタルオブジェクト」とは，仮想現実内のオブジェクトであり，ビットのパターンで構成されたものである．私はチャーマーズの主張をインターフェイスデザインに応用してみたい．彼の主張が真だとすると，私たちはインターフェイスにおいて「デジタルオブジェクト」を幻影ではなく「完全に実在する物体」として体験していることになる．これは直観に反す...
続きを読む

画面分割と認知に関するメモ

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る． なぜだろうと思いつつ，マイク・フィグスの「 時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである． 画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発...
続きを読む

「非-用具的道具」？

A Demonstration of the Transition from Ready-to-Hand to Unready-to-Hand Dobromir G. Dotov, Lin Nie, Anthony Chemero を読んでみた．この論文についての解説は， 「コンピューターと自分は一体」：実験で検証  で読めますが引用してみる． Chemero氏の研究成果は，3月9日(米国時間)付でオープンアクセス誌『PLoS ONE』に掲載された．この実験は，ドイツの哲学者マルティン・ハイデッガーの基本概念の1つを検証する目的で行なわれた． 人間は，扱い慣れた，正しく機能している道具については特別に意識せず，道具の向こうを「透かし見る」ようにして，目の前の課題に意識を向けるものだ，とハイデッガーは唱えた．それはちょうど，靴ひもを結ぶのにいちいち自分の指を意識しないのと同じ理屈だ．すなわち，道具はわれわれ自身なのだと． この概念，「用具的」[他には「道具的」「手許的(性)」「用存的」など．英語では「ready-to-hand」＝手の届くところにあること．ドイツ語では「zuhanden」]と呼ばれ，人工知能や認知科学の研究に影響を及ぼしてきたが，これまでこの概念が直接検証されたことはなかった． ということらしい．検証されたかどうかは別にして，自分の関心のあるところを少し書いてみることにしたい．ハイデガーは道具の例としてハンマーというモノを出しているのだけれど，この論文ではマウスとカーソルとでひとつの「道具」を作って実験している．論文の著者たちは次のように，この「道具」のつながりを書いている． ハイデガーの例とアナロジーを示すと，マウスはハンマーの柄の役割をし，スクリーン上のポインターはハンマーの打撃面と同じような役割をする．[ To make an analogy to Heidegger’s example, here the mouse plays the role of the handle and the on- screen pointer figure plays a role similar to that of the hammer striking face. ] このアナロジーは妥当なんだろうか．マウスがハンマーの柄であることはい...
続きを読む

矢印についての寄せ集めメモ

「矢印」について考えたいと思っていて，Youtube で見つけた動画．いろいろなところに矢印があるな． 以前，教えてもらった廣村正影さんの矢印関する仕事も気になる． 矢印　意識と行動予測の視覚化 去年銀座で展覧会やったときにいくつかのムービーをつくったんですね。矢印っていうのは面白いなって思ってサインをやることになると矢印たくさんつかうじゃないですか。それで矢印が動いたらどうなるんだろうなって思ったんですよ。人間の頭に矢印をつけて歩いてもらったらどう見えるんだろうなって思ったんですよ。頭に矢印ついてると、興味がある方向に少しぶれたりするんじゃないかなって思ったんですね。  地球大学クリエイティブ 第2回　廣村正彰「意味のコンテクストをデザインする 」from tamalog （C）廣村正影 2次元（2 dimension）の平面的とも言えるサインデザインが、3次元（3 dimension）の空間の中に位置付けられたときにいかなる視覚効果をもたらすかということに注目し、これまでの「サイン計画」や「VI計画」の概念を取り払い、様々な建築家や写真家とのコラボレーションを手がけてきた異色のクリエイター・ 廣村正彰 。  今回の展覧会では、1階では「矢印→」や「アルファベット」をモチーフに、矢印という記号それ自体が、空間の中で動きをもった表情を得ることによって、平面にはない新たな意味をもつのではないか。  http://www.tokyoartbeat.com/event/2007/5284 ２次元と３次元のあいだを移行する「矢印→」．カーソルも含めてというか，カーソルから派生して出てきた「矢印→」そのものへの興味をどう研究に結びつけるか．アートの領域では，クレーとか，荒川修作とデュシャンとかも「矢印」を考えるうえで重要．アートとかデザインとか区別せずに，「矢印→」を中心にしてそれらをリンクさせていければおもしろことになりそう． 矢印は位置と向きと長さの３つの情報を同時に表すことができる記号だ。だから力や運動の位置、向き、大きさを過不足なく表すことができる。ふむ、そう考えるとサインに使われている矢印はたいてい情報が余ってるな。  https://twitter.com/yam_eye/status/27793247926 その際...
続きを読む

「サブシンボリックな知能」と Doing with Images makes Symbols

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions...
続きを読む

Poi vol.3 featuring Kazuhiro Jo

Nukeme さん,  渡邉朋也 さんと特集してきた「Poi」の第3号「 Poi vol.3 featuring Kazuhiro Jo 」が完成しました． 科学研究費の研究グループ「ポストインターネットにおける視聴覚表現の作者性にかんする批判的考察」は，3年目にアーティスト・研究者の城一裕さんの活動を追ってきたのですが，「Poi」としてはまとめることができずに研究期間が終わってしまいました． しかし，科研の研究リーダーだった松谷容作さんが 令和元年度國學院大學特別推進研究助成「今日的なメディア・アート状況下における理論と制作の対話に向けた新たな概念の構築」 を獲得してくれたので，城さんの活動を「Poi」にまとめることができました． 目次は以下の通りです． 今回は，城さんの活動をまとめるだけではなく，「Poi」の活動そのものへの批判的考察として，「Poi」の活動に常に力を貸してくれてた田川莉那さんに「 ポストインターネットにおけるアートを批判的に判断するための前提の考察 」を寄稿してもらいました．また，デザインはいつもの増田展大さんから，同志社女子大学の大島千佳さん，加藤綾羽さんに変わっています． 私の手元に23部配布できるものがありますので，希望者の方は以下のフォームに記入をお願いします😊　また，後ほど，PDF版も配布予定です🙇‍♂️→ PDF版のPoiの置き場🗃 https://www.dropbox.com/sh/3qidkzvrf3j8xao/AAAgUrhHBQ_f6XduSXIrU3zZa?dl=0 読み込んでいます…
続きを読む

Poi Vol.2 featuring Tomoya Watanabe_PDF

科研費「ポストインターネットにおける視聴覚表現の作者性にかんする批判的考察」研究グループは，2017年1月7日から29日にかけて，京都の ARTZONE とともに開催した展覧会渡邉朋也個展「 信頼と実績 」を中心にして，渡邉さんを特集した「Poi Vol.2 featuring Tomoya Watanabe」を刊行しました． 渡邉さんを特集した科研費の報告書でもある「Poi Vol.2 featuring Tomoya Watanabe」を各所で配布してきましたが，より多くの人に届いてほしいためPDFの配布も行いたいと思います．下のタイトルのリンク先にあるPDFは，「A4横１枚あたり２頁＋小冊子」という設定でプリントしてステープラーで綴じてもらうと，実際の冊子の雰囲気が味わえます． よろしくお願いします😊 🗄🗄🗄🗄🗄 PDF版のPoiの置き場📚 https://shwca.se/poi 目次 イントロダクション　松谷容作 特集｜渡邉朋也個展「信頼と実績」 作品解説　渡邉朋也、きりとりめでる、水野勝仁 落合のこと　渡邉朋也 誠実さの誠実さ　砂山太一 連鎖する出来事の流れの一部となり その全体をうまく動かすこと　 秋庭史典 論考｜サイボーグの歌声 デジタル音楽をめぐる試論　 秋吉康晴 編集責任：松谷容作 ゲスト：Nukeme 編集：秋吉康晴、田川莉那、増田展大、水野勝仁 協力：守屋友樹 デザイン：増田展大 発行：2017/09/25 印刷・製本：株式会社太洋堂 主催：科学研究費基盤研究(C) 「ポストインターネットにおける視聴覚表現の作者性にかんする批判的考察」 研究課題番号：15K02203 研究代表者:松谷容作(同志社女子大学)
続きを読む

Poi Vol.1 featuring Nukeme_PDF

科研費「ポストインターネットにおける視聴覚表現の作者性にかんする批判的考察」研究グループは，2015年11月30日から12月21日にかけて，同志社女子大学京田辺キャンパス内 msc ギャラリーで開催された展覧会・Nukeme「Old School」を中心にして，ヌケメさんを特集した「Poi Vol.1 featuring Nukeme」を刊行しました． ヌケメさんを特集した科研費の報告書でもある「Poi Vol.1 featuring Nukeme」を各所で配布してきましたが，より多くの人に届いてほしいためPDFの配布も行いたいと思います．下のタイトルのリンク先にあるPDFは，「A4横１枚あたり２頁＋小冊子」という設定でプリントしてステープラーで綴じてもらうと，実際の冊子の雰囲気が味わえます． よろしくお願いします． −− PDF版のPoiの置き場📚 https://shwca.se/poi Contents 1. Introduction 『Poi』創刊によせて（松谷容作） 2. Installation View Nukeme「Old School」展 3. Interview　《Old School》をめぐる対話 4. Lecture　OS /テクスチャ/グリッチ 5. Workshop　アイコンを彫る 6. Roundtable　ポストインターネットをめぐって 7. Essay　破壊を引き伸ばし、デジタルデータと物理世界を干渉させてモアレをつくる（水野勝仁） 編集責任：松谷容作 ゲスト：Nukeme 編集：秋吉康晴、田川莉那、増田展大、水野勝仁 協力：二瓶晃、前田真由子 デザイン：増田展大 発行：2016/07/31 印刷・製本：株式会社太洋堂 主催：科学研究費基盤研究(C) 「ポストインターネットにおける視聴覚表現の作者性にかんする批判的考察」 研究課題番号：15K02203 研究代表者:松谷容作(同志社女子大学)
続きを読む