ÉKRITS連載_最小化された行為の先にある合生的認知

ÉKRITS連載_最小化された行為の先にある合生的認知 - インターフェイスを読む #7

4/12/2022

エクリでの連載「インターフェイスを読む」を更新しました．第7回目のタイトルは「最小化された行為の先にある合生的認知」となります．

科研「生命と物質に関わる理論的調査と制作実践」で「物質としてのインターフェイスの生命化」ということを考えつつ，ヒトとコンピュータとのあいだで起こる「予測」の曖昧さについて考察しようと，iPadOSの「磁性」について書こうとしていました．ですが，その前にiPhone 13 Pro に実装された指の動きに連動するProMotionを考えてみたくなり，今回はこちらを考察しています．これまでの連載で考えたこと，エキソニモ論文での「認知者」という概念などをリンクさせるテキストになりましたので，読んでもらえると嬉しいです🙏

このブログの人気の投稿

「ユリイカ2025年6月号　特集＝佐藤雅彦」で佐藤雅彦さんへのインタビューの聞き手をしました

7/26/2025

「ユリイカ2025年6月号　特集＝佐藤雅彦」で佐藤雅彦さんへのインタビューの聞き手をしました。編集の熊谷さんがつけたタイトル「よく考えるとすごく変」がとても気に入っています。佐藤さんへのインタビューのためのリサーチページの記録を見ると、熊谷さんからメールが来たのが5月16日だった。午前中に作業をしていたら、メールが来て、佐藤さんへのインタビュー！？、私でいいのかとドギマギして、午前中の作業は吹っ飛んだ。「佐藤雅彦」といえば、私にとって憧れというか、「とてもすごい人」だった。その人にインタビューするのか、私が… 論考なら書けるかもしれないけど、インタビューできるのか… 私がやったことがあるインタビューといえば、科研の研究でしたアーティストの山形一生さんへのインタビューだけで、しかも山形さんは全く知らないわけではない間柄でやったインタビューだから、私は仕事としてのインタビューはしたことないぞ、それでいいのか… 、と、ぐるぐると考えた結果、依頼を受けることにして、正午過ぎに熊谷さんに返信した。メールを読んで、佐藤雅彦さんへの聞き手の依頼は大変うれしくもあり、熊谷さんがしっかりと理由を書いているのを読んでもなお「なぜ私？」という気持ちもありました。しかし、私が聞き役とし適任だろうと思い浮かべた人たちはみんな企画の中に名前がありました。彼ら彼女らの論考は私自身も読みたいので、聞き手は別の人だなと思うと、私が聞き手になるというのも意外性があって面白いのではないかと、気持ちが落ち着きました。メールにも書いたように、インタビューを受けた一番の理由は、聞き役として適任だろうと私が考えた人たちは、みんな論考やエッセイの執筆に名前が挙げられていたからということであった。いや、それは表向きで、一番の理由は、やはり佐藤さんに会ってみたかっただろうな。インタビューの聞き手を引き受けた5月16日から、私は「佐藤雅彦合宿」に入った。というのも、佐藤さんの仕事は膨大にあるのと、インタビューの依頼が「これまでの活動の一つ一つを照らし出していくようなご質問」をすることだったから。佐藤雅彦関連の本を研究室で探したら、結構あって、ないものは大学の図書館で借りたり、Amazonで購入していった。そして、片っ端から読んでいったり、映像を見たりしていった。「...

日本映像学会第51回大会での発表：VR体験をしているマウスにとっての映像とは何なのか

6/01/2025

神戸大学で開催された日本映像学会第51回大会で「VR体験をしているマウスにとっての映像とは何なのか」という発表をしました。発表資料の最後に「この研究はJSPS科研費 23H00579 （モアザンヒューマンの美学――動物論的転回以降の感性論的可能性）の助成を受けたものです」と記したように、私はここ3年、動物が何かしらのインターフェイス関連の体験をしている題材を探していました。そこで見つけたのが、マウスがHMDをつけられてVR体験をする研究です。3年の科研の2年目の終わりで、マウスVR研究を見つけました🐭🥽🥸　セーフ！　これでやっと科研の研究が進められると思ったものの、研究をどうすれば進められるかと、トマス・ネーゲルの『コウモリであるとはどのようなことか』を読みましたが、主観的体験についての限界を知って、頭を抱えるだけでした。それでも、どうにか発表の形にまとめられました。今回の発表準備での変化は、NotionAIの半額オファーが来ていたので、契約して、AIを積極的に使ったことです。無制限にAIを使いながら、研究を進めました。ある程度、発表資料を書いたら、「発表資料のいい点と改善点を教えて」と聞いて、いい点を読んで「いけるぞ！」と思って気分を上げた後で、改善点で「おー、確かに」と頷きながら、自分で改善したり、AIに具体的に改善してもらったりしました。途中から、Notion AIだけでなく、比較も兼ねて、契約についてきたClaud、chatGPT、Geminiも使って、それらと対話を重ねながら、発表資料をまとめていきました👾 私はアイデアを勢いで書いたあとで、アイデア同士を接続していくのが苦手なのですが、生成AIたちはそこが得意みたいで、「そうやって、アイデアをつないでいくんだ」と感心することが多かったです。使ってみたAIで発表資料に対する的確なコメントをくれたのは、GoogleのGeminiの2,5 Proでした。同じくGoogleのNotebookLMも良かったです。特に、Geminiが発表資料をもとに書いた論文を、NotebookLMにポッドキャストにしてもらったものはおもしろかったです。発表前に流していたら、会場で笑いが起こりました。今回の発表は、一方で、マウスという主観的体験を推測するしかない存在を扱いながら、もう一方で、インターネットにあげてきた...

日本映像学会第48回大会で「インターフェイスにおけるデジタルオブジェクトの実在性」という発表をします🧐（追記：2022/06/06 発表資料の追加）

6/04/2022

Expanding the Sensory Experience with Core Haptics in WWDC2019のプレゼンテーションスライド 6月5日に京都大学で行われる日本映像学会第48回大会で「インターフェイスにおけるデジタルオブジェクトの実在性」という発表をします🧐 横浜国立大学の中川克志さんに誘われて音の研究会に出ていて，そこで考えたコンピュータの内部音というのはコンピュータメタファーと関係あるのではということから考え始めて，発表はどんどんと音自体からは離れていくものになったような気もしますが，概要を書いた3月の時点では聴こえる音と感じる音としての振動＝触覚について考えていますね．音を考えることで，ディスプレイ外の事象というインターフェイス体験で半ば意識外のことを考えられるようになった気がします．意識外のことを考えるというのは，映像学に書いた「｢認知者」としての作品──エキソニモのUN-DEAD-LINK展を事例に」から続く，ヒトがコンピュータとともに非意識的領域の情報を感覚できるようになっているのではないか，という問題意識です．ディスプレイ外の事象というのも聞こえているけど，考えられてはこなかったという点で，非意識とは異なるけど，意識のフレームの外にあったものを扱うという点では，今の私の問題意識で改めてデスクトップメタファーを扱って，ハプティックなインターフェイスにおけるデジタルオブジェクトの実在性につなげるということかもしれません．発表も概要から外れるものではないですが，もっとチャーマーズよりというか， it-from-bit-from-it な感じになっているような気がします🫡 発表概要です．インターフェイスにおけるデジタルオブジェクトの実在性　哲学者のデイビッド・チャーマーズは仮想現実と哲学の問題を扱う『Reality+』において，「デジタルオブジェクトは完全に実在する物体」と主張する．「デジタルオブジェクト」とは，仮想現実内のオブジェクトであり，ビットのパターンで構成されたものである．私はチャーマーズの主張をインターフェイスデザインに応用してみたい．彼の主張が真だとすると，私たちはインターフェイスにおいて「デジタルオブジェクト」を幻影ではなく「完全に実在する物体」として体験していることになる．これは直観に反す...

インスタグラムの設定にある「元の写真を保存」について

8/03/2013

画面分割と認知に関するメモ

2/05/2011

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る．なぜだろうと思いつつ，マイク・フィグスの「時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである．画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発...

.review に投稿するためのテキストを昨日，サインペンで殴り書きしたものをタイプした．今のところ，6382字．でも，全然まとまっていません．何となく形になってきたというところだけが救いですが…．その後，読み返して，自分で赤い入れながら考えを少しでもよくしようと頑張りました．下のツイートはそこからでてきたものです． -- カーソルが私たちに促すのは始点と終点とを決めるという単純な規則に基づいた単純な行為である．ただし，ここで一度決められた終点は，一瞬の後に始点になってしまうがゆえに，延々と始点と終点を決め続けなければならない． http://twitter.com/mmmmm_mmmmm/status/8959994500 コンピュータは，カーソルを介して私たちが延々と行う始点と終点を決め続ける行為を受け入れ，この単純な行為の繰り返しから多様なアウトプットを計算し，表示し続ける． http://twitter.com/mmmmm_mmmmm/status/8960129574 デスクトップ・メタファーをめぐる想像力の変化．1984：マウスとカーソルによって多様な行為が始点・終点の選択という単一の行為に縮減・後退し，現実／仮想という構造が前景化する． http://twitter.com/mmmmm_mmmmm/status/8960538375 1999〜：現実／仮想という構造が後退し，単一化された行為がその単一性にゆえに前景化する．デスクトップ・メタファーをめぐる想像力の反転に，カーソルが示す身体性の「ある｜なし」の重ね合わせが影響してる． http://twitter.com/mmmmm_mmmmm/status/8960699371 -- 私たちは始点と終点を決めるという単純な行為と，キーをして文字を入力するということを延々と繰り返している．キーで文字入力はタイプライターがあったけれども，始点と終点を決めるだけで，ここで始点を決めるというのは少し違うかも知れない．私たちは，カーソルをどこか目的の場所，終点を目指して私たちは動かすのだが，そこでクリックなりなんなりをしてしまったあとは，カーソルはそこに放置される．今まで私たちの身体と結びついていたのに，あっさりと放棄される．放棄されても，カーソルはそこにあり続けて，次の目的...