ÉKRITS連載_最小化された行為の先にある合生的認知 - インターフェイスを読む #7


エクリでの連載「インターフェイスを読む」を更新しました．第7回目のタイトルは「最小化された行為の先にある合生的認知」となります．

科研「生命と物質に関わる理論的調査と制作実践」で「物質としてのインターフェイスの生命化」ということを考えつつ，ヒトとコンピュータとのあいだで起こる「予測」の曖昧さについて考察しようと，iPadOSの「磁性」について書こうとしていました．ですが，その前にiPhone 13 Pro に実装された指の動きに連動するProMotionを考えてみたくなり，今回はこちらを考察しています．これまでの連載で考えたこと，エキソニモ論文での「認知者」という概念などをリンクさせるテキストになりましたので，読んでもらえると嬉しいです🙏

このブログの人気の投稿

紀要論文「ポストインターネットにおいて，否応なしに重なり合っていく世界」

紀要論文「ポストインターネットにおいて，否応なしに重なり合っていく世界」が掲載された「甲南女子大学研究紀要第54号 文学・文化編」が刊行されました． 紀要論文の英文アブストのためにGoogle翻訳用に書いた日本語です． この論文の目的は，インターネットの接続が常態化したポストインターネット時代の身体と世界との関係を考察することである．そのために，まずは，インターネットへのゲートウェイとして機能しているデスクトップがつくる「デスクトップ的リアリズム」を考える．「デスクトップ的リアリズム」の根幹にあるのは，重なるウィンドウを操作する体験である．コンピュータ科学者のアラン・ケイが実装した重なるウィンドウは，一つの画面にできるだけの多くの画像を配置し，それらを操作するために生まれたものである．それは，一つの画像を受動的に見るという絵画や映画とは異なり，画像の前の身体に能動的な行為を求めるものとなっている．また，重なるウィンドウがつくる多重平面的な画面構成は，二つの眼のための装置であるステレオスコープがつくる遠近法によって統合されない無秩序的な画面と類似している．重なるウィンドウとステレオスコープはともにヒトの二つの眼が元来持っている層状の知覚を活かすものとなっている．デスクトップで作業するヒトは多重平面的な層状の知覚と遠近法的な立体的知覚とが否応なく重なり合う体験をすることになる．この二つのシステムが重なり合うという現象が，デスクトップ的リアリズムの基底にあるものである．デスクトップは身体を，単眼が示した統合された世界ではなく，ステレオスコープを覗き込む二つ眼が示したようにあらゆる存在が否応なしに重なり合う世界に置くのである．     英語のタイトルとアブストラクトです． An inevitably overlapping world in the Post Internet era   The purpose of this paper is to consider the relationship between the body and the world in the Post Internet era where the connection of the Internet became ...
続きを読む

メディア映像史 （2024年度水野担当分）の授業資料

  今年度も 愛知県立芸術大学のメディア映像専攻 で「メディア映像史」を担当しました．15回中5回を「インターフェイスとともに考えるメディア映像史」という感じで，インターフェイスの歴史を振り返りました． 学生からのコメントから思考を刺激されることが多かった講義でした． 昨年度に比べて，だいぶシンプルになって，よりわかりやすくなったと思います．3回目で「カーソル」を扱うところは大幅に書き直しました．身体とカーソルとのつながりを考えつつ，重なるウィンドウについても考えが進みました．実装の仕方が間違っていたために訂正もありましたが，ウィンドウという1つのデジタルオブジェクトが「重なり」と「リスト」という2つの形式で処理されて，それをカーソルという「ここ」を示すデジタルオブジェクトが選択するということは，とても重要な感じがします．世界は1つではなく，複数の現れになるが，私の現れは1つであるということ．私は1つで，世界は複数である．そして，世界の複数の現れは，エンゲルバード曰く「n次元の情報」を制御できるコンピュータとは相性がいい．コンピュータは1つの私と2つ以上の世界の現れとリンクするののにちょうどいいメディウムとして，私の目の前にあるような気がしますということが，今感じられました． メディア映像史 （2023年度水野担当分）の授業資料 https://mmmmm-mmmmm.notion.site/19ba1dc0748180acb6b7d2ead28e8784?v=19ba1dc07481810795c5000cd25b16cb&pvs=4
続きを読む

インスタグラムの設定にある「元の写真を保存」について

インスタグラム の設定にある「元の写真を保存」，英語だと「Save Original Photos」という項目が気になる．デフォルトだと「オン」になっているので撮影した写真にフィルターをかけたものと「元の写真」が残ることになる．「オフ」にするとフィルターをかけた写真しか残らない．設定で「オリジナル」が消去される．ここには「オリジナル」という言葉が「軽く」扱われるというか，それが「設定」のひとつの項目になったんだという感じがある． http://en.wikipedia.org/wiki/File:Instagram_versione_(santa_fiora,_peschiera).jpg 「オリジナル」は消去されるが，フィルターをかけた写真は残る．オリジナルが消えているのだから，フィルターをかけたものが「オリジナル」となるのだろうか？　「オリジナル」かどうかというよりも，「インスタグラムらしさ」ということが重要なのかもしれない． この前のトークで ，ラファエル・ローゼンダールがウェブ上の自分の作品に「これがオリジナル！」という意味では「オリジナルはない」ということを言っていたが，インスタグラムという代表的な写真アプリの設定項目を見てみても，ポスト・インターネットという状況では「オリジナル」という言葉を取り巻く環境が変化していることは間違いない．
続きを読む

シンポジウムのための抜き書きとメモ

「 シンポジウム_デジタルメディア時代の視覚と世界変容 」のための抜き書きとメモ メディア論，マーシャル・マクルーハン 電気の知識を獲得して以来，われわれはもう原子を物質として語ることはできなくなった．このことは大多数の科学者がはっきりと認識していることである．さらに，電気の放電やエネルギーに関する知識が増すにつれて，電気を水のように電線の中を「流れる」ものだとか，バッテリーの中に「含まれる」ものだとか考える傾向も減ってきている．むしろ，全般的に，電気は画家にとっての空間のようなものだとみなす傾向になる．すなわち，電気は，２ないしそれ以上の物体の特殊な位置関係を包含する可変的条件，とみなすのである．もはや，電気が何かに「含まれる」とする見方はない．画家たちは，かなり以前から，対象物は空間の中に含まれるものではなくて，みずからの空間を生み出すものであることを知っていた．(pp.164-165) Most scientists are quite aware that since we have acquired some knowledge of electricity it is not possible to speak of atoms as pieces of matter. Again, as more is known about electrical "discharges" and energy, there is less and less tendency to speak of electricity as a thing that "flows" like water through a wire, or is "contained" in a battery. Rather, the tendency is to speak of electricity as painters speak of space; namely, that it is a variable condition that involves the special positions of two or more bodies. There is no longer any tendency to ...
続きを読む

お仕事：メディア芸術カレントコンテンツへの記事_27

記事を書きました→ New Museumのオンラインプロジェクト「Frist Look」で、アマリア・ウルマン氏の《Excellences & Perfections》が公開 大学の一般教養で「インターネットを通して現実をみる」という感じの授業をしているのですが，そこで「Instagram」を取り上げてみました．これまでInstagramに関してはあまり考えたことがなかったのだけれど，Instagramが実現した画像のコミュニケーションは興味深いなと思ってところで，SNSの「アーカイブ」の問題で記事を読んでいたアマリア・ウルマンの《Excellences & Perfections》を思い出しました．この作品はまた画像だからこそ，それもInstagramだからこそ成立するコミュニケーションから生まれた作品だと思います． 授業で取り上げたところ，学生さんの関心も高かったです．彼女たち自身も少なからずウルマンのように演じながら画像をあげているのかもしれませんし，そうしたことを楽しんでいるのかもしれません． 例のごとく長くなってしまったので，僕自身がこの作品をInstagramで見ていった体験を書いたところはカットしたので，ここに置いておきます． 私はこの作品をリアルタイムに体験していないので，「アートだ」という指摘の後に多くのフォロワーがどんな気持ちになったのかわわからない．私自身は「作品」としてウルマン氏のInstagramを眺めていたので，そこで起こっていることはすべてフェイクであることがわかっていた．なので，いつ「これは作品だ」というコメントがつけられるのかを期待していたところもある．Instagramをリアルタイムに見ていた人にとっては，これがアートであろうがなかろうが関係なく「アマリア・ウルマン」という女性，しかも「かわいい」女性を眺めることができればそれで良かったのではないかと，私は考えている．ウルマン氏が言っているように，かわいい女性のパーフェクですばらしい生活とそこから転落していく不幸を見ることはひとつのエンターテイメントだったのだろう．また，《Excellences & Perfections》はパソコンでも見られるのだが，できることならスマートフォンで見ることをお勧めしたい．「スマートフォン」という手のなか...
続きを読む

画面分割と認知に関するメモ

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る． なぜだろうと思いつつ，マイク・フィグスの「 時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである． 画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発...
続きを読む

「Generated X ［生成されたX］」の気配

以前も 投稿 しましたが，1月6日から恵比寿の G/P gallery で開催される小山泰介個展『Generated X』で，写真家・ 小山泰介 さんと編集者・ 塚田有那 さんとトークをします！　モデレーターはG/P galleryのディレクターであり，『 写真は魔術 』の翻訳をされた深井佐和子さんです． このトークに向けて，「クリーンな色面に重ねられたテクスチャが生み出すあらたなマテリアル」という紀要論文を書きながら，小山さんの写真について考えました．写真家つながりということで，昨年の小林健太さんとのトーク「 ダーティーなGUI 」で得たアイデア「ダーティー」と「クリーン」という区分けで，小山さんの写真を考えたらどうなるのか，という感じで論文を書きました．なので，小林さんとのトークから引き続き論文にもラファエル・ローゼンダールが登場します．物理世界はじまりの写真とコンピュータはじまりのブラウザとを対比させるには，ローゼンダールがどうしても必要となってくる感じです．そして，小山さんとローゼンダールとを結びつけるのは，データにテクスチャを付与するという行為ではないだろうか，と考えました． 紀要論文の冒頭です． 本論文は，ラファエル・ローゼンダールの作品と小山泰介の写真を参照しながら，コンピュータと物理世界とのあいだに現われるあらたな表現の可能性を考察していくものである．ローゼンダールはベクター画像という数学的な完全さを示す画像形式を用いて，傷ひとつない色面を用いた作品をウェブに発表し続けている．しかし，ウェブ上の作品を物理空間に展示する際に，彼はクリーンな色面をあえて汚すように割れた鏡や砂を床に敷き詰める．ローゼンダールは物理世界のダーティーな状況に重ね合わせて，コンピュータ上では汚すことができないベクター画像の表現の可能性を押し広げようとしている．小山はデジタル写真で光のデータそのものを表現しようとする．それは逆説的に，物理世界のテクスチャを光にデータの付与することで可能になる．小山はデジタル写真を野晒しにしたり，海に沈めたりするとともに，カメラやスキャナーを物理的に誤った操作を行なうことで，光のデータにテクスチャを重ねていく．ローゼンダールと小山の試みは，コンピュータのクリーンさとダーティーな物理世界とのあいだにあらたなマテリアルを生み出している...
続きを読む

マジックマウスの慣性スクロール / Magic Mouse Scroll with momentum.

マジックマウスの慣性スクロール．iPhone でもできてしかも気持ちいいけど．マジックマウスの慣性スクロールも気持ちいい．同じ慣性スクロールなので，やっている行為，指の動きは同じで，ディスプレイ上のイメージの動きも同じ．でもなんか違う．iPhone は，とても滑りのいいガラスの上を指がすいすいと動いて，その指にイメージが反応している感じ．ガラスの滑らかさとイメージの指への吸い付き．マジックマウスは，すこし滑りがわるいプラスチックの表面なんだけど，緩やかな傾斜がついているので，指をその傾斜に沿わして動かしている感じ．指にイメージが反応しているのは一緒だけど，プラスチックも指に吸い付くし，イメージも吸い付く感じ．プラスチックの表面に指が物理的にくっつくことが少し気になる．でも，一番の違いは，iPhone は直接的にイメージに触れているように見えているのに対して，マジックマウスは，指とイメージとが離れているということなのでしょうか．最初は，マジックマウスの傾斜が重要かなとも思ったんですが…．でも，この傾斜は人差し指で行ったり来たりするときに，私にとってはとても気持ちいい． どちらにしても，この慣性スクロールは，私たちの物理的世界の慣性をコンピュータの論理世界に入れてしまったわけです，でも，それも論理で実現されているわけです．まわりまわって，いつも私たちが体験していることが，ディスプレイ上のイメージで表現されるとなんか気持ちよさを感じてしまう．少し違うか．慣性というものだけが，ディスプレイ上のイメージに入り込んでいるから気持ちいいのか？　世界の物理法則の一部を切り取って，イメージに入れ込む．それも，私たちの行為にピタリと合った形で．そうすると，実現しているのは物理世界で起こっていることなんだけれど，体感としては何か新しいことが起こっているように感じてしまっているのか？　 この新しく感じてしまう慣性スクロールとそれを行う表面の形状の関係について，最初に考えたのは，マジックマウスの緩やかな傾斜は，傾斜に対して私たちは日頃昇るときも勢いをつけるし，下るときは自然と勢いがついてしまうことと関係しているのではということでした．それが，プラスチックの表面という滑りの悪さを補うのかと．でも，私たちの物理世界から慣性だけを切り取って，それを指の...
続きを読む

third draft for isea 2009

Seeing the ‘light-color’ seduces a new kind of touching     When we use a computer, what do we do? Almost all of us look at some image on an electric display, grab and move a mouse, and type on a keyboard, then our right hand holds the mouse in order to point to an image called an icon on the display. This is all very 'natural' for us; if our body makes some actions, then the images on the computer display change. However, this relationship between our body and the image did not exist until the computer, and especially until the Graphical User Interface, appeared.  I call this phenomenon 'Display Acts': the action formed by connecting our body action with the change of images on the electric display. Through living with the computer, we have acquired new actions in order to inhabit this new image world. In other words, 'Display Acts' is the first step for our new actions in the man-computer world. I have already discussed ‘Display Acts’ on the first computer g...
続きを読む

思考実験：念力でものを動かす

思考実験．例えば，マウスを右に動かすと思ったら，マウスが右に動く．手を使わずに，ただ動くだけ．念力とよばれているやつ．実際，今やってみても，マウスは右に動きません．ブレインインターフェイスが開発されて，試してみたとします．右へ，マウス右に動く．おおすげぇ，と思う．ペン，右手に．ペンが右手のところにくる．これは，脳の中で，ひとつの文が作られて，それに対応しているように思える．となると，二つのことの同時に行うことはできないのはないか．僕は，ふたつの文を同時に書くことも，話すことも，思うことも，今のところできない．でも，身体は，右手と左手で違うことが，同時に出来たりする．そのとき，どんな文が脳の中にあるのか． いや，頭の中に文が生じないとモノにアクセスできないと考える自体が間違っていると言われるかもしれない．もっとイメージで考えているのだと．でも，イメージで考えるとしても，やはりひとつずつものを動かすことしかできないのではないか．でも，イメージに頼らなくても，「すべて」とか「あのへんのもの」とか考えれば，一度に多くのものを動かすことができる．イメージで広い領域をとらえて，その中にあるものの動きを同時に考えることができば，同時に，並行的にものを動かすことも可能かもしれない．でも，モノを動かすとなると，なぜか，脳の中に，命令形がうかぶ．ペンを右へとか，そこの文鎮こっちへとか． なんか，考えるということが，何かを同時に動かすときにボトルネックになってきているような気がする．考える＝意識にあげることが，多くのものを同時に，各々異なる動きをつけることを不可能にしているような．脳の中だけだったら，同時にバラバラに動くものを意識できているような気がする．けど，それを現実と結びつけるとなるととても難しい．目の前にある積み木が個別に動くように意識してみても，それは個別に動くもののそれぞれの動きを全体としてひとつにまとめたものを意識しているような気がする． ここまで考えてきて，なんかマウスとカーソルのつながりと，マルチタッチ・ジェスチャーのカーソルとは関係がなくなった，カーソルが全く動かずにディスプレイ上のイメージがいろいろと動くことが，思い浮かんできた．別にマウスでなくても，トラックパッドの方がいいのだけれど．１本の指のときは，カーソルと連動している．カーソル右へと指を右に動かすとカ...
続きを読む