ÉKRITS連載_最小化された行為の先にある合生的認知 - インターフェイスを読む #7


エクリでの連載「インターフェイスを読む」を更新しました．第7回目のタイトルは「最小化された行為の先にある合生的認知」となります．

科研「生命と物質に関わる理論的調査と制作実践」で「物質としてのインターフェイスの生命化」ということを考えつつ，ヒトとコンピュータとのあいだで起こる「予測」の曖昧さについて考察しようと，iPadOSの「磁性」について書こうとしていました．ですが，その前にiPhone 13 Pro に実装された指の動きに連動するProMotionを考えてみたくなり，今回はこちらを考察しています．これまでの連載で考えたこと，エキソニモ論文での「認知者」という概念などをリンクさせるテキストになりましたので，読んでもらえると嬉しいです🙏

このブログの人気の投稿

インスタグラムの設定にある「元の写真を保存」について

インスタグラム の設定にある「元の写真を保存」，英語だと「Save Original Photos」という項目が気になる．デフォルトだと「オン」になっているので撮影した写真にフィルターをかけたものと「元の写真」が残ることになる．「オフ」にするとフィルターをかけた写真しか残らない．設定で「オリジナル」が消去される．ここには「オリジナル」という言葉が「軽く」扱われるというか，それが「設定」のひとつの項目になったんだという感じがある． http://en.wikipedia.org/wiki/File:Instagram_versione_(santa_fiora,_peschiera).jpg 「オリジナル」は消去されるが，フィルターをかけた写真は残る．オリジナルが消えているのだから，フィルターをかけたものが「オリジナル」となるのだろうか？　「オリジナル」かどうかというよりも，「インスタグラムらしさ」ということが重要なのかもしれない． この前のトークで ，ラファエル・ローゼンダールがウェブ上の自分の作品に「これがオリジナル！」という意味では「オリジナルはない」ということを言っていたが，インスタグラムという代表的な写真アプリの設定項目を見てみても，ポスト・インターネットという状況では「オリジナル」という言葉を取り巻く環境が変化していることは間違いない．
続きを読む

画面分割と認知に関するメモ

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る． なぜだろうと思いつつ，マイク・フィグスの「 時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである． 画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発...
続きを読む

スケッチパッドで描く、ふたつの手（１）

１．記録映像に映るふたつの手 ひとつの動画ファイルがある．そのファイルを再生すると，1962年の夏に撮影されたアイヴァン・サザーランドが開発したシステム「スケッチパッド」の映像が，グラフィカル・ユーザ・インターフェイスの基礎を築いたアラン・ケイによる説明とともに映し出される．そこでは黒い画面に白い線が，ペンで描かれていく．ケイが紹介していることからも，このスケッチパッドが，コンピュータの歴史の中で大きな影響力を持っていることが伺えるが，実は，このシステムに実際に触れた人はごく限られている．アラン・ブラックウェルとケリー・ローデンは，サザーランドの博士論文の電子版の前文で，スケッチパッドは，マサチューセッツ工科大学（MIT）のリンカーン研究所でカスタマイズされたマシン，TX-2 でしか動かなかったので，その影響力は，論文と使用状況を撮影したこの記録映像によって広まったと書いている 1 ． その記録映像には，ディスプレイ横にあるボタンを押す手とディスプレイにライトペンと呼ばれるペンで線を描いていく手が映っている．また，これらふたつの手がまったく映っていないときに，白い線が規則的に動くということも記録されている．描く手を必要とせずに線が動いているのであるが，その線の動きには摩擦や空気抵抗が感じられない．そして，この摩擦や抵抗のなさは，ライトペンで線を描いている際にも同様にみることができる．今から，40年以上も前に撮影され，サザーランドのアイディアを多くの人に伝え，スケッチパッドを「個人によって書かれた最も影響力のあるコンピュータ・プログラム 2 」という地位にまで押し上げたこの映像は，何を示しているのであろうか． 私は，以前，スケッチパッドが「変換」という原理でイメージを生み出す装置であることを示した 3 ．それは「痕跡」との一致という原理を逃れたイメージを描けるということである．この映像で，手が全く映し出されていないときに線が規則的に動くという，ある意味，マジックとも言えるようなシーンは，そのことを示している．このマジックは，後にケイが「最初のコンピュータ・グラフィックス・プログラムだということばかりでなく，スケッチパッドにはすばらしい面がたくさんあった．単に何かを描くための道具でなく，常に正しい法則に従って描くプログラムだったね．スケッチパッドで正方形を描こ...
続きを読む

Paddles ON! London に関してのいくつかのメモ

2013年の10月にニューヨークで開催されたデジタルアートのオークション「 Paddles ON! 」が，今度はロンドンで開催される．23作品が出品されている．出品作品をざっとながめると「絵画」が多い．絵画といってもデジタルペイントが多いが，そのなかには Jeanette Hayes《Press ESC to Escape》2013 のような油絵具を使ったものもある．この作品が象徴的なのだが，今回のオークションで取り扱っているのは「デジタル」の作品ではなく，「『デジタル』『インターネット』を通過した後」の作品であるため，その表現媒体に必ずしも「コンピュータ」を用いているわけではない． JEANETTE HAYES Press ESC to Escape, 2013 Lot Number 12 Oil on chromogenic print on canvas 77.5 x 94 cm (30.51 x 37.01 in) Courtesy of the artist Estimate £1,000 - £1,000 特別な絵画手法でデジタルな題材を描いて，インクジェットように見えながらよく見ると絵画といった作品をつくる Michael Staniak は自らのことを「ポスト・インターネットアーティスト」だと見なしている．「ポスト・インターネット」という言葉は多く使われてきたが，アーティスト自身が自らを「ポスト・インターネットアーティスト」と呼ぶことに，この言葉が使い古されたものになったことを強く印象づけられた． MICHAEL STANIAK IMG_885 (holographic), 2014 Lot Number 7 Casting compound and acrylic on board with steel frame 121.2 x 91.2 cm (47.72 x 35.91 in) Courtesy of Steve Turner Contemporary Signed on the reverse Estimate £3,500 - £4,750 今回の出品作品では，Yung Jakeによる「カーソル」の映像作品《 Squiggle 》2014とYuri ...
続きを読む

村本剛毅『Beautiful Medium』への寄稿

村本剛毅『Beautiful Medium』に「 私は何か大切なことを忘れているような気がする／Something at the core of my being feels absent 」を寄稿しました。 村本さんの《Imagraph》体験をもとに、〈視界〉と「視界」という二つの言葉で見るということを考えました。テキストを翻訳する過程で、視界の区別を明確する必要が出てきたため、〈視界〉＝vision-after-seeing、「視界」＝vision-before-seeing となりました。 英語で視界の区別を明確にして、vision-before-seeing と書いたときに、わたしは不思議な体験をしました。自分が見ているものから「見る」ということがなくなったのです。わたしの主観的な〈視界〉でもなく、スマホなどデバイスが世界を記録した［視界］でもない、ただの「視界」というものがあって、そこではわたしなしで「見る」ことが起こっているのではと感じたのです。とても怖くなりました。それは「世界が剥がれておちていく感じ」で、世界の底に触れてしまった、という感覚でした。 そのとき、村本さんの個展で《Training Wheels》を体験したときには、どうしてもそれをイメージすることができなかった「（これを通して、）見なさい、何もないと信じながら／ （Through this,）See, while believing that there is nothing.）を、わたしはとても強いリアリティを伴って、理解できてしまったのです。その理解とともに、わたしはわたしというものではなくなって、世界も世界ではなくなって、力となってしまったような気がしました。強烈な体験でした。 そのような体験をわたしにもたらしたテキストを掲載されている『Beautiful Medium』は、村本さんの サイト から購入できます。ぜひ、読んでみてください。
続きを読む

マジックマウスの慣性スクロール / Magic Mouse Scroll with momentum.

マジックマウスの慣性スクロール．iPhone でもできてしかも気持ちいいけど．マジックマウスの慣性スクロールも気持ちいい．同じ慣性スクロールなので，やっている行為，指の動きは同じで，ディスプレイ上のイメージの動きも同じ．でもなんか違う．iPhone は，とても滑りのいいガラスの上を指がすいすいと動いて，その指にイメージが反応している感じ．ガラスの滑らかさとイメージの指への吸い付き．マジックマウスは，すこし滑りがわるいプラスチックの表面なんだけど，緩やかな傾斜がついているので，指をその傾斜に沿わして動かしている感じ．指にイメージが反応しているのは一緒だけど，プラスチックも指に吸い付くし，イメージも吸い付く感じ．プラスチックの表面に指が物理的にくっつくことが少し気になる．でも，一番の違いは，iPhone は直接的にイメージに触れているように見えているのに対して，マジックマウスは，指とイメージとが離れているということなのでしょうか．最初は，マジックマウスの傾斜が重要かなとも思ったんですが…．でも，この傾斜は人差し指で行ったり来たりするときに，私にとってはとても気持ちいい． どちらにしても，この慣性スクロールは，私たちの物理的世界の慣性をコンピュータの論理世界に入れてしまったわけです，でも，それも論理で実現されているわけです．まわりまわって，いつも私たちが体験していることが，ディスプレイ上のイメージで表現されるとなんか気持ちよさを感じてしまう．少し違うか．慣性というものだけが，ディスプレイ上のイメージに入り込んでいるから気持ちいいのか？　世界の物理法則の一部を切り取って，イメージに入れ込む．それも，私たちの行為にピタリと合った形で．そうすると，実現しているのは物理世界で起こっていることなんだけれど，体感としては何か新しいことが起こっているように感じてしまっているのか？　 この新しく感じてしまう慣性スクロールとそれを行う表面の形状の関係について，最初に考えたのは，マジックマウスの緩やかな傾斜は，傾斜に対して私たちは日頃昇るときも勢いをつけるし，下るときは自然と勢いがついてしまうことと関係しているのではということでした．それが，プラスチックの表面という滑りの悪さを補うのかと．でも，私たちの物理世界から慣性だけを切り取って，それを指の...
続きを読む

メディア映像史 （2025年度水野担当分）の授業資料

  今年度も愛知県立芸術大学のメディア映像専攻で「メディア映像史」を担当しました。15回中5回を「インターフェイスとともに考えるメディア映像史」という感じで、インターフェイスの歴史を振り返りました。 今年度は、AIを使って授業資料の修正をしていったので、授業全体を貫く理論的な枠組みがだいぶ整理できたと思います。ボームの「内蔵秩序／顕前秩序」と「enfold／unfold」を導入したことで、情報体を固定された実体ではなく、「渦」のような運動のパターンとして語れるようになりました。これによって、入不二基義が『 問いを問う 』で展開していた「情報」に関する議論をそのまま使うのではなく、自分なりにずらして使う足場ができたと感じています。 2回目では、「合生的行為」と「合生的認知」を明確に定義して、スケッチパッドからマウス、重なるウィンドウまでを「行為が先、認知が後」という流れで一貫させることができました。特に、チャンギージーの「透視仮説」を重なるウィンドウと結びつけたことで、ケイのスローガン「Doing with Images makes Symbols」の読み直しにつながりました。「イメージの操作」は透視仮説に基づく層状の認知であり、「シンボルの生成」は立体視仮説に基づく収斂型の認知である、という対比が見えてきたのは大きかったです。 3回目のカーソル回は、大幅に書き直しました。AIを使うと、自分でやるともったいないな 、せっかく書いたのだからと思ってしまうところをバッサリと削除できて感激です。カーソルを「ミニマルセルフの情報的現れ」として位置づけ、物理空間と情報空間を縫い合わせる「縫い針」というメタファーで整理したことで、4回目のiPhone以降の話への接続がスムーズになりました。 4回目は今年度の新しい試みで、カーソルの消失から「自己の宙吊り」を経て、「処理の共同層」という概念を導入しました。スキューモーフィズム→フラットデザイン→マテリアルデザインの変遷を、合生的行為と合生的認知がそれぞれ処理の共同層で最適化されていくプロセスとして読み替えたことで、デザイントレンドの話ではなく、ヒトとコンピュータの関係の変容の話として語れるようになりました。このあたりは、引き続き、考えていきたいことになっています。 5回目では、AIをどうしても扱いたかったし、扱わない...
続きを読む

2025年の振り返り🥸🦆

2 025年はこの投稿を含めて12本の記事を書いています。2024年が12本なので、同じ数ですね。ちなみに note には37本 の記事を書いています。そのほか、2024年からずっとしずかなところで、毎日テキストを書くようにしていて、2025年終了までに589本の記事が上がると思います。こちらにテキストを書いて，noteにまとめるという流れが出てきたので、noteの投稿が増えていて、毎週投稿できるようになっています。 2025年は2月に授業資料をあげるところからスタートしています．愛知県立芸術大学でやっている「メディア映像史」で私が担当している5回分の授業資料をアップしました。2年目になる女子美術大学で「メディアアート概論」の5回分も投稿していますね。 メディア映像史 （2025年度水野担当分）の授業資料 メディアアート概論（2025年度水野担当分）の授業資料 女子美のメディアアート概論の授業は「プロセスの中での変化を捉える」という方法論を、授業設計として実装したものだと思います。2025年にAIとともにレビューを書きながら考えてきたことが、学生に教えることを通じて形になったような気がします。そしてAIを使って授業資料をアップデートしたことや、授業で学生の前でAIを使うことも、一つの変化だったかな。 そして、メディア映像史の授業資料はカーソルと身体とコンピュータの関係から考えたことが残っている気がします。「1つの私と複数の世界の現れ」があって、それらをリンクするメディウムとしてコンピュータが機能している。そして、コンピュータを操作するのは、もはや「私だけ」ではないということを、私は2025年に強く実感するようになっています。カーソルを操作するのは、私だけでなく、AIエージェントもするよね。 自分の大学で担当している「メディアアート論」の授業資料はあげ忘れていますね。2024年度も上げていないので、過去の自分が何か考えたかな。来年度は上げるようにしよう。 2月には、私も運営委員になっているけど、難波阿丹さんが色々とやってくれている日本映像学会の「 映像身体論研究会」 で「『ポストインターネットにおいて，否応なしに重なり合っていく世界』から考えていること」という発表をしました。 7年前の論文を紹介するという奇妙な体験でした。難波さんのお父さんである 難波和彦さんが発表終...
続きを読む

お仕事：ヒューマンインターフェースの歴史 ：「よくわからない」から、身体で感じるコンピューターへ

TELESCOPE Magazine で「 ヒューマンインターフェースの歴史 ：「よくわからない」から、身体で感じるコンピューターへ 」という記事を書きました． タイトルのようにヒューマンインタフェースの歴史に関するテキストです．テキストのリード文です． 人間とコンピューターとが触れ合う場，それがヒューマンインターフェースである．マウスを使うとか、ディスプレイに触れるとかの行為だけにとどまるのではなく，これらの行為を通じて人間がより賢く，豊かになっていくひとつの環境なのだ．それゆえにヒューマンインターフェースは、これからの人間のあり方を決める大きな要素とも言える．このテキストでは人間とコンピューターとの関係を決定してきた「ヒューマンインターフェースの歴史」を概観する． 博士課程時代に「インターフェイス」について研究していました．そこではこんな博論を書きました．上のテキストで「インターフェイス」に興味を持たれた方に読んでもらえたらうれしいです． 博士学位申請論文「 GUI の確立にみる『ディスプレイ行為』の形成過程 」，名古屋大学大学院情報科学研究科，2009年１月  コンピュータがアナログからデジタルへとイメージの性質を変化させるだけではなく，道具の変化を促し，ヒトの身体的行為を変化させていることを考察した． GUI というディスプレイ上のイメージの変化ともに，ヒト行為とイメージとが結びつき「ディスプレイ行為」という新たな行為を形成したことを提示した． GUIというものを工学的視点ではないところから考えてみたかったし，今も考えています．近頃，「インターフェイス美学」というものが海外でちょっと盛り上がっているみたいです．私の論文もこういったところにカテゴライズされると面白いなと思っています．そして， Rhizome の記事「 Interface Aesthetics: An Introduction 」が「インターフェイス美学」についてコンパクトにまとめています． この記事を書いた JASON HUFF という人は，「 Beyond the Surface: 15 Years of Desktop Aesthetics 」という記事も書いています．
続きを読む

サマーウォーズ：身体とアバターのデザイン（１）

ようこそOZの世界へ OZは，世界中の人々が集い， 楽しむことができるインターネット上の仮想世界です． アクセスはお持ちのパソコン，携帯電話，テレビなどから簡単に行えます． では，これからOZの世界を体験してみましょう． グレーゴルの苦悩とOZの楽しさ 「OZ」は，映画「サマーウォーズ」に登場したひとつの仮想世界です．OZに住むためにはアカウントを登録して，自分の分身となるアバターを設定する必要があります．OZの説明では次のように言われています．「まずはあなた自身のアバターを設定しましょう．アバターとはOZ上でのあなたの分身です．服，ヘアスタイル，尻尾などあなたの思うままに着せ替えできます．かわいいアバターができましたね」この説明とともに，画面上でははじめに白いヒト型のアバターが提示されて，それを頭，胴体，足といった順番で自分の好きなかたちにしていく様子が描かれています．ここで行われているのは，仮想世界上での自分を作ることであり，それは自らの身体をデザインすることでもあります．自分の身体をデザインするとは少しおかしな感じです．持って生まれた身体ではなく，ゼロから自分の身体を作る機会をもつことは，今までなかったことです．けれど，自分の身体をヒトのかたちではないものも含めて，自由にデザインすることが許されているのが，OZであり，仮想世界なのです．そこでは，好きな動物にもなれるし，空想上の何かになることもできます． 何にでもなれてしまう．とてもいい感じです．しかし，ここでちょっと考えてみましょう．自分の身体が自分以外というか，ヒトのかたちではなくなるというのは，どうゆうことなのでしょうか．例えば，チェコの作家フランツ・カフカは『変身』という短編小説を書きました．小説の書き出しはこうです． ある朝，不安な夢から目を覚ますと，グレーゴル・ザムザは，自分がベッドのなかで馬鹿でかい虫に変わっているのに気がついた．甲羅みたいに固い背中をして，あおむけに寝ている．頭をちょっともちあげてみると，アーチ状に段々になった，ドームのような茶色の腹が見える．その腹のてっぺんには毛布が，ずり落ちそうになりながら，なんとかひっかかっている．図体のわりにはみじめなほど細い，たくさんの脚が，目の前でむなしくわなわなと揺れている．(p.32)  ...
続きを読む