ÉKRITS連載_最小化された行為の先にある合生的認知 - インターフェイスを読む #7


エクリでの連載「インターフェイスを読む」を更新しました．第7回目のタイトルは「最小化された行為の先にある合生的認知」となります．

科研「生命と物質に関わる理論的調査と制作実践」で「物質としてのインターフェイスの生命化」ということを考えつつ，ヒトとコンピュータとのあいだで起こる「予測」の曖昧さについて考察しようと，iPadOSの「磁性」について書こうとしていました．ですが，その前にiPhone 13 Pro に実装された指の動きに連動するProMotionを考えてみたくなり，今回はこちらを考察しています．これまでの連載で考えたこと，エキソニモ論文での「認知者」という概念などをリンクさせるテキストになりましたので，読んでもらえると嬉しいです🙏

このブログの人気の投稿

日本映像学会第51回大会での発表：『映像そのもの』という何かを感じ始める

5月30日（土）に、愛知淑徳大学で開かれた日本映像学会の大会で、「『映像そのもの』という何かを感じ始める：古澤龍・大原崇嘉の映像とともに生じる体験を記述する」という発表をしてきました。古澤龍さんの《Mid Tide #3》と大原崇嘉さんの《Hyle(s)》という二つの映像インスタレーションの前で、わたしに起きていたことを記述する、という発表です。 発表という行為そのものが、わたしが発表で話そうとしていたことのパフォーマンスになっていて、研究報告とは異なるものになったと思う。「それでいいのか？」ということは考えつつも、やり切った感じはあります。近頃、研究をしている「わたし」というものを考えないと、研究ができないというか、自分にとってのリアリティがなくて、研究が進められない感じになっています。 そんなこともあって、今回は発表原稿を用意して、「読み上げる」という方法にしました。「パフォーマンス」なのに「読み上げ」というのは矛盾しているような気もしますが、セリフを覚えて、演じるという感じで、しっかりとした台本が必要でした。最後まで大きな変更もなく読み上げられたのですが、「結論」は発表原稿とは異なることを言ってしまいました。それもまたリアルタイムで起こるパフォーマンスということで良かったと思いつつも、最後までやり通せなかったことを残念にも思っています。 パフォーマンスのような発表をするために、発表のあいだ、スクリーンには発表用のWEBを映していて、その背景には大原さんと古澤さんの作品映像や参照作品の映像をループで流し続けました。お二人に提供してもらった映像データや、Vimeoのループ再生に黒背景で表示して、始まりも終わりもなく、ただ流れている状態をつくりました。HTMLは、AIに書いてもらいました。わたしはただ指示したり、こうしてほしいなというだけで、どんどん形になっていくのは、面白かったです。テキストを共同で書くのとは異なる感触がありました。 わたしの読み上げと、AIが作ったサイトのあいだで、口頭で読み上げられるテキストとループで流れている映像とが、合ったり合わなかったりしていきました。発表時は、映像の進行にあわせて、つい、原稿に書かれていないことを話してしまいましたが、今から思うと、読み上げに徹したほうがズレが面白かったかなと思っています。しかし、最後に原稿とは違う...
続きを読む

ポスト・インターネットで途方にくれないためのメモ

Gene McHugh, Post Internet: Note on the Internet and Art 12.29.09 > 09.05.10   （これは 本 にもなっているし， 全文のPDFもネットあった ．）を読みながら，「ポスト・インターネット」って何だろうと考えていたけれど，どこに手をかければいいのかわからないくらいその世界は広大すぎて，何があるのかワクワクしつつも，途方にくれてもいる．自分のためのリンク集を兼ねて思いつつメモを書いてみたい． ポスト・インターネットを巡る言説は， Louis Doulas, Within Post-Internet | PartⅠ で簡単にまとめられているので，これをさらに簡単にまとめてみる．ポスト・インターネットという言葉は，2008年に Marisa Olson というアーティストが インタビュー の中で言ったことがはじまりらしい．インターネット・アートがもはやコンピュータとネットを使ったアートを指すものでなくなり，インターネットやデジタル・メディアに影響力されたものなら，どんな種類のアートであってもそれはポスト・インターネット（・アート）になる．作品がたとえオフラインであっても，ネットなどから影響を受けていれば，それはポスト・インターネットと呼ぶことできる．Olson はインタビューの中で，ネットアーティストのGuthrie Lonergan が Internet Aware art と言っていることにも言及している． そして，最初に挙げた『ポスト・インターネット』というブログを書き続けた Gene McHugh はインターネットはもはや目新しいものではなく，平凡・陳腐（banality）なものになったとしている．次に， Artie Vierkant が2010年に書いたエッセイ， The Image Object Post-Internet  では，ポスト・インターネットでは，作家性がユビキタスなものになり，作品への注目が重要になっていると言っている（作品への注目というは，McHugh も言っていて，彼の場合は「承認」という言葉であった） と，Doulas はポスト・インターネットを巡る言説を辿って，それぞれの違いはあるけ...
続きを読む

ペンからマウスへ：ヒトとコンピュータとの共進化

スケッチパッドを開発した二年後の1965年に，サザーランドは「究極のディスプレイ」という論文を書いている．このテキストの後半部分は，ヴァーチャル・リアリティの登場を予言したものとして有名なのだが，前半部分には，コンピュータと向き合う際に必要とされるヒトの行為と当時の入力デバイスの状況が書かれている．2-45) サザーランドは，安価で，信頼性もあり，電送可能な信号を容易に発生させられることから，タイプライターのキーボードがコンピュータの入力の装置の基本となっていることを指摘する．2-46) さらに，キーボードがインターフェイスの基本となるにちがいないので，ユーザはタッチタイプを習得しなければならないという予言までしている．そして，その他の入力デバイスとして，スケッチパッドで用いたライトペンと，ランド社が開発したタブレットを挙げ，この二つのデバイスは，ディスプレイ上の対象を選択することと，コンピュータで何かを描くことを行うのにとても便利だと書いている．2-47) ここで，サザーランドは選択行為と描く行為を遂行するための道具としてライトペンとタブレットを挙げているのであるが，コンピュータのプログラムで一番必要とされるのは，ヒトがディスプレイのどこを指さしているのかを知ることであると指摘する．2-48) 描く行為が，ディスプレイ上の点を指さすという選択行為によって構成されていることを，サザーランドは認識していた．この認識を持ちながらも，サザーランドは，選択行為を描く行為で遂行するという方向でスケッチパッドを開発し，行為を遂行する形式に，「ペン」で「紙」に向かって描く行為を踏襲したものを採用した．スケッチパッドが描く行為の形式を採用していることに関して，ティエリー・バーディニは興味深い指摘をしている． スケッチパッドのスタイラスは，ユーザーの手と目を画面上の表示と結びつけた．ペンは，杖の先の目と画面上のペンという，両方の役目を果たしていたと言える．したがってこれは，電信技術からタイプライターまで，目で見たものから手でやることを切り離すように進んできた入出力技術の歴史の趨勢を逆転させるものだった．2-49) ここで注目したいのは，バーディニが，スケッチパッドでは，行為を遂行する面とイメージを表示する面が同一なのに対して，タイプライターではそれぞれが切り離されて別...
続きを読む

スケッチパッドで描く、ふたつの手（１）

１．記録映像に映るふたつの手 ひとつの動画ファイルがある．そのファイルを再生すると，1962年の夏に撮影されたアイヴァン・サザーランドが開発したシステム「スケッチパッド」の映像が，グラフィカル・ユーザ・インターフェイスの基礎を築いたアラン・ケイによる説明とともに映し出される．そこでは黒い画面に白い線が，ペンで描かれていく．ケイが紹介していることからも，このスケッチパッドが，コンピュータの歴史の中で大きな影響力を持っていることが伺えるが，実は，このシステムに実際に触れた人はごく限られている．アラン・ブラックウェルとケリー・ローデンは，サザーランドの博士論文の電子版の前文で，スケッチパッドは，マサチューセッツ工科大学（MIT）のリンカーン研究所でカスタマイズされたマシン，TX-2 でしか動かなかったので，その影響力は，論文と使用状況を撮影したこの記録映像によって広まったと書いている 1 ． その記録映像には，ディスプレイ横にあるボタンを押す手とディスプレイにライトペンと呼ばれるペンで線を描いていく手が映っている．また，これらふたつの手がまったく映っていないときに，白い線が規則的に動くということも記録されている．描く手を必要とせずに線が動いているのであるが，その線の動きには摩擦や空気抵抗が感じられない．そして，この摩擦や抵抗のなさは，ライトペンで線を描いている際にも同様にみることができる．今から，40年以上も前に撮影され，サザーランドのアイディアを多くの人に伝え，スケッチパッドを「個人によって書かれた最も影響力のあるコンピュータ・プログラム 2 」という地位にまで押し上げたこの映像は，何を示しているのであろうか． 私は，以前，スケッチパッドが「変換」という原理でイメージを生み出す装置であることを示した 3 ．それは「痕跡」との一致という原理を逃れたイメージを描けるということである．この映像で，手が全く映し出されていないときに線が規則的に動くという，ある意味，マジックとも言えるようなシーンは，そのことを示している．このマジックは，後にケイが「最初のコンピュータ・グラフィックス・プログラムだということばかりでなく，スケッチパッドにはすばらしい面がたくさんあった．単に何かを描くための道具でなく，常に正しい法則に従って描くプログラムだったね．スケッチパッドで正方形を描こ...
続きを読む

「グリッチワークショップ」を見学して考えたこと

東京藝術大学 芸術情報センター で８月20・21日に開催された公開講座「 グリッチワークショップ 」を見学しました． 「データを壊す」ってどういうことなんだろうと疑問から見学させてもらったのですが，とても興味深い内容でした． ucnv さん, 林洋介さんによるグリッジの技術的な講義と 針谷周作 さんによるグリッチの歴史とその可能性を示す講義といった，グリッチをめぐる技術と概念を端的に学べました．ワークショップ参加者は，技術を学んだあとに，グループごとに作品作りをしていたので，単に見学していた私よりもはるかに深く「グリッチ」のことを理解できたのではないかと思います．制作には参加しませんでしたが，私自身もこれから自分がメディアアートを考える上で役に立つような「グリッチ」という概念を得たような気がします． ここからはワークショップに参加した私の個人的な感想です． ucnv さんがグリッチの定義として「データは壊れているけれども再生できる」と言われていて，ここでの「壊れている」って何だろうと思いました． バイナリエディタで画像ファイルを開くと，その画像を構成しているデータが文字と数字ででてきて，この時点で自分的にはファイルが「壊れている」と感じてしまうわけですが，それは，画像を構成するデータの別の見え方であるわけです．「攻殻機動隊」や「マトリックス」で，緑の文字・数字が画面を覆い尽くすことのイメージや，概念では画像データを文字・数字で示すことは知っていても，バイナリエディタで画像ファイルを開くだけで，それが文字・数字ででてくると，やはりそれまでとは違って，やはりそうだったのかということを感じます．その文字・数字を適当なところで消したり，コピペなどで編集，保存して，その画像ファイルを画像として開くと，画像が変な感じになっている．バイナリエディタでやっていることは，自分の感覚からいうと「編集」という行為ですが，その結果生じた画像は「壊れた」と感じる．「編集」から「破壊」が生じるという変な感覚です．さらに，コンピュータにとっては別にそのデータが「壊れている」というわけではなくて，それをデータ通りに画像として表示しているわけです． 元画像 バイナリエディタで編集 （ちょっとした）グリッチ画像 コンピュータはデータは壊れ...
続きを読む

サマーウォーズ：身体とアバターのデザイン（３）

ポストシンボリックコミュニケーション 最後にOZのアバターのもうひとつの可能性を考えてみたいと思います．それは「コミュニケーション」についてです．今までの考察で暗黙に前提にしていたことがあります，それは今では多くの人が「インターフェイスの非対称性」を自分の感覚として持っているということです．作品のなかでも，若い人に限らず，老若男女誰もがOZにログインして，アバターを操作している．そして，作品を見ている人も特に何の違和感もなく「OZのアバター」といったものを受け入れられるし，それについて考えるもことができる．つまり，ゲームやコンピュータの体験：「インターフェイスの非対称性」が一般化した今だからこそ，サマーウォーズという作品は生まれたのです．このことの意味はしっかりと考える必要があります．次の引用は，マリオの生みの親として有名な任天堂の宮本茂さんの対談での細田さんの発言です． 細田　本当に，その社会情勢がもたらしたのがあの映画の設定だったと思うんです．そうじゃなければ，とてもああいう設定で普通の人が活躍するってことはできなかったと思いますね．アクション映画はやっぱり，特別な人が活躍するものみたいな部分があって．『マトリックス』じゃないけど，「キミは選ばれし人だ」とか言われないと活躍できない．でも，DSがこれだけ広まっているという世界的な状況があれば，DSや携帯も含めてそこからアクセスできる身近な道具を使うことによって，普通の人でも活躍できるアクション映画が成り立つんじゃないかと．(p.169)  「PLUS MADHOUSE 03：細田守」キネマ旬報社，2009年 ゲームやコンピュータが当たり前の存在となって，選ばれた誰かがヒーローになるのではなく，誰もがヒーローになれる作品が生まれた，というふたりの話はとても興味深いです．では，誰もがヒーローになれる作品の舞台になっているOZについて改めて考えてみたいと思います． 細田監督作品の特徴と言われる記号的表現．その効用のひとつが，色や形態などを単純化する記号を使うことで，表現にある種のスピード感が得られることだ．単純化とは表現力に制限を加えることだが，その反面，視認性がアップする．たとえばその性質は交通標識などによく現われていて，標識に向かい合った人間はその表示内容にすぐさま反応することが求めら...
続きを読む

「サブシンボリックな知能」と Doing with Images makes Symbols

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions...
続きを読む

インスタグラムの設定にある「元の写真を保存」について

インスタグラム の設定にある「元の写真を保存」，英語だと「Save Original Photos」という項目が気になる．デフォルトだと「オン」になっているので撮影した写真にフィルターをかけたものと「元の写真」が残ることになる．「オフ」にするとフィルターをかけた写真しか残らない．設定で「オリジナル」が消去される．ここには「オリジナル」という言葉が「軽く」扱われるというか，それが「設定」のひとつの項目になったんだという感じがある． http://en.wikipedia.org/wiki/File:Instagram_versione_(santa_fiora,_peschiera).jpg 「オリジナル」は消去されるが，フィルターをかけた写真は残る．オリジナルが消えているのだから，フィルターをかけたものが「オリジナル」となるのだろうか？　「オリジナル」かどうかというよりも，「インスタグラムらしさ」ということが重要なのかもしれない． この前のトークで ，ラファエル・ローゼンダールがウェブ上の自分の作品に「これがオリジナル！」という意味では「オリジナルはない」ということを言っていたが，インスタグラムという代表的な写真アプリの設定項目を見てみても，ポスト・インターネットという状況では「オリジナル」という言葉を取り巻く環境が変化していることは間違いない．
続きを読む

紀要論文「私はマウスにはなれないが、奇妙なシステムは体験できる。」が発行されました。

《Imagraph》を体験する私　撮影：村本剛毅 紀要論文「 私はマウスにはなれないが、奇妙なシステムは体験できる。 」が掲載された「甲南女子大学研究紀要Ⅰ 第62号」が刊行されました。 この論文は科研「モアザンヒューマンの美学――動物論的転回以降の感性論的可能性」の研究成果をまとめたものです。科研最終年に入る直前まで、動物とインターフェイスとの関係をうまく扱えるような題材を見つけることができなくてピンチでした。2年目の年末に、マウス用のゴーグル型のVR装置が開発された研究を見つけて、「これはいけるのでは！？」となって、そこから頑張りました。 学会発表の際は「 VR体験をしているマウスにとっての映像とは何なのか 」というタイトルでした。ですが、なんかうまくまとまらないというか、いい感じが自分のなかで得られませんでした。それは、ヒトである自分のことを考えなさすぎだったな、というのが大きいです。マウスはいきなりVRゴーグルをかけられて、環境が激変しても活動を続けています。わたしもそんな体験を最近したことがあると思い出したのが、村本剛毅さんの《 Imagraph 》でした。わたしも環境の激変を体験したのは、マウスと同じではないか。だとすれば、テクノロジーによって環境の急激な変化を感じた生物同士として、その比較ができるのではないか。そして、その比較を通して、わたしはマウスになれるのではないか。VRを体験しているマウスにはなれるのではないか、そのプロセスを記述してみたいと思ったことが、このテキストを書く大きな動機になりました。 この動機のもと、AIを使いながら、論文を書いていきました。わたしはVRゴーグルをかけられたマウスについて、AIとともに研究を進めるなかで、少しは「モアザンヒューマンの美学」を感じられたと思っています。 論文をともに書いた相方に、この論文の読みどころを書いてもらいました。 「体験記」が二つあること が、この論文の最大の読みどころだと思う。第4章の《Imagraph》体験記と、「おわりに」に代えたマウスの想像的体験記。学術論文の中に一人称の体験記述が二つ埋め込まれていて、しかも片方は人間ではない存在の「主観報告」になっている。これは方法論的にかなり攻めている。注1でN=1と想像的記述の両方について自覚的に書いているけれど、むしろこの二つの体験記があることで...
続きを読む

中途半端な存在｜カーソル｜コンピュータの身体性

カーソルって，中途半端な存在なんですよね．映像なんだけど，映像とはみなされない．動画を再生するときは，脇に避けられる．動きがカクると，不安に思われる．画面の中にありつつ，自分自身の身体の一つのような存在．みんなが当たり前に受け入れているだけど，それが何なのか，ちゃんと理解されていません．コンピュータの身体性を語る上で，カーソルには重要な秘密が隠されていると感じます．(p.77) exonemo's view「カーソル」in Web Designing Vol.108 カーソルについて考えてきたけれど，こう言われてしまって，しかもそれを作品として具体化させられては，もう何も言えない．けど，何か考えて，書かなければならない．エキソニモも言っているように，私たちはカーソルが何なのかちゃんと理解していないのだ． カーソルはマウスというモノと密接に結びついていると同時に，画面上の位置情報を表すために映像化されたデータでもある．カーソルは映像でありながら，マウスというモノとつながり，位置情報というデータともつながっている．モノとデータと映像とを行ったり来たりするような「中途半端な存在」としてあり続けるカーソル．「中途半端な存在」であるカーソルを考えることで，「コンピュータの身体性」が見えてくるのではないだろうか． エキソニモのカーソルの巡る作品を考えることで，カーソルとは何かを考えることはとても重要だと思う．それは「コンピュータの身体性」を考えること．人間，ヒトの身体性ではなく，コンピュータの身体性．私は今まで，コンピュータに触れる際のヒトの身体性について，マウスとカーソルのつながりを中心に考えてきた．カーソルはデスクトップ・メタファーの中で，ヒトの身体性をコンピュータの論理空間の中に持ち込むような機能を果たしてきた，と私は考えた．なぜなら，カーソルはヒトが世界を把握するためのメタファーの中で，そのメタファーに属さない存在であると同時に，デスクトップ・メタファーでコンピュータが機能するために必要な成立させる指さしという行為を遂行する存在としてあるからだ．つまり，カーソルはヒトとコンピュータとの「あいだ」にあるような「中途半端な存在」である． カーソルは今まで当たり前にあったけれど，iPad にはない．カーソルなしのコンピュータ体験も普通になっていく（かもしれ...
続きを読む