ÉKRITS連載_ディスプレイ上のポインタがオブジェクトに「触れる」 — iPadOSの「適応精度」から考える - インターフェイスを読む #6

 


久しぶりにエクリでの連載「インターフェイスを読む」を更新しました．第6回目のタイトルは「ディスプレイ上のポインタがオブジェクトに「触れる」 — iPadOSの「適応精度」から考える」となります．

 このテキストの元になったのは，日本映像学会での発表でした．

日本映像学会第47回大会で発表しました🧐（追記：2021/10/01） 

その後，共同研究者となっている科研「生命の物質化・物質の生命化に関する理論調査と制作実践」の研究会で発表しました．ここでは「物質としてのインターフェイスの生命化」ということを考えています．

これらの発表でもらったコメントをもとにテキストにしたいなと思っていたときに，エクリでの「インターフェイスを読む」として書くのが，最もしっくりくるのではないかと思って，エクリの大林さんに掲載をお願いしたら，快諾してもらいました．

発表では，iPadOSの「適応精度」とともに「磁性」という要素も扱っていますが，今回のテキストでは一緒に扱えなかったので，次回「磁性」を考えつつ，ヒトとコンピュータとのあいだで起こる「予測」の曖昧さについて考察してみたいです．

このブログの人気の投稿

マジック・メモ：行為＝痕跡＝イメージの解体可能性

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている． このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている． このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる...
続きを読む

スケッチパッドで描く、ふたつの手（１）

１．記録映像に映るふたつの手 ひとつの動画ファイルがある．そのファイルを再生すると，1962年の夏に撮影されたアイヴァン・サザーランドが開発したシステム「スケッチパッド」の映像が，グラフィカル・ユーザ・インターフェイスの基礎を築いたアラン・ケイによる説明とともに映し出される．そこでは黒い画面に白い線が，ペンで描かれていく．ケイが紹介していることからも，このスケッチパッドが，コンピュータの歴史の中で大きな影響力を持っていることが伺えるが，実は，このシステムに実際に触れた人はごく限られている．アラン・ブラックウェルとケリー・ローデンは，サザーランドの博士論文の電子版の前文で，スケッチパッドは，マサチューセッツ工科大学（MIT）のリンカーン研究所でカスタマイズされたマシン，TX-2 でしか動かなかったので，その影響力は，論文と使用状況を撮影したこの記録映像によって広まったと書いている 1 ． その記録映像には，ディスプレイ横にあるボタンを押す手とディスプレイにライトペンと呼ばれるペンで線を描いていく手が映っている．また，これらふたつの手がまったく映っていないときに，白い線が規則的に動くということも記録されている．描く手を必要とせずに線が動いているのであるが，その線の動きには摩擦や空気抵抗が感じられない．そして，この摩擦や抵抗のなさは，ライトペンで線を描いている際にも同様にみることができる．今から，40年以上も前に撮影され，サザーランドのアイディアを多くの人に伝え，スケッチパッドを「個人によって書かれた最も影響力のあるコンピュータ・プログラム 2 」という地位にまで押し上げたこの映像は，何を示しているのであろうか． 私は，以前，スケッチパッドが「変換」という原理でイメージを生み出す装置であることを示した 3 ．それは「痕跡」との一致という原理を逃れたイメージを描けるということである．この映像で，手が全く映し出されていないときに線が規則的に動くという，ある意味，マジックとも言えるようなシーンは，そのことを示している．このマジックは，後にケイが「最初のコンピュータ・グラフィックス・プログラムだということばかりでなく，スケッチパッドにはすばらしい面がたくさんあった．単に何かを描くための道具でなく，常に正しい法則に従って描くプログラムだったね．スケッチパッドで正方形を描こ...
続きを読む

サマーウォーズ：身体とアバターのデザイン（３）

ポストシンボリックコミュニケーション 最後にOZのアバターのもうひとつの可能性を考えてみたいと思います．それは「コミュニケーション」についてです．今までの考察で暗黙に前提にしていたことがあります，それは今では多くの人が「インターフェイスの非対称性」を自分の感覚として持っているということです．作品のなかでも，若い人に限らず，老若男女誰もがOZにログインして，アバターを操作している．そして，作品を見ている人も特に何の違和感もなく「OZのアバター」といったものを受け入れられるし，それについて考えるもことができる．つまり，ゲームやコンピュータの体験：「インターフェイスの非対称性」が一般化した今だからこそ，サマーウォーズという作品は生まれたのです．このことの意味はしっかりと考える必要があります．次の引用は，マリオの生みの親として有名な任天堂の宮本茂さんの対談での細田さんの発言です． 細田　本当に，その社会情勢がもたらしたのがあの映画の設定だったと思うんです．そうじゃなければ，とてもああいう設定で普通の人が活躍するってことはできなかったと思いますね．アクション映画はやっぱり，特別な人が活躍するものみたいな部分があって．『マトリックス』じゃないけど，「キミは選ばれし人だ」とか言われないと活躍できない．でも，DSがこれだけ広まっているという世界的な状況があれば，DSや携帯も含めてそこからアクセスできる身近な道具を使うことによって，普通の人でも活躍できるアクション映画が成り立つんじゃないかと．(p.169)  「PLUS MADHOUSE 03：細田守」キネマ旬報社，2009年 ゲームやコンピュータが当たり前の存在となって，選ばれた誰かがヒーローになるのではなく，誰もがヒーローになれる作品が生まれた，というふたりの話はとても興味深いです．では，誰もがヒーローになれる作品の舞台になっているOZについて改めて考えてみたいと思います． 細田監督作品の特徴と言われる記号的表現．その効用のひとつが，色や形態などを単純化する記号を使うことで，表現にある種のスピード感が得られることだ．単純化とは表現力に制限を加えることだが，その反面，視認性がアップする．たとえばその性質は交通標識などによく現われていて，標識に向かい合った人間はその表示内容にすぐさま反応することが求めら...
続きを読む

Paddles ON! London に関してのいくつかのメモ

2013年の10月にニューヨークで開催されたデジタルアートのオークション「 Paddles ON! 」が，今度はロンドンで開催される．23作品が出品されている．出品作品をざっとながめると「絵画」が多い．絵画といってもデジタルペイントが多いが，そのなかには Jeanette Hayes《Press ESC to Escape》2013 のような油絵具を使ったものもある．この作品が象徴的なのだが，今回のオークションで取り扱っているのは「デジタル」の作品ではなく，「『デジタル』『インターネット』を通過した後」の作品であるため，その表現媒体に必ずしも「コンピュータ」を用いているわけではない． JEANETTE HAYES Press ESC to Escape, 2013 Lot Number 12 Oil on chromogenic print on canvas 77.5 x 94 cm (30.51 x 37.01 in) Courtesy of the artist Estimate £1,000 - £1,000 特別な絵画手法でデジタルな題材を描いて，インクジェットように見えながらよく見ると絵画といった作品をつくる Michael Staniak は自らのことを「ポスト・インターネットアーティスト」だと見なしている．「ポスト・インターネット」という言葉は多く使われてきたが，アーティスト自身が自らを「ポスト・インターネットアーティスト」と呼ぶことに，この言葉が使い古されたものになったことを強く印象づけられた． MICHAEL STANIAK IMG_885 (holographic), 2014 Lot Number 7 Casting compound and acrylic on board with steel frame 121.2 x 91.2 cm (47.72 x 35.91 in) Courtesy of Steve Turner Contemporary Signed on the reverse Estimate £3,500 - £4,750 今回の出品作品では，Yung Jakeによる「カーソル」の映像作品《 Squiggle 》2014とYuri ...
続きを読む

『はじめて学ぶ芸術の教科書　写真２　現代写真ー行為・イメージ・態度』への寄稿

 『はじめて学ぶ芸術の教科書　写真２　現代写真ー行為・イメージ・態度』に「「組み合わせのゲーム」としての「テクノ画像」制作」というテキストを寄稿しました． ポストインターネット世代のアーティストのジョシュア・シタレラの「組み合わせゲーム」という作品と，メディア理論家のヴィレム・フルッサーの「テクノ画像」という概念を組み合わせて，カメラとコンピュータとが密接に結びついたあとの写真は，カメラのレンズが物質的世界を写しとるものではなく，イメージセンサーによって捉えられた光のデータの初期値とその操作になっている，ということを書いています． 目次 第1章 新星写真都市──写真芸術の過去／現在／未来 伊藤俊治 第2章 撮影行為と感情──写真家の言葉を手がかりに 甲斐義明 第3章 写真表現の現在を考える 増田　玲 第4章 写真の集塊──「Sujin Memory Bank Project」における想起の実践 林田　新 第5章 写真展示の現在 菊田樹子 第6章 写真の白、鈴木理策の白──『沈黙とイメージ　写真をめぐるエッセイ』より 竹内万里子 第7章 風景のふちに影が住む──宮本隆司《ピンホールの家》 長島　確 第8章 絵画と写真──ゲルハルト・リヒター全解 清水　穣 第9章 イメージに織り込まれていた批評性──長島有里枝の初期作品を読み解きなおす 中村史子 第10章 レジリエンスは可能か──喪失・悲嘆・病・尊厳 勝又公仁彦 第11章 電子のメディウムの時代──デジタル画像の美学 ｇｎｃｋ 第12章 「組み合わせのゲーム」としての「テクノ画像」制作　水野勝仁 第13章 メディア・環境・無意識──インフラグラム時代のリアリティ 港　千尋 第14章 写真のニュー・セオリー──写真の本性に関する急進的理解 村山正碩 第15章 私たちの世界は、いつの日か、ゴダールのものとなるのか──映像の通貨化について考える 廣瀬　純 後書き 勝又公仁彦 --- ＜電子書籍＞ リフロー型の電子テキストとして販売． ■Kindleストア 『写真概論』 www.amazon.co.jp/dp/B08VRL1B9J 『現代写真』 www.amazon.co.jp/dp/B08VRYKXYC ■honto電子書籍ストア 『写真概論』 https://honto.jp/ebook/pd_3082 2186....
続きを読む

デスクトップ・メタファーと「ディスプレイ行為」　

ここで，デスクトップ・メタファーが生み出されたパロアルト研究所に考察の対象を移したい．なぜなら，この研究所において，ディスプレイ上の対象物を指さすための道具であったマウスに，次々に新たな行為が付け加えられることになるからである． パロアルト研究所では，1973年に，アルト（図4-4）と呼ばれるシステムが開発された．アルトは，アラン・ケイや，バトラー・ランプソン，チャールズ・サッカーが中心となって開発された実験的なワークステーションであり，その大きな特徴は，ディスプレイ上のピクセルがメインメモリのビットに対応するビットマップ方式を採用していたことである．この決定は，ヒトが環境の情報を最も捉えることができる視覚を重視したインターフェイスを提供することが，マシンとソフトウェアの最大の目的であるという開発者たちの認識から導かれたものであった．そして，アルトのインターフェイスでもうひとつ重要なことは，ポインティング・デバイスとして，マウスが採用されたことである．当時，マウスは，入力デバイスとしては馴染みの薄いものであったが，スチュワート・カードによる実験によって，マウスが，ディスプレイ上の対象を指示するのに最も適したデバイスということになり，標準装備されることになった．4-42) 視覚重視の考えと，ヒトの手の原初的な感覚をコンピュータに持ち込むマウスという道具が，アルトというワークステーションで出会うことになる．     図4-4 ゼロックス社 アルト 視覚重視のアルトは，ディスプレイ上のイメージを自由に表示することができた．このことは，ディスプレイ上のイメージが示すアフォーダンスの直接的な知覚に基づく指さし選択行為とマウスとの関係に影響を与えた． エンゲルバートのシステムでは，マウス・カーソルのイメージは，単なる点であった．しかし，アルトでは，カーソルの形は，矢印（→）になる．カーソルの形が，矢印ではなく点であっても，ディスプレイ上のイメージを指さす選択行為を遂行することはできる．では，なぜ形が変わったのか．それは，ディスプレイ上のイメージを自由に表示できるようになっために，指さし選択行為の遂行に，より適したアフォーダンスを示すイメージを表示するようになったと考えることができる． ここでは，身体的行為を導くアフォーダンスとディスプレイ...
続きを読む

インスタグラムの設定にある「元の写真を保存」について

インスタグラム の設定にある「元の写真を保存」，英語だと「Save Original Photos」という項目が気になる．デフォルトだと「オン」になっているので撮影した写真にフィルターをかけたものと「元の写真」が残ることになる．「オフ」にするとフィルターをかけた写真しか残らない．設定で「オリジナル」が消去される．ここには「オリジナル」という言葉が「軽く」扱われるというか，それが「設定」のひとつの項目になったんだという感じがある． http://en.wikipedia.org/wiki/File:Instagram_versione_(santa_fiora,_peschiera).jpg 「オリジナル」は消去されるが，フィルターをかけた写真は残る．オリジナルが消えているのだから，フィルターをかけたものが「オリジナル」となるのだろうか？　「オリジナル」かどうかというよりも，「インスタグラムらしさ」ということが重要なのかもしれない． この前のトークで ，ラファエル・ローゼンダールがウェブ上の自分の作品に「これがオリジナル！」という意味では「オリジナルはない」ということを言っていたが，インスタグラムという代表的な写真アプリの設定項目を見てみても，ポスト・インターネットという状況では「オリジナル」という言葉を取り巻く環境が変化していることは間違いない．
続きを読む

児嶋啓多『ネオ東京　徘徊と書』にテキストを寄稿しました🧐

児嶋啓多『ネオ東京　徘徊と書』にテキスト「「ニュートラルな空間」で拮抗するぐにゃぐにゃの情報体と四角四面な視界」を寄稿しました✍️ 私はテクノロジーを使うことでヒトが見る以前の世界だったり，ヒトが視界を生み出す以前に「見ている」ものを表現できると考えていて，児嶋さんの試みは私の思考を視覚的に引っ張ってくれるなと思って，テキストを書きました． また，英語の翻訳もしてくれました．英語のタイトルが「Neutral Spaces: Sites of Contention Between our Amorphous Information Gestalt and Rectangular Visual」です．本文で「情報体」という言葉を使っています．翻訳者がその単語の意味を私以上に汲んでくれて，「Information Gestalt 」と訳してくれました． 「情報体」が「Information Gestalt 」となったことで，このテキストは完成したと思います🙏 写真集はこちらで購入できます． Augmented Books👉 https://www.augmentedbooks.jp/ -- 冒頭の2段落です． 「ニュートラルな空間」で拮抗するぐにゃぐにゃの情報体と四角四面な視界 児嶋啓多は『Neo Tokyo』制作のために「体にカメラを取付け徘徊」した．児嶋は歩き続け，カメラは世界を撮影し続けた．このとき，カメラと同じように彼もまた世界を東京の街を見ていたはずである．しかし，カメラが撮影した画像を見るまでは，児嶋はその風景を鮮明に思い出せないだろう．児嶋だけでなく，私やあなたもそうである．私たちは起きてから寝るまで常に世界を見ているが，カメラのようにその全てを鮮明には覚えてはいない． カメラで捉えた画像を見ながら，児嶋はかつて歩いた場所を思い出しただろう．その際，画像が示す鮮明さとは異なる感じとともにその場所のことが思い出されたのではないだろうか．なぜなら，ヒトは世界を見るだけではなく，聞く，触れるといった複数の感覚で世界からデータを受け取っているからである．カメラの画像が示す鮮明さは視覚データ以外を持たないがゆえに成立しているとも言える．私やあなたにおいても，画像のように視界を見ていると感じているが，それはその場所で得ている聴覚や触覚など...
続きを読む

それは「場所」ではない，もしくは，それは「選択範囲」ではない

Michael Manning の《 This is Not A Place 》（2013）と Jan Robert Leege の《 Selection as an Object 》（2013） This is Not A Place Selection as an Object Michael Manningの《This is Not A Place》は，ルネ・マグリットの《これはパイプではない》みたいな感じでしょうか．作品のサイトに行くと，パソコンやスマートフォン，タブレットの画像が積み重ねられ，それらのフレームのなかに「場所」の画像が表示されていて，その画像を連想させる音が再生されます．カーソルをフレームの中の画像にあわせると波紋が広がります．フレームの中の「場所」は画像でしかないし，そのフレームもまた画像でしかない．フレームも画像でその中も画像ですが，波紋のひろがりはフレームの画像でとまります．なので，波紋がフレームの画像となかの画像とは異なる次元にあることを示していますが，それらすべてが画像でしかありません．パソコンなどの画像の他に表示されている「花」もまた画像でしかありません． Jan Robert Leegeの《Selection as an Object》のサイトにいくと，選択範囲を示す点線が表示されていて，それが背景に影を落としています．選択範囲が「影」をおとす「実体」として扱われています．《Selection as an Object》の方が《This is Not A Place》よりも，メタな感じがします．画像を選択するためのツールが示す画像に「影」を付与することで「実体化」がされています．選択範囲は「影」がなくても「画像」として表示されているわけだから「実体化」しているとも言えます．しかし，それだけだとそれは見えてはいるけれども「画像」でもなくて，「選択範囲」という「機能」でしかないのかもしれません．「影」がつくことで，選択範囲はひとつの「画像」であることを示しつつ，「実体」をもつかのような感覚を見る者に与えるようになっています．今まで使ってきた「機能」が，突如ひとつの「画像」及び「実体」になってしまうのは，とても不思議な感覚です． Michael Manningの《This is Not A Place》と...
続きを読む

メディア映像史 （2025年度水野担当分）の授業資料

  今年度も愛知県立芸術大学のメディア映像専攻で「メディア映像史」を担当しました。15回中5回を「インターフェイスとともに考えるメディア映像史」という感じで、インターフェイスの歴史を振り返りました。 今年度は、AIを使って授業資料の修正をしていったので、授業全体を貫く理論的な枠組みがだいぶ整理できたと思います。ボームの「内蔵秩序／顕前秩序」と「enfold／unfold」を導入したことで、情報体を固定された実体ではなく、「渦」のような運動のパターンとして語れるようになりました。これによって、入不二基義が『 問いを問う 』で展開していた「情報」に関する議論をそのまま使うのではなく、自分なりにずらして使う足場ができたと感じています。 2回目では、「合生的行為」と「合生的認知」を明確に定義して、スケッチパッドからマウス、重なるウィンドウまでを「行為が先、認知が後」という流れで一貫させることができました。特に、チャンギージーの「透視仮説」を重なるウィンドウと結びつけたことで、ケイのスローガン「Doing with Images makes Symbols」の読み直しにつながりました。「イメージの操作」は透視仮説に基づく層状の認知であり、「シンボルの生成」は立体視仮説に基づく収斂型の認知である、という対比が見えてきたのは大きかったです。 3回目のカーソル回は、大幅に書き直しました。AIを使うと、自分でやるともったいないな 、せっかく書いたのだからと思ってしまうところをバッサリと削除できて感激です。カーソルを「ミニマルセルフの情報的現れ」として位置づけ、物理空間と情報空間を縫い合わせる「縫い針」というメタファーで整理したことで、4回目のiPhone以降の話への接続がスムーズになりました。 4回目は今年度の新しい試みで、カーソルの消失から「自己の宙吊り」を経て、「処理の共同層」という概念を導入しました。スキューモーフィズム→フラットデザイン→マテリアルデザインの変遷を、合生的行為と合生的認知がそれぞれ処理の共同層で最適化されていくプロセスとして読み替えたことで、デザイントレンドの話ではなく、ヒトとコンピュータの関係の変容の話として語れるようになりました。このあたりは、引き続き、考えていきたいことになっています。 5回目では、AIをどうしても扱いたかったし、扱わない...
続きを読む