「接触｜感知｜表示」という３層構造

iPhone4 マルチタッチの仕組み
iPhone4などに使われているこの３層構造で何か考えることができないかと思っている．３層構造がマルチタッチを実現していることには，何かしらの意味があるのではないか．フロイトのマジックメモも３層構造なので，何か考えるヒントがここにはあるような気がしている．
iPhoneは大きなマルチタッチディスプレイと革新的なソフトウェアを搭載しているので，指先だけですべてをコントロールできます．その仕組みをちょっとだけご紹介しましょう．まず，ガラスに貼付けられたパネルが，電界を利用して指先の接触を感知します．さらに複数の指による接触を識別し，ピンチして拡大，2本指でタップなどの高度なジェスチャーも読みとります．このパネルで収集した情報が，その下にあるRetinaディスプレイに伝達され，思いのままの操作をできるようにするのです．http://www.apple.com/jp/iphone/design/
保護層としての「ガラス」，接触層としての「電解を利用して指先の接触を感知する」パネル，その下にある表示層としての「Retinaディスプレイ」． パネルを「接触層」としてみたけれど，実際に指と接触しているのは「ガラス」である．しかし，指の接触を感知する層として機能している．接触層としての「ガラス」，感知層としての「パネル」となるのだろうか．「接触｜感知｜表示」という３層構造が，マルチタッチを可能にしている．これが，ディスプレイ上のイメージに「直接」触れているという感覚をつくり出している．

仕組みを説明する図では，感知層が盛り上がったりように表示されていることから，「層」というよりももっと柔軟な感じがする「膜」といったほうがいいのかもしれない．そして，図では３つがそれぞれ離れているが，実際は密着している．３つの層が密着して一枚の薄い膜として機能することで「直接」という感覚をつくり出しているのであろうか？　

このブログの人気の投稿

「非-用具的道具」？

A Demonstration of the Transition from Ready-to-Hand to Unready-to-Hand Dobromir G. Dotov, Lin Nie, Anthony Chemero を読んでみた．この論文についての解説は， 「コンピューターと自分は一体」：実験で検証  で読めますが引用してみる． Chemero氏の研究成果は，3月9日(米国時間)付でオープンアクセス誌『PLoS ONE』に掲載された．この実験は，ドイツの哲学者マルティン・ハイデッガーの基本概念の1つを検証する目的で行なわれた． 人間は，扱い慣れた，正しく機能している道具については特別に意識せず，道具の向こうを「透かし見る」ようにして，目の前の課題に意識を向けるものだ，とハイデッガーは唱えた．それはちょうど，靴ひもを結ぶのにいちいち自分の指を意識しないのと同じ理屈だ．すなわち，道具はわれわれ自身なのだと． この概念，「用具的」[他には「道具的」「手許的(性)」「用存的」など．英語では「ready-to-hand」＝手の届くところにあること．ドイツ語では「zuhanden」]と呼ばれ，人工知能や認知科学の研究に影響を及ぼしてきたが，これまでこの概念が直接検証されたことはなかった． ということらしい．検証されたかどうかは別にして，自分の関心のあるところを少し書いてみることにしたい．ハイデガーは道具の例としてハンマーというモノを出しているのだけれど，この論文ではマウスとカーソルとでひとつの「道具」を作って実験している．論文の著者たちは次のように，この「道具」のつながりを書いている． ハイデガーの例とアナロジーを示すと，マウスはハンマーの柄の役割をし，スクリーン上のポインターはハンマーの打撃面と同じような役割をする．[ To make an analogy to Heidegger’s example, here the mouse plays the role of the handle and the on- screen pointer figure plays a role similar to that of the hammer striking face. ] このアナロジーは妥当なんだろうか．マウスがハンマーの柄であることはい...
続きを読む

マジックマウスの慣性スクロール / Magic Mouse Scroll with momentum.

マジックマウスの慣性スクロール．iPhone でもできてしかも気持ちいいけど．マジックマウスの慣性スクロールも気持ちいい．同じ慣性スクロールなので，やっている行為，指の動きは同じで，ディスプレイ上のイメージの動きも同じ．でもなんか違う．iPhone は，とても滑りのいいガラスの上を指がすいすいと動いて，その指にイメージが反応している感じ．ガラスの滑らかさとイメージの指への吸い付き．マジックマウスは，すこし滑りがわるいプラスチックの表面なんだけど，緩やかな傾斜がついているので，指をその傾斜に沿わして動かしている感じ．指にイメージが反応しているのは一緒だけど，プラスチックも指に吸い付くし，イメージも吸い付く感じ．プラスチックの表面に指が物理的にくっつくことが少し気になる．でも，一番の違いは，iPhone は直接的にイメージに触れているように見えているのに対して，マジックマウスは，指とイメージとが離れているということなのでしょうか．最初は，マジックマウスの傾斜が重要かなとも思ったんですが…．でも，この傾斜は人差し指で行ったり来たりするときに，私にとってはとても気持ちいい． どちらにしても，この慣性スクロールは，私たちの物理的世界の慣性をコンピュータの論理世界に入れてしまったわけです，でも，それも論理で実現されているわけです．まわりまわって，いつも私たちが体験していることが，ディスプレイ上のイメージで表現されるとなんか気持ちよさを感じてしまう．少し違うか．慣性というものだけが，ディスプレイ上のイメージに入り込んでいるから気持ちいいのか？　世界の物理法則の一部を切り取って，イメージに入れ込む．それも，私たちの行為にピタリと合った形で．そうすると，実現しているのは物理世界で起こっていることなんだけれど，体感としては何か新しいことが起こっているように感じてしまっているのか？　 この新しく感じてしまう慣性スクロールとそれを行う表面の形状の関係について，最初に考えたのは，マジックマウスの緩やかな傾斜は，傾斜に対して私たちは日頃昇るときも勢いをつけるし，下るときは自然と勢いがついてしまうことと関係しているのではということでした．それが，プラスチックの表面という滑りの悪さを補うのかと．でも，私たちの物理世界から慣性だけを切り取って，それを指の...
続きを読む

マジック・メモ：行為＝痕跡＝イメージの解体可能性

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている． このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている． このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる...
続きを読む

「テクノロジーと表現論」（2026年度）の授業資料

京都精華大学で「テクノロジーと表現論」という授業を担当しました。全7回で、表現の道具としてのコンピュータ、そのインターフェイスの歴史を辿る授業です。Sketchpad、マウスとカーソル、ウィンドウとデスクトップメタファー、ハイパーテキスト、スキューモーフィズムからフラットデザイン、Fluid Interfaces、そしてAIを順番に読んでいきました。 この授業を準備しながら、わたしはずっと渡邊恵太さんの『 融けるデザイン 』（2015年）を読み直していました。出版から10年。10年前の本を、いまのインターフェイス体験のなかで読み直していくと、不思議なことに、この本は「これまで」の本ではなく「これから」の本に見えてきました。 授業が終わってしばらくして、渡邊さん本人のこんなポストを見つけました。 最近は融けるデザインとは何だったかみたいな話し方にシフトしてる。さすがに10年過ぎて。そこの超軽工業への話をプラスして話す感じ。 （ @100kw のポスト ） これを読んだとき、「おお！」と思いました。渡邊さん本人が「融けるデザインとは何だったか」を10年後に読み直し、そこに超軽工業への話を足して話していたことを、わたしは半期の授業で、図らずもやっていたからです。もちろん、本人の語り直しとわたしの授業がそっくり同じというわけではありません。それでも、『融けるデザイン』（2015年）を読み直し、そこに『 超軽工業へ 』（2025年）を重ねていくという流れは、意図しないまま、このポストとよく似た形になっていました。 感覚的リアリティと意味的リアリティ 授業を振り返ってみます。第1回で、わたしはまず渡邊さんの「分けない」を紹介しました。 むしろ物質も結果的には体験であり、実は情報的に捉えられる。だから情報も物質も分けない設計ができる。  渡邊恵太『融けるデザイン』（2015年）、p. 40 確かに設計面では「情報も物質も分けない」ということが行われてきたのが、この10年でした。けれど、そこから生まれる体験のほうを考えると、話はもう少し込み入ってきます。情報も物質も分けない設計のもとで、うまくいった体験は、疑問の余地なく、一つのまとまりとして立ち上がってくれます。けれど、それは本当に一つのリアリティなのでしょうか。わたしには、感覚的リアリティと意味的リ...
続きを読む

アンドレアス・グルスキー展を見て，谷口暁彦さんの習作《live-camera stitching》を思い出しました

名古屋から神戸に引っ越しました．それで国立国際美術館に アンドレアス・グルスキー展 を見に行きました．グルスキーの作品を一言で言うと「大きい」．それは写真として「大きい」ということですが，とにかくに大きい．普通の写真を見る距離でグルスキーの縦構図の作品を見ると見上げるかたちになるので，クビが痛くなります．このあたりはとても重要かと思われます．神の視点の前ではヒトは小さなものだなと，クビの痛みともに感じられるからです． といっても，グルスキーも神ではなくてヒトですから，その大きな作品を「チチンプイプイ」と言って簡単につくっているわけではなく，コンピュータで複数の画像をくっつけてつくっているわけです． パリのモンパルナス地区に位置するアパルトマンを捉えたこの作品は，グルスキーがデジタル技術によるイメージ加工を始めた頃に制作されました．二つの撮影ポイントから映された画像を組み合わせて一つの画面を作り出すことで，写真家は，建物の全体を正面から眺めることができ，かつ，アパルトマンの窓の中の一つ一つの世界を見ることの出来るイメージを完成させました． アンドレアス・グルスキー展パンフレット（国立国際美術館）  ふたつ以上の視点が入り込むから作品を見ていると混乱してきます．「あっちの視点で見ていると思ったら，いつの間にかこっちの視点に移動している」ということを写真でやられると僕の視覚はついていけずに混乱して気持ち悪くなったりしました．でも，グルスキーの作品で多い神の（上からの）視点において気持ち悪くなることなく，首の痛みだけを無視すれば自分も神になったような感じを味わっているような気がします．「神のような感覚」を味あうだけなら，グルスキーではなくて，もっと広大な俯瞰視点をとれて，自由に動き回れるGoogle Earthの方がいいかなという感じでもあります．グルスキーとGoogle Earthを比較するなんてと思うかもしれませんが，これらは「画像」として同等なものだと思います． 上の画像は「アンドレアス・グルスキー」とGoogleの画像検索してみたものです．なんで画像検索をしたかというと，多く人がこんな画像でグルスキーの作品を見ていると思われるからです．グルスキーの作品をネットで見るとちっとも大きくありません．クビも痛くなりません．神の視点と...
続きを読む

メディア映像史 （2025年度水野担当分）の授業資料

  今年度も愛知県立芸術大学のメディア映像専攻で「メディア映像史」を担当しました。15回中5回を「インターフェイスとともに考えるメディア映像史」という感じで、インターフェイスの歴史を振り返りました。 今年度は、AIを使って授業資料の修正をしていったので、授業全体を貫く理論的な枠組みがだいぶ整理できたと思います。ボームの「内蔵秩序／顕前秩序」と「enfold／unfold」を導入したことで、情報体を固定された実体ではなく、「渦」のような運動のパターンとして語れるようになりました。これによって、入不二基義が『 問いを問う 』で展開していた「情報」に関する議論をそのまま使うのではなく、自分なりにずらして使う足場ができたと感じています。 2回目では、「合生的行為」と「合生的認知」を明確に定義して、スケッチパッドからマウス、重なるウィンドウまでを「行為が先、認知が後」という流れで一貫させることができました。特に、チャンギージーの「透視仮説」を重なるウィンドウと結びつけたことで、ケイのスローガン「Doing with Images makes Symbols」の読み直しにつながりました。「イメージの操作」は透視仮説に基づく層状の認知であり、「シンボルの生成」は立体視仮説に基づく収斂型の認知である、という対比が見えてきたのは大きかったです。 3回目のカーソル回は、大幅に書き直しました。AIを使うと、自分でやるともったいないな 、せっかく書いたのだからと思ってしまうところをバッサリと削除できて感激です。カーソルを「ミニマルセルフの情報的現れ」として位置づけ、物理空間と情報空間を縫い合わせる「縫い針」というメタファーで整理したことで、4回目のiPhone以降の話への接続がスムーズになりました。 4回目は今年度の新しい試みで、カーソルの消失から「自己の宙吊り」を経て、「処理の共同層」という概念を導入しました。スキューモーフィズム→フラットデザイン→マテリアルデザインの変遷を、合生的行為と合生的認知がそれぞれ処理の共同層で最適化されていくプロセスとして読み替えたことで、デザイントレンドの話ではなく、ヒトとコンピュータの関係の変容の話として語れるようになりました。このあたりは、引き続き、考えていきたいことになっています。 5回目では、AIをどうしても扱いたかったし、扱わない...
続きを読む

インスタグラムの設定にある「元の写真を保存」について

インスタグラム の設定にある「元の写真を保存」，英語だと「Save Original Photos」という項目が気になる．デフォルトだと「オン」になっているので撮影した写真にフィルターをかけたものと「元の写真」が残ることになる．「オフ」にするとフィルターをかけた写真しか残らない．設定で「オリジナル」が消去される．ここには「オリジナル」という言葉が「軽く」扱われるというか，それが「設定」のひとつの項目になったんだという感じがある． http://en.wikipedia.org/wiki/File:Instagram_versione_(santa_fiora,_peschiera).jpg 「オリジナル」は消去されるが，フィルターをかけた写真は残る．オリジナルが消えているのだから，フィルターをかけたものが「オリジナル」となるのだろうか？　「オリジナル」かどうかというよりも，「インスタグラムらしさ」ということが重要なのかもしれない． この前のトークで ，ラファエル・ローゼンダールがウェブ上の自分の作品に「これがオリジナル！」という意味では「オリジナルはない」ということを言っていたが，インスタグラムという代表的な写真アプリの設定項目を見てみても，ポスト・インターネットという状況では「オリジナル」という言葉を取り巻く環境が変化していることは間違いない．
続きを読む

あのマウスカーソル邪魔じゃね？

.review で公開した「 カーソルの先 」のアブストに興味をもってもらった k_soryu さんから「夢オチ」という作品を教えてもらいまいた． http://www.kenshiro.tv/ から「WORK」をクリックし、左にある三角をクリックしたところにある「夢オチ」というFlashです。  「森井ケンシロウ.tv」はトップページから，画像とカーソルとの関係があってとても楽します．で，「夢オチ」なのですが，これはタイトル通り「夢」の中のお話です．とても面白い映像になっていますので，是非見てみて下さい．森井さん自身が書いていますが，クリックしてから，しばらくはなにも起きませんが，気長に映像が始まるのをお待ち下さい（私は，最初何度もクリックしてしまいましたが…）． 森井さんが作ったこの「夢オチ」では，ディスプレイ上というある種仮想空間の入口みたいなところでありながら，確かな現実として私たちが見ているカーソルが，夢の中に登場してモノ化するということが起こっています． この作品の中では，「マウスカーソル」も立派なキャラクターとして登場しています．といっても，はじめて見たときは，「マウスカーソル」が作品の中にあることなど気づきもしませんでしたが…．自分の動かしてるカーソルには注意して，作品が流れている枠の外に出して見ていたのですが，突然，作品の中の「森井さん」が「あのマウスカーソル邪魔じゃね？」と言って，「マウスカーソル」を指さして，見ている人に「カーソルをどかしてください」と言います．私はこの言葉に，ドキッとして，すぐさま自分のカーソルを動かそうとマウスに手を伸ばしました．この「ドキッ」とした感じは，映画館か何かでうっかり，プロジェクターとスクリーンの間を横切ってしまって，自分の影をスクリーンに映してしまったのを注意されたのに似たような感じです．でも，「森井さん」が邪魔と言っていた「マウスカーソル」は作品の中に予め登場していた白いカーソルのことでした． 次に，「森井さん」は「マウスカーソル」をバシッと叩きます．画面上の白いカーソルが叩き落とされます．もちろん，私のマウスとつながっている黒いカーソルは画面のどこかに何事もなくあり続けますが，作品の中の「マウスカーソル」は心地よい効果音とともに「森井さん」に叩き落とされます．ここから，「マウ...
続きを読む

日本映像学会第51回大会での発表：『映像そのもの』という何かを感じ始める

5月30日（土）に、愛知淑徳大学で開かれた日本映像学会の大会で、「『映像そのもの』という何かを感じ始める：古澤龍・大原崇嘉の映像とともに生じる体験を記述する」という発表をしてきました。古澤龍さんの《Mid Tide #3》と大原崇嘉さんの《Hyle(s)》という二つの映像インスタレーションの前で、わたしに起きていたことを記述する、という発表です。 発表という行為そのものが、わたしが発表で話そうとしていたことのパフォーマンスになっていて、研究報告とは異なるものになったと思う。「それでいいのか？」ということは考えつつも、やり切った感じはあります。近頃、研究をしている「わたし」というものを考えないと、研究ができないというか、自分にとってのリアリティがなくて、研究が進められない感じになっています。 そんなこともあって、今回は発表原稿を用意して、「読み上げる」という方法にしました。「パフォーマンス」なのに「読み上げ」というのは矛盾しているような気もしますが、セリフを覚えて、演じるという感じで、しっかりとした台本が必要でした。最後まで大きな変更もなく読み上げられたのですが、「結論」は発表原稿とは異なることを言ってしまいました。それもまたリアルタイムで起こるパフォーマンスということで良かったと思いつつも、最後までやり通せなかったことを残念にも思っています。 パフォーマンスのような発表をするために、発表のあいだ、スクリーンには発表用のWEBを映していて、その背景には大原さんと古澤さんの作品映像や参照作品の映像をループで流し続けました。お二人に提供してもらった映像データや、Vimeoのループ再生に黒背景で表示して、始まりも終わりもなく、ただ流れている状態をつくりました。HTMLは、AIに書いてもらいました。わたしはただ指示したり、こうしてほしいなというだけで、どんどん形になっていくのは、面白かったです。テキストを共同で書くのとは異なる感触がありました。 わたしの読み上げと、AIが作ったサイトのあいだで、口頭で読み上げられるテキストとループで流れている映像とが、合ったり合わなかったりしていきました。発表時は、映像の進行にあわせて、つい、原稿に書かれていないことを話してしまいましたが、今から思うと、読み上げに徹したほうがズレが面白かったかなと思っています。しかし、最後に原稿とは違う...
続きを読む

各世代の動きをとめてしまう「ベタさ」でしか「インターネットおじさん」を考えることができない

中川康雄さんの「 インターネットおじさんとデジタルネイティブ第二世代との間に横たわるもの 〜ポスト・インターネットと世代論 〜 」がとても興味深かったので，それに乗っかって「インターネットおじさん」について書こうと思ったのだけれど，上のテキストにすべて言われている感じがして頭真っ白状態です． 中川さんのテキストで，世代の同期のエッジにインターネットおじさんがいて，世代間の「イミグラント」性がインターネットおじさんを「おじさん」にしていると指摘しているところは，「そうだったのか！」と思わず膝を打ったところ． 僕は1977年生まれだから，デジタル・ネイティブではなくて，インターネットの第一世代よりも少し下のような感じ．その視点から上のテキストとは異なることを考えようとするインターネットおじさんの「身体」の強さとかいういかにも的な枠組みしか出てこない．それでは「インターネットおじさん」をつまらなくしてしまうという感じがする． エッジで同期するリアルな身体としての「インターネットおじさん」．これはもう言われている．これだけでもういい感じがすると思っているなかで粘ってみていると，「白タイツ」という衣装が肝なんではないかと思った．なぜに「白タイツ」．白タイツゆえに強調される身体と言ってしまうと，「身体性」といったベタな話しなってしまう．白タイツゆえに消える「身体性」というのもベタか．結局，「インターネットおじさん」に関してベタな捉え方しかできないというところが，僕の限界なのでしょう．世代間の同期を考えようとしてそのズレを認識できずに，各世代の動きをとめてしまう「ベタさ」でしか「インターネットおじさん」を考えることができない． 開き直って，こうした「ベタさ」から「インターネットおじさん」って生まれたのではないのかなと仮定してみる．インターネットにおける複数の世代のあいだで強制的に同期をとるためにリアルな身体を「ベタ」に導入した結果，その思惑通りに世代間のズレを停止させる「インターネットおじさん」が生まれたと考えてみる．ここでの「おじさん」は中川さんが指摘しているようなイミグラント性をもつものではなく，単に親戚や地域の「おじさん」のようなリアルな身体をもつという意味でしかないです（こういったところに出てくる「身体」，困ったときの「身体（性）」です）．そのリアル...
続きを読む