Vision is touch-like

この前，勝手な想像で，なぜタンジブル・メディア・グループで G-stalt のようなジェスチャー・インターフェイスが研究されているのかを書いたけれど，Axis vol.140 で石井教授自身が次のように述べていた．コンピュータをマウスで操作するインターフェースは，ブラックボックス化されていて，そこで何が起こっているのかがわかりにくい．しかし，それがジェスチャーになれば，例えば指揮者のタクトの動きでバイオリニストが音を奏でるといったような，ものごとの因果関係の連鎖が目に見えるようになる．ジェスチャーによるインターフェースの研究は，モノ，スペース，ボディーをシームレスに繋ぎ，そこに全く新しいパラダイムを打ち立てようとするものなのです．マサチューセッツ工科大学メディアラボタンジブル・メディア・グループの「ジェスチャー・インターフェース」：空間的広がりを持つダイナミックなインタラクション AXIS 2009.8 vol.140 確かに，G-stalt は「モノ，スペース，ボディーをシームレスに」繋いでいるけれど，なんでここで「イメージ」との関係性は言われないのだろうか．ジェスチャーで実際に動かしているようにみえるのは，映し出されているイメージなのでないか．シームレスでつながっているのは，「モノ，イメージ，スペース，ボディー」なのではないか．でも，石井教授は「イメージ」という言葉は入れない．もうイメージがモノなのかもしれない．そう考えれば，タンジブル・メディア・グループの次のヴィジョンである「ラディカル・アトムズ」にもスムーズにつながる．イメージを「イメージ」として考える意識が希薄化してきているのかもしえない．イメージがモノであると同時に，モノもイメージであると考えると，まったく新しいパラダイムが出てくるのかもしれない．そして，そのパラダイムは「可塑性」と関連していると思う．あと，石井教授がジェスチャーによって「ものごとの因果関係の連鎖が目に見えるようになる」と言っているところも気になる．私は，以前，マウスとカーソルとのつながりによって，コンピュータの論理と物理的な因果関係に支配された私たちの行為との間に，「見せかけの因果関係」が生じていて，それがディスプレイ上のイメージを「オブジェクト」と触れるモノに変化させていると考えた（英語で書...

マウスとカーソル：カーソルによる選択行為

3/11/2010

コンピュータのディスプレイで表現されている世界は，現実の世界ではないという単純な事実を考えなければならない．そこは，もともと，コンピュータが複雑な論理計算を瞬時に行って表示しているものにすぎない論理の世界であったはずである．そして，論理の世界は，ヒトの身体を排除しているものとして，レイコフとジョンソンが批判したものである．4-21) この事実は，コンピュータによって作り出されるディスプレイ世界には，元来，メタファーの基盤となるヒトの身体が存在していなかったことを示しているのではないか．しかし，レイコフとジョンソン，楠見，久保田の説明では，コンピュータの論理の世界に，いつ，どのようにして，私たちの身体が入り込んでいったのかということは考えられていない．ここから，ヒトの身体が，コンピュータとのコミュニケーションに入り込んでいくプロセスを詳しくみていく必要がでてくる．そして，そこには論理の世界にメタファーが立ち上がっていく様を捉えるという興味深い問題がでてくるはずである．メタファー形成の基盤となるイメージ・スキーマは，基本レベルの行為の繰り返しによって生じるものであるから，身体経験の基本レベルとコンピュータとの関係から考察していかなければならない．よって，私たちが，デスクトップ・メタファーについて，はじめに考えるべきことは，このメタファーが生み出される前に，ヒトの身体経験がその基本レベルで．コンピュータの論理世界に何らかのかたちで入り込んでいたのではないか，ということになる．この問題への手がかりを，シェリー・タークルは与えてくれる．彼女は，デスクトップ・メタファーを一般化したマッキントッシュのインターフェイスについて，次のように書いている．マッキントッシュのインターフェイス──実際はその画面──は，実物の机をシミュレートしている．私のアップルⅡの CP/M システム4-22) のような，論理的コマンドで操作される論理的インターフェイスではなく，たとえ二次元とはいえ，ヴァーチャル・リアリティだったのだ．この世界では，空間を進むのと同じように情報の中を進む．実際，マウスを手にして平面上で動かせば，その物理的な動きが，通常は矢印か指の形である指示アイコンによって，画面に反映されるのがわかるだろう．4-23) このタークルの記述には，「論理的コマンドで操作される論理的イ...

アウトライン＋メモ：カーソル／身体性の「ある｜なし」／モノ｜データ｜映像

2/09/2010

スケッチパッドで描く、ふたつの手（１）

3/30/2010

１．記録映像に映るふたつの手ひとつの動画ファイルがある．そのファイルを再生すると，1962年の夏に撮影されたアイヴァン・サザーランドが開発したシステム「スケッチパッド」の映像が，グラフィカル・ユーザ・インターフェイスの基礎を築いたアラン・ケイによる説明とともに映し出される．そこでは黒い画面に白い線が，ペンで描かれていく．ケイが紹介していることからも，このスケッチパッドが，コンピュータの歴史の中で大きな影響力を持っていることが伺えるが，実は，このシステムに実際に触れた人はごく限られている．アラン・ブラックウェルとケリー・ローデンは，サザーランドの博士論文の電子版の前文で，スケッチパッドは，マサチューセッツ工科大学（MIT）のリンカーン研究所でカスタマイズされたマシン，TX-2 でしか動かなかったので，その影響力は，論文と使用状況を撮影したこの記録映像によって広まったと書いている 1 ．その記録映像には，ディスプレイ横にあるボタンを押す手とディスプレイにライトペンと呼ばれるペンで線を描いていく手が映っている．また，これらふたつの手がまったく映っていないときに，白い線が規則的に動くということも記録されている．描く手を必要とせずに線が動いているのであるが，その線の動きには摩擦や空気抵抗が感じられない．そして，この摩擦や抵抗のなさは，ライトペンで線を描いている際にも同様にみることができる．今から，40年以上も前に撮影され，サザーランドのアイディアを多くの人に伝え，スケッチパッドを「個人によって書かれた最も影響力のあるコンピュータ・プログラム 2 」という地位にまで押し上げたこの映像は，何を示しているのであろうか．私は，以前，スケッチパッドが「変換」という原理でイメージを生み出す装置であることを示した 3 ．それは「痕跡」との一致という原理を逃れたイメージを描けるということである．この映像で，手が全く映し出されていないときに線が規則的に動くという，ある意味，マジックとも言えるようなシーンは，そのことを示している．このマジックは，後にケイが「最初のコンピュータ・グラフィックス・プログラムだということばかりでなく，スケッチパッドにはすばらしい面がたくさんあった．単に何かを描くための道具でなく，常に正しい法則に従って描くプログラムだったね．スケッチパッドで正方形を描こ...

メタファーと身体の関係

3/09/2010

1996年に，ダン・ゲントナーとヤコブ・ニールセンは，「アンチ-マック・インターフェイス」という論文を発表した．そこで，彼らは，現在でもGUI デザインを論じる際にバイブルとして参照されることが多い「マッキントッシュ・ヒューマン・インターフェイス・ガイドライン」の原理に，あえて反することで，新たなインターフェイスの可能性を論じている．4-3) マッキントッシュの第一の原理には，インターフェイスは私たちの馴染みの環境を用いたメタファーに基づいているべきだと書かれている．4-4) マッキントッシュの開発者たちは，この原理に則って，現在まで使用されている洗練されたデスクトップ・メタファー（図4-1）を開発した．　　　　　　　　　　図4-1 システム1.1 のデスクトップそこでは，ディスプレイ画面を「机の上（デスクトップ）」と見なし，「ファイル」，「フォルダ」，「ごみ箱」などを模したアイコンを，マウスで選択し，クリックすることで，コンピュータの操作が可能になっている．この原則に対して，ゲントナーとニールセンは，「ワードプロセッサ」は「タイプライター」にたとえられるが，ワードプロセッサには，タイプライターにはない「やり直し」の機能があるなど，メタファーが示す目標領域（コンピュータ）と基底領域（たとえる対象）とのミスマッチを指摘する．そして，彼らは，このようなメタファーの使用は混乱を招くことになるので，コンピュータ・システムの構造に即した，メタファーに頼らないインターフェイスをデザインすべきだと主張し，言語主体のインターフェイスの提案を行った．4-5) メタファーによる対象の機能のミスマッチを問題視するゲントナーとニールセンに対して，ジョン・キャロルらは，以前から，対象間のミスマッチを含んではいるが，メタファーの使用は私たちの最も基本的な学習へのアプローチのひとつなので，インターフェイス・デザインには不可欠なものだと主張していた．4-6) 確かに，コンピュータを取り巻くメタファーには多くのミスマッチがあるが，それにも関わらず，私たちは，それらを手がかりにして，コンピュータを使い始めて，気がつくと，それらを当たり前のように操作して自分の作業を進めてきたことは事実である．ゲントナーとニールセン，キャロルらは，似ている対象を結びつける言語の機能としてメタファーを論じ...

マジック・メモ：行為＝痕跡＝イメージの解体可能性

1/03/2010

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている．このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている．このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる...

中村夏野さんの個展《we, topologically.》のトークイベント「イメージと物語をめぐる認知」に登壇しました。

7/27/2026

中村夏野《Duality》 2026年7月25日（土）、大阪・西成の SUCHSIZE で、中村夏野さんの個展《we, topologically.》のトークイベント「イメージと物語をめぐる認知」に登壇しました。その記録を、トークに向かっていった経路と、トークで実際に話したこととに分けて、書いてみたいと思います。「跨がされる」から始まった 5月の終わりに、Yukawa-Nakayasuさんからトークとレビューのオファーをもらいました。共有された資料を読んで最初に書いたのは、中村さんの作品が「デジタルとフィジカルを横断している」という説明ではなくて、作品を見るわたしの方が二つのあいだへ「跨がされる」ということでした。これはデジタルか、フィジカルか。オリジナルか、コピーか。発光か、反射か。判定しようとするたびに判定の足場がふっと浮いて、右足と左足はそれぞれの領域に接地しているのに、身体全体はどこにも接地しない。この宙に浮いた感じを軸にする、と引き受けの返信に書きました。展示初日に行われたトークの打ち合わせで、わたしが「物語に興味がない」と言ったら、それってどういうこと、となって、中村さんが「イメージと物語」をテーマにしましょうと言って、わたしは「困ったな」と思いつつ、それでいきましょうと言いました。初日、「発光の粘度」を持って行く（7/3）展示を見に行く前にオンラインカタログを全部読みました。というのも、SUCHSIZEは展示までにしっかりと展示に基づいたカタログができているのだから、それを読んで展示に臨むというのが、今回のトークや、そのあとに書くテキストに活かせると思ったからでした。このような体験ができるのであったら、しっかりとその体験をして、そこからテキストを生成してみたいと思いました。テキストを読んで、電車の中でAIと対話しながら、作品を実際に見る前に、オンラインカタログを読んだ感じとして、「発光の粘度」という言葉が出てきました。光には粘度なんていう物性はないのに、その物性を合わせてみると中村さんの作品が面白く見れるんじゃないかと、わたしは感じていました。見る前から見るためのフレームを決めて行くという、わたしとしては珍しいことをしたと言えます。会場で作品を見ながら書いたメモには、「発光が先にあって、認知と物質があとにある」と書いてありまし...

VRトーク&ワークショップイベント「没入の宴〜”俺の嫁”から”嫁が俺”へ〜」でのトークの告知💬とメモ✍️

5/24/2018

告知💬 よーへんさんに誘われて名古屋のGOLDEN ARTS CAMP （黄金4422.bldg.5F）で開催される VRトーク&ワークショップイベント「没入の宴〜”俺の嫁”から”嫁が俺”へ〜」に出ます．私が出るのは6月24日14時からのトーク2「VRと妄想社会」です．名古屋で話すのは久しぶりで，VRについて話すのははじめてです．よろしくお願いします😊 メモ✍️ VRについてはどう考えていいのか，迷いつつ，「呼吸」を手がかりにして，同一化の話をして，ディスプレイを通して体験しているUIの平面の重なりの話を経由して，身体変容へとたどり着けたらと考えています． VRにおける呼吸身体が空間に融けていく自己帰属感シャー・デイヴィスによる《Osmos》(1995)は，大きな注目を集めた作品である．HMDに加えて装着するスーツは，呼吸による胸郭の動きを検出するシステムとなっており，体験者はこれによって海底や森の中を連想させるいくつかの作品内部の空間を移動してゆくことになる．スキューバダイビングの体験が元になっているというこのインタラクティヴィティは，呼吸という身体性によるナヴィゲーションを用いることにより，まったく新たな感覚を与えた．それはデータグローブやジョイスティックによる方向の指示に見られるような，体験者が空間に対して操作を加えるという意識を与えず，自然に空間と一体化するように感じさせ，無意識的に身体を適応させるもであった．体験者は，ジョイスティックなどを使う場合よりも格段に強く，ヴァーチャル・スペースと無意識のうちに結びつく．その結果身体が本当に空間の中に溶け込んでいるような印象を味わい，ある種の感覚的状態になるといわれている．メディアアートの教科書，白井雅人・森公一・砥綿正之・泊博雅空間自体が身体と連動する砂山──最近さまざまなプロジェクトで実験的にVRを使うことが多いのですが，テクスチャーの表面だけでぬるっと連続していくような世界への没入感は，一見するとオールオーヴァーですが，図と地が共存するような奇妙なリアリティをもたらします．石岡良治・砂山太一対談「20世紀の遺産から考える装飾」体とそれ以外を分ける境界があらかじめ決められたものではなくなったとき...

「テクノロジーと表現論」（2026年度）の授業資料

6/04/2026

京都精華大学で「テクノロジーと表現論」という授業を担当しました。全7回で、表現の道具としてのコンピュータ、そのインターフェイスの歴史を辿る授業です。Sketchpad、マウスとカーソル、ウィンドウとデスクトップメタファー、ハイパーテキスト、スキューモーフィズムからフラットデザイン、Fluid Interfaces、そしてAIを順番に読んでいきました。この授業を準備しながら、わたしはずっと渡邊恵太さんの『融けるデザイン』（2015年）を読み直していました。出版から10年。10年前の本を、いまのインターフェイス体験のなかで読み直していくと、不思議なことに、この本は「これまで」の本ではなく「これから」の本に見えてきました。授業が終わってしばらくして、渡邊さん本人のこんなポストを見つけました。最近は融けるデザインとは何だったかみたいな話し方にシフトしてる。さすがに10年過ぎて。そこの超軽工業への話をプラスして話す感じ。（ @100kw のポスト）これを読んだとき、「おお！」と思いました。渡邊さん本人が「融けるデザインとは何だったか」を10年後に読み直し、そこに超軽工業への話を足して話していたことを、わたしは半期の授業で、図らずもやっていたからです。もちろん、本人の語り直しとわたしの授業がそっくり同じというわけではありません。それでも、『融けるデザイン』（2015年）を読み直し、そこに『超軽工業へ』（2025年）を重ねていくという流れは、意図しないまま、このポストとよく似た形になっていました。感覚的リアリティと意味的リアリティ授業を振り返ってみます。第1回で、わたしはまず渡邊さんの「分けない」を紹介しました。むしろ物質も結果的には体験であり、実は情報的に捉えられる。だから情報も物質も分けない設計ができる。渡邊恵太『融けるデザイン』（2015年）、p. 40 確かに設計面では「情報も物質も分けない」ということが行われてきたのが、この10年でした。けれど、そこから生まれる体験のほうを考えると、話はもう少し込み入ってきます。情報も物質も分けない設計のもとで、うまくいった体験は、疑問の余地なく、一つのまとまりとして立ち上がってくれます。けれど、それは本当に一つのリアリティなのでしょうか。わたしには、感覚的リアリティと意味的リ...

このブログを検索

touch-touch-touch