「接触｜感知｜表示」という３層構造

10/30/2010

iPhone4 マルチタッチの仕組み

iPhone4などに使われているこの３層構造で何か考えることができないかと思っている．３層構造がマルチタッチを実現していることには，何かしらの意味があるのではないか．フロイトのマジックメモも３層構造なので，何か考えるヒントがここにはあるような気がしている．

iPhoneは大きなマルチタッチディスプレイと革新的なソフトウェアを搭載しているので，指先だけですべてをコントロールできます．その仕組みをちょっとだけご紹介しましょう．まず，ガラスに貼付けられたパネルが，電界を利用して指先の接触を感知します．さらに複数の指による接触を識別し，ピンチして拡大，2本指でタップなどの高度なジェスチャーも読みとります．このパネルで収集した情報が，その下にあるRetinaディスプレイに伝達され，思いのままの操作をできるようにするのです．http://www.apple.com/jp/iphone/design/

保護層としての「ガラス」，接触層としての「電解を利用して指先の接触を感知する」パネル，その下にある表示層としての「Retinaディスプレイ」．パネルを「接触層」としてみたけれど，実際に指と接触しているのは「ガラス」である．しかし，指の接触を感知する層として機能している．接触層としての「ガラス」，感知層としての「パネル」となるのだろうか．「接触｜感知｜表示」という３層構造が，マルチタッチを可能にしている．これが，ディスプレイ上のイメージに「直接」触れているという感覚をつくり出している．

仕組みを説明する図では，感知層が盛り上がったりように表示されていることから，「層」というよりももっと柔軟な感じがする「膜」といったほうがいいのかもしれない．そして，図では３つがそれぞれ離れているが，実際は密着している．３つの層が密着して一枚の薄い膜として機能することで「直接」という感覚をつくり出しているのであろうか？　

このブログの人気の投稿

「サブシンボリックな知能」と Doing with Images makes Symbols

12/04/2009

マウスとカーソル：カーソルによる選択行為

3/11/2010

コンピュータのディスプレイで表現されている世界は，現実の世界ではないという単純な事実を考えなければならない．そこは，もともと，コンピュータが複雑な論理計算を瞬時に行って表示しているものにすぎない論理の世界であったはずである．そして，論理の世界は，ヒトの身体を排除しているものとして，レイコフとジョンソンが批判したものである．4-21) この事実は，コンピュータによって作り出されるディスプレイ世界には，元来，メタファーの基盤となるヒトの身体が存在していなかったことを示しているのではないか．しかし，レイコフとジョンソン，楠見，久保田の説明では，コンピュータの論理の世界に，いつ，どのようにして，私たちの身体が入り込んでいったのかということは考えられていない．ここから，ヒトの身体が，コンピュータとのコミュニケーションに入り込んでいくプロセスを詳しくみていく必要がでてくる．そして，そこには論理の世界にメタファーが立ち上がっていく様を捉えるという興味深い問題がでてくるはずである．メタファー形成の基盤となるイメージ・スキーマは，基本レベルの行為の繰り返しによって生じるものであるから，身体経験の基本レベルとコンピュータとの関係から考察していかなければならない．よって，私たちが，デスクトップ・メタファーについて，はじめに考えるべきことは，このメタファーが生み出される前に，ヒトの身体経験がその基本レベルで．コンピュータの論理世界に何らかのかたちで入り込んでいたのではないか，ということになる．この問題への手がかりを，シェリー・タークルは与えてくれる．彼女は，デスクトップ・メタファーを一般化したマッキントッシュのインターフェイスについて，次のように書いている．マッキントッシュのインターフェイス──実際はその画面──は，実物の机をシミュレートしている．私のアップルⅡの CP/M システム4-22) のような，論理的コマンドで操作される論理的インターフェイスではなく，たとえ二次元とはいえ，ヴァーチャル・リアリティだったのだ．この世界では，空間を進むのと同じように情報の中を進む．実際，マウスを手にして平面上で動かせば，その物理的な動きが，通常は矢印か指の形である指示アイコンによって，画面に反映されるのがわかるだろう．4-23) このタークルの記述には，「論理的コマンドで操作される論理的イ...

スケッチパッドで描く、ふたつの手（１）

3/30/2010

１．記録映像に映るふたつの手ひとつの動画ファイルがある．そのファイルを再生すると，1962年の夏に撮影されたアイヴァン・サザーランドが開発したシステム「スケッチパッド」の映像が，グラフィカル・ユーザ・インターフェイスの基礎を築いたアラン・ケイによる説明とともに映し出される．そこでは黒い画面に白い線が，ペンで描かれていく．ケイが紹介していることからも，このスケッチパッドが，コンピュータの歴史の中で大きな影響力を持っていることが伺えるが，実は，このシステムに実際に触れた人はごく限られている．アラン・ブラックウェルとケリー・ローデンは，サザーランドの博士論文の電子版の前文で，スケッチパッドは，マサチューセッツ工科大学（MIT）のリンカーン研究所でカスタマイズされたマシン，TX-2 でしか動かなかったので，その影響力は，論文と使用状況を撮影したこの記録映像によって広まったと書いている 1 ．その記録映像には，ディスプレイ横にあるボタンを押す手とディスプレイにライトペンと呼ばれるペンで線を描いていく手が映っている．また，これらふたつの手がまったく映っていないときに，白い線が規則的に動くということも記録されている．描く手を必要とせずに線が動いているのであるが，その線の動きには摩擦や空気抵抗が感じられない．そして，この摩擦や抵抗のなさは，ライトペンで線を描いている際にも同様にみることができる．今から，40年以上も前に撮影され，サザーランドのアイディアを多くの人に伝え，スケッチパッドを「個人によって書かれた最も影響力のあるコンピュータ・プログラム 2 」という地位にまで押し上げたこの映像は，何を示しているのであろうか．私は，以前，スケッチパッドが「変換」という原理でイメージを生み出す装置であることを示した 3 ．それは「痕跡」との一致という原理を逃れたイメージを描けるということである．この映像で，手が全く映し出されていないときに線が規則的に動くという，ある意味，マジックとも言えるようなシーンは，そのことを示している．このマジックは，後にケイが「最初のコンピュータ・グラフィックス・プログラムだということばかりでなく，スケッチパッドにはすばらしい面がたくさんあった．単に何かを描くための道具でなく，常に正しい法則に従って描くプログラムだったね．スケッチパッドで正方形を描こ...

（見せかけの）因果関係の連鎖 / The (pseudo) causal chain

11/13/2009

この前，勝手な想像で，なぜタンジブル・メディア・グループで G-stalt のようなジェスチャー・インターフェイスが研究されているのかを書いたけれど，Axis vol.140 で石井教授自身が次のように述べていた．コンピュータをマウスで操作するインターフェースは，ブラックボックス化されていて，そこで何が起こっているのかがわかりにくい．しかし，それがジェスチャーになれば，例えば指揮者のタクトの動きでバイオリニストが音を奏でるといったような，ものごとの因果関係の連鎖が目に見えるようになる．ジェスチャーによるインターフェースの研究は，モノ，スペース，ボディーをシームレスに繋ぎ，そこに全く新しいパラダイムを打ち立てようとするものなのです．マサチューセッツ工科大学メディアラボタンジブル・メディア・グループの「ジェスチャー・インターフェース」：空間的広がりを持つダイナミックなインタラクション AXIS 2009.8 vol.140 確かに，G-stalt は「モノ，スペース，ボディーをシームレスに」繋いでいるけれど，なんでここで「イメージ」との関係性は言われないのだろうか．ジェスチャーで実際に動かしているようにみえるのは，映し出されているイメージなのでないか．シームレスでつながっているのは，「モノ，イメージ，スペース，ボディー」なのではないか．でも，石井教授は「イメージ」という言葉は入れない．もうイメージがモノなのかもしれない．そう考えれば，タンジブル・メディア・グループの次のヴィジョンである「ラディカル・アトムズ」にもスムーズにつながる．イメージを「イメージ」として考える意識が希薄化してきているのかもしえない．イメージがモノであると同時に，モノもイメージであると考えると，まったく新しいパラダイムが出てくるのかもしれない．そして，そのパラダイムは「可塑性」と関連していると思う．あと，石井教授がジェスチャーによって「ものごとの因果関係の連鎖が目に見えるようになる」と言っているところも気になる．私は，以前，マウスとカーソルとのつながりによって，コンピュータの論理と物理的な因果関係に支配された私たちの行為との間に，「見せかけの因果関係」が生じていて，それがディスプレイ上のイメージを「オブジェクト」と触れるモノに変化させていると考えた（英語で書...

メタファーと身体の関係

3/09/2010

1996年に，ダン・ゲントナーとヤコブ・ニールセンは，「アンチ-マック・インターフェイス」という論文を発表した．そこで，彼らは，現在でもGUI デザインを論じる際にバイブルとして参照されることが多い「マッキントッシュ・ヒューマン・インターフェイス・ガイドライン」の原理に，あえて反することで，新たなインターフェイスの可能性を論じている．4-3) マッキントッシュの第一の原理には，インターフェイスは私たちの馴染みの環境を用いたメタファーに基づいているべきだと書かれている．4-4) マッキントッシュの開発者たちは，この原理に則って，現在まで使用されている洗練されたデスクトップ・メタファー（図4-1）を開発した．　　　　　　　　　　図4-1 システム1.1 のデスクトップそこでは，ディスプレイ画面を「机の上（デスクトップ）」と見なし，「ファイル」，「フォルダ」，「ごみ箱」などを模したアイコンを，マウスで選択し，クリックすることで，コンピュータの操作が可能になっている．この原則に対して，ゲントナーとニールセンは，「ワードプロセッサ」は「タイプライター」にたとえられるが，ワードプロセッサには，タイプライターにはない「やり直し」の機能があるなど，メタファーが示す目標領域（コンピュータ）と基底領域（たとえる対象）とのミスマッチを指摘する．そして，彼らは，このようなメタファーの使用は混乱を招くことになるので，コンピュータ・システムの構造に即した，メタファーに頼らないインターフェイスをデザインすべきだと主張し，言語主体のインターフェイスの提案を行った．4-5) メタファーによる対象の機能のミスマッチを問題視するゲントナーとニールセンに対して，ジョン・キャロルらは，以前から，対象間のミスマッチを含んではいるが，メタファーの使用は私たちの最も基本的な学習へのアプローチのひとつなので，インターフェイス・デザインには不可欠なものだと主張していた．4-6) 確かに，コンピュータを取り巻くメタファーには多くのミスマッチがあるが，それにも関わらず，私たちは，それらを手がかりにして，コンピュータを使い始めて，気がつくと，それらを当たり前のように操作して自分の作業を進めてきたことは事実である．ゲントナーとニールセン，キャロルらは，似ている対象を結びつける言語の機能としてメタファーを論じ...

アウトライン＋メモ：カーソル／身体性の「ある｜なし」／モノ｜データ｜映像

2/09/2010

スケッチパッドで描く、ふたつの手（２）

3/31/2010

スケッチパッドで描く、ふたつの手（１） -- ３．ヒトというノイズの多い装置ウィーナーのサイバネティクスやシャノンの情報理論という時代背景の中，「ヒトはノイズの多い，周波数帯の狭い装置だと見なせる 14 」と考えた人物がいる，J・C・R・リックライダーである．リックライダーの専門は音響心理学であったが，自らを被験者にした行動調査の結果，研究活動時間の多くが考えるための「準備」に費やされているという事実に驚き，この問題を解決するためにはコンピュータという知的な助手との「対話」を実現することが必要だと考えるようになる．そして，リックライダーはコンピュータとヒトの思考の構造をそれぞれ生かせる協力態勢を構築することが，もっとも大切なのではないかということに思い当たり，1960年に「ヒトとコンピュータとの共生」という論文を発表する 15 ．「共生」とは，「密接な関係の中で，あるいは結合に近い状態で，二つの生物がともに生きる」という意味であり，リックライダーはヒトとコンピュータが共生関係を築くことで，新たな情報処理の方法の可能性が開かれるという考えを示した．その際に，彼は，ヒトのことを並行して活動できる経路をもつが「ノイズの多い，周波数帯の狭い装置」とし，コンピュータを同時に数種の基本的動作しか行えないが「きわめて高速で正確に」情報を処理する装置あると対比させた上で，このふたつの異質な装置を結びつけ対話をさせるには，グラフィック・ディスプレイを用いることが必要不可欠だという考えを持っていた 16 ．リックライダーは，1962年に，ARPA の情報処理技術部（IPTO）の部長となり，自らの考えを実現させるために，ディスプレイを用いた対話型コンピューティングの研究への援助を行っていった．その援助の中から生み出された模範解答とも言うべきシステムが，サザーランドのスケッチパッドであった．リックライダーは，対話型グラフィック・コンピューティングに関する最初の公式会議に，当時まだ大学院生だったサザーランドを招き，スケッチパッドについての発表を行う機会を与え，周囲の人たちに対話型コンピューティングの可能性の大きさを示した 17 ．サザーランドのスケッチパッドによって，リックライダーは，ヒトというノイズの多い装置をコンピュータというノイズの少ない装置に接続するために新しい方法を提示す...

VRトーク&ワークショップイベント「没入の宴〜”俺の嫁”から”嫁が俺”へ〜」でのトークの告知💬とメモ✍️

5/24/2018

告知💬 よーへんさんに誘われて名古屋のGOLDEN ARTS CAMP （黄金4422.bldg.5F）で開催される VRトーク&ワークショップイベント「没入の宴〜”俺の嫁”から”嫁が俺”へ〜」に出ます．私が出るのは6月24日14時からのトーク2「VRと妄想社会」です．名古屋で話すのは久しぶりで，VRについて話すのははじめてです．よろしくお願いします😊 メモ✍️ VRについてはどう考えていいのか，迷いつつ，「呼吸」を手がかりにして，同一化の話をして，ディスプレイを通して体験しているUIの平面の重なりの話を経由して，身体変容へとたどり着けたらと考えています． VRにおける呼吸身体が空間に融けていく自己帰属感シャー・デイヴィスによる《Osmos》(1995)は，大きな注目を集めた作品である．HMDに加えて装着するスーツは，呼吸による胸郭の動きを検出するシステムとなっており，体験者はこれによって海底や森の中を連想させるいくつかの作品内部の空間を移動してゆくことになる．スキューバダイビングの体験が元になっているというこのインタラクティヴィティは，呼吸という身体性によるナヴィゲーションを用いることにより，まったく新たな感覚を与えた．それはデータグローブやジョイスティックによる方向の指示に見られるような，体験者が空間に対して操作を加えるという意識を与えず，自然に空間と一体化するように感じさせ，無意識的に身体を適応させるもであった．体験者は，ジョイスティックなどを使う場合よりも格段に強く，ヴァーチャル・スペースと無意識のうちに結びつく．その結果身体が本当に空間の中に溶け込んでいるような印象を味わい，ある種の感覚的状態になるといわれている．メディアアートの教科書，白井雅人・森公一・砥綿正之・泊博雅空間自体が身体と連動する砂山──最近さまざまなプロジェクトで実験的にVRを使うことが多いのですが，テクスチャーの表面だけでぬるっと連続していくような世界への没入感は，一見するとオールオーヴァーですが，図と地が共存するような奇妙なリアリティをもたらします．石岡良治・砂山太一対談「20世紀の遺産から考える装飾」体とそれ以外を分ける境界があらかじめ決められたものではなくなったとき...

映像の間主観性（？）

4/11/2010

デスクトップ・メタファーと「ディスプレイ行為」　

3/12/2010

ここで，デスクトップ・メタファーが生み出されたパロアルト研究所に考察の対象を移したい．なぜなら，この研究所において，ディスプレイ上の対象物を指さすための道具であったマウスに，次々に新たな行為が付け加えられることになるからである．パロアルト研究所では，1973年に，アルト（図4-4）と呼ばれるシステムが開発された．アルトは，アラン・ケイや，バトラー・ランプソン，チャールズ・サッカーが中心となって開発された実験的なワークステーションであり，その大きな特徴は，ディスプレイ上のピクセルがメインメモリのビットに対応するビットマップ方式を採用していたことである．この決定は，ヒトが環境の情報を最も捉えることができる視覚を重視したインターフェイスを提供することが，マシンとソフトウェアの最大の目的であるという開発者たちの認識から導かれたものであった．そして，アルトのインターフェイスでもうひとつ重要なことは，ポインティング・デバイスとして，マウスが採用されたことである．当時，マウスは，入力デバイスとしては馴染みの薄いものであったが，スチュワート・カードによる実験によって，マウスが，ディスプレイ上の対象を指示するのに最も適したデバイスということになり，標準装備されることになった．4-42) 視覚重視の考えと，ヒトの手の原初的な感覚をコンピュータに持ち込むマウスという道具が，アルトというワークステーションで出会うことになる．図4-4 ゼロックス社アルト視覚重視のアルトは，ディスプレイ上のイメージを自由に表示することができた．このことは，ディスプレイ上のイメージが示すアフォーダンスの直接的な知覚に基づく指さし選択行為とマウスとの関係に影響を与えた．エンゲルバートのシステムでは，マウス・カーソルのイメージは，単なる点であった．しかし，アルトでは，カーソルの形は，矢印（→）になる．カーソルの形が，矢印ではなく点であっても，ディスプレイ上のイメージを指さす選択行為を遂行することはできる．では，なぜ形が変わったのか．それは，ディスプレイ上のイメージを自由に表示できるようになっために，指さし選択行為の遂行に，より適したアフォーダンスを示すイメージを表示するようになったと考えることができる．ここでは，身体的行為を導くアフォーダンスとディスプレイ...

このブログを検索

touch-touch-touch