非対称性

インターフェイスの非対称性．
表象と言語との非対称性．
イメージと言語との非対称性．
イメージと言語と行為の間の非対称性．
３つの関係における非対称性とは？

非対称的なものを対称的なものにするという意識をもつのか？
非対称性を非対称性のまま扱えるような意識をもつのか？

もしくは，行為がイメージと言語との間の非対称性を是正するのか？
行為があるからイメージと言語との間に非対称性が生じるのか？

このブログの人気の投稿

「サブシンボリックな知能」と Doing with Images makes Symbols

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions...
続きを読む

マウスとカーソル：カーソルによる選択行為

コンピュータのディスプレイで表現されている世界は，現実の世界ではないという単純な事実を考えなければならない．そこは，もともと，コンピュータが複雑な論理計算を瞬時に行って表示しているものにすぎない論理の世界であったはずである．そして，論理の世界は，ヒトの身体を排除しているものとして，レイコフとジョンソンが批判したものである．4-21) この事実は，コンピュータによって作り出されるディスプレイ世界には，元来，メタファーの基盤となるヒトの身体が存在していなかったことを示しているのではないか． しかし，レイコフとジョンソン，楠見，久保田の説明では，コンピュータの論理の世界に，いつ，どのようにして，私たちの身体が入り込んでいったのかということは考えられていない．ここから，ヒトの身体が，コンピュータとのコミュニケーションに入り込んでいくプロセスを詳しくみていく必要がでてくる．そして，そこには論理の世界にメタファーが立ち上がっていく様を捉えるという興味深い問題がでてくるはずである． メタファー形成の基盤となるイメージ・スキーマは，基本レベルの行為の繰り返しによって生じるものであるから，身体経験の基本レベルとコンピュータとの関係から考察していかなければならない．よって，私たちが，デスクトップ・メタファーについて，はじめに考えるべきことは，このメタファーが生み出される前に，ヒトの身体経験がその基本レベルで．コンピュータの論理世界に何らかのかたちで入り込んでいたのではないか，ということになる．この問題への手がかりを，シェリー・タークルは与えてくれる．彼女は，デスクトップ・メタファーを一般化したマッキントッシュのインターフェイスについて，次のように書いている． マッキントッシュのインターフェイス──実際はその画面──は，実物の机をシミュレートしている．私のアップルⅡの CP/M システム4-22) のような，論理的コマンドで操作される論理的インターフェイスではなく，たとえ二次元とはいえ，ヴァーチャル・リアリティだったのだ．この世界では，空間を進むのと同じように情報の中を進む．実際，マウスを手にして平面上で動かせば，その物理的な動きが，通常は矢印か指の形である指示アイコンによって，画面に反映されるのがわかるだろう．4-23) このタークルの記述には，「論理的コマンドで操作される論理的イ...
続きを読む

スケッチパッドで描く、ふたつの手（１）

１．記録映像に映るふたつの手 ひとつの動画ファイルがある．そのファイルを再生すると，1962年の夏に撮影されたアイヴァン・サザーランドが開発したシステム「スケッチパッド」の映像が，グラフィカル・ユーザ・インターフェイスの基礎を築いたアラン・ケイによる説明とともに映し出される．そこでは黒い画面に白い線が，ペンで描かれていく．ケイが紹介していることからも，このスケッチパッドが，コンピュータの歴史の中で大きな影響力を持っていることが伺えるが，実は，このシステムに実際に触れた人はごく限られている．アラン・ブラックウェルとケリー・ローデンは，サザーランドの博士論文の電子版の前文で，スケッチパッドは，マサチューセッツ工科大学（MIT）のリンカーン研究所でカスタマイズされたマシン，TX-2 でしか動かなかったので，その影響力は，論文と使用状況を撮影したこの記録映像によって広まったと書いている 1 ． その記録映像には，ディスプレイ横にあるボタンを押す手とディスプレイにライトペンと呼ばれるペンで線を描いていく手が映っている．また，これらふたつの手がまったく映っていないときに，白い線が規則的に動くということも記録されている．描く手を必要とせずに線が動いているのであるが，その線の動きには摩擦や空気抵抗が感じられない．そして，この摩擦や抵抗のなさは，ライトペンで線を描いている際にも同様にみることができる．今から，40年以上も前に撮影され，サザーランドのアイディアを多くの人に伝え，スケッチパッドを「個人によって書かれた最も影響力のあるコンピュータ・プログラム 2 」という地位にまで押し上げたこの映像は，何を示しているのであろうか． 私は，以前，スケッチパッドが「変換」という原理でイメージを生み出す装置であることを示した 3 ．それは「痕跡」との一致という原理を逃れたイメージを描けるということである．この映像で，手が全く映し出されていないときに線が規則的に動くという，ある意味，マジックとも言えるようなシーンは，そのことを示している．このマジックは，後にケイが「最初のコンピュータ・グラフィックス・プログラムだということばかりでなく，スケッチパッドにはすばらしい面がたくさんあった．単に何かを描くための道具でなく，常に正しい法則に従って描くプログラムだったね．スケッチパッドで正方形を描こ...
続きを読む

（見せかけの）因果関係の連鎖 / The (pseudo) causal chain

この前 ，勝手な想像で，なぜタンジブル・メディア・グループで G-stalt のようなジェスチャー・インターフェイスが研究されているのかを書いたけれど，Axis vol.140 で石井教授自身が次のように述べていた． コンピュータをマウスで操作するインターフェースは，ブラックボックス化されていて，そこで何が起こっているのかがわかりにくい．しかし，それがジェスチャーになれば，例えば指揮者のタクトの動きでバイオリニストが音を奏でるといったような，ものごとの因果関係の連鎖が目に見えるようになる．ジェスチャーによるインターフェースの研究は，モノ，スペース，ボディーをシームレスに繋ぎ，そこに全く新しいパラダイムを打ち立てようとするものなのです． マサチューセッツ工科大学 メディアラボ タンジブル・メディア・グループの「ジェスチャー・インターフェース」：空間的広がりを持つダイナミックなインタラクション AXIS 2009.8 vol.140 確かに，G-stalt は「モノ，スペース，ボディーをシームレスに」繋いでいるけれど，なんでここで「イメージ」との関係性は言われないのだろうか．ジェスチャーで実際に動かしているようにみえるのは，映し出されているイメージなのでないか．シームレスでつながっているのは，「モノ，イメージ，スペース，ボディー」なのではないか．でも，石井教授は「イメージ」という言葉は入れない．もうイメージがモノなのかもしれない．そう考えれば，タンジブル・メディア・グループの次のヴィジョンである「ラディカル・アトムズ」にもスムーズにつながる．イメージを「イメージ」として考える意識が希薄化してきているのかもしえない．イメージがモノであると同時に，モノもイメージであると考えると，まったく新しいパラダイムが出てくるのかもしれない．そして，そのパラダイムは「可塑性」と関連していると思う． あと，石井教授がジェスチャーによって「ものごとの因果関係の連鎖が目に見えるようになる」と言っているところも気になる．私は，以前，マウスとカーソルとのつながりによって，コンピュータの論理と物理的な因果関係に支配された私たちの行為との間に，「見せかけの因果関係」が生じていて，それがディスプレイ上のイメージを「オブジェクト」と触れるモノに変化させていると考えた（英語で書...
続きを読む

メタファーと身体の関係

1996年に，ダン・ゲントナーとヤコブ・ニールセンは，「アンチ-マック・インターフェイス」という論文を発表した．そこで，彼らは，現在でもGUI デザインを論じる際にバイブルとして参照されることが多い「マッキントッシュ・ヒューマン・インターフェイス・ガイドライン」の原理に，あえて反することで，新たなインターフェイスの可能性を論じている．4-3) マッキントッシュの第一の原理には，インターフェイスは私たちの馴染みの環境を用いたメタファーに基づいているべきだと書かれている．4-4) マッキントッシュの開発者たちは，この原理に則って，現在まで使用されている洗練されたデスクトップ・メタファー（図4-1）を開発した． 　　　　　　　　　　図4-1 システム1.1 のデスクトップ そこでは，ディスプレイ画面を「机の上（デスクトップ）」と見なし，「ファイル」，「フォルダ」，「ごみ箱」などを模したアイコンを，マウスで選択し，クリックすることで，コンピュータの操作が可能になっている．この原則に対して，ゲントナーとニールセンは，「ワードプロセッサ」は「タイプライター」にたとえられるが，ワードプロセッサには，タイプライターにはない「やり直し」の機能があるなど，メタファーが示す目標領域（コンピュータ）と基底領域（たとえる対象）とのミスマッチを指摘する．そして，彼らは，このようなメタファーの使用は混乱を招くことになるので，コンピュータ・システムの構造に即した，メタファーに頼らないインターフェイスをデザインすべきだと主張し，言語主体のインターフェイスの提案を行った．4-5) メタファーによる対象の機能のミスマッチを問題視するゲントナーとニールセンに対して，ジョン・キャロルらは，以前から，対象間のミスマッチを含んではいるが，メタファーの使用は私たちの最も基本的な学習へのアプローチのひとつなので，インターフェイス・デザインには不可欠なものだと主張していた．4-6) 確かに，コンピュータを取り巻くメタファーには多くのミスマッチがあるが，それにも関わらず，私たちは，それらを手がかりにして，コンピュータを使い始めて，気がつくと，それらを当たり前のように操作して自分の作業を進めてきたことは事実である． ゲントナーとニールセン，キャロルらは，似ている対象を結びつける言語の機能としてメタファーを論じ...
続きを読む

アウトライン＋メモ：カーソル／身体性の「ある｜なし」／モノ｜データ｜映像

.review のためのアウトラインをノートに殴り書きして，それをツイートしたもの＋最後に気になった部分を考えるためのメモ．ツイートするときにやはり書き直しが入るので少しずつ考えが流れになってきている感じがする．今度は，これをノートに写して，そこに長めの文章を書いてみよう． -- アウトライン １．カーソルについて論じる．→２．先行研究として須永さんの論文．身体の代理記号としてのカーソル．→そうではなくて，「身体」の新たな在り方としてカーソルを捉えるべき．身体を情報空間の中に単なる位置情報に縮減して置くための装置としてのカーソル． http://twitter.com/mmmmm_mmmmm/statuses/8848167198 ３．このことを考えるために斉藤さんの「ラメラスケイプ」論文を参照する．→なぜに文学的想像力でカーソルを説明するのか？→レフ・マノヴィッチによるコンピュータ・レイヤーと文化的レイヤーによる相互浸透の指摘から．認識の重層化． コンピュータ⇔文学的想像力． http://twitter.com/mmmmm_mmmmm/statuses/8848275095 ラメラスケイプの中で考えるカーソル．カーソルに密接に関係するデスクトップ・メタファー．身体性を帯びたメタファーの１つの構成要素としてのカーソル．ウィンドウの重なりを自由に移動するカーソル＝身体性が欠如したキャラとしてのカーソル． http://twitter.com/mmmmm_mmmmm/statuses/8848549808 デスクトップ・メタファーを「メタファー」として意識しないことと，ラメラスケイプの中で「比喩」が歴史的使命を終えたこと．でも，カーソルはメタファー以前に，マウスというモノに身体的に繋がっている．メタファーが機能しなくなった後も身体との関係を保つカーソル． http://twitter.com/mmmmm_mmmmm/statuses/8848793789 「メタファー」が機能しなくなった後も身体との関係を持ちつつ，キャラ化し，ウィンドウの間を自由に行き来することができるカーソル．身体性が「あるかないか」ではなく，その２つが重なり合っているのがカーソル． http://twitter.com/mmmmm_mmmmm/statuses/8...
続きを読む

スケッチパッドで描く、ふたつの手（２）

スケッチパッドで描く、ふたつの手（１） -- ３．ヒトというノイズの多い装置 ウィーナーのサイバネティクスやシャノンの情報理論という時代背景の中，「ヒトはノイズの多い，周波数帯の狭い装置だと見なせる 14 」と考えた人物がいる，J・C・R・リックライダーである．リックライダーの専門は音響心理学であったが，自らを被験者にした行動調査の結果，研究活動時間の多くが考えるための「準備」に費やされているという事実に驚き，この問題を解決するためにはコンピュータという知的な助手との「対話」を実現することが必要だと考えるようになる．そして，リックライダーはコンピュータとヒトの思考の構造をそれぞれ生かせる協力態勢を構築することが，もっとも大切なのではないかということに思い当たり，1960年に「ヒトとコンピュータとの共生」という論文を発表する 15 ．「共生」とは，「密接な関係の中で，あるいは結合に近い状態で，二つの生物がともに生きる」という意味であり，リックライダーはヒトとコンピュータが共生関係を築くことで，新たな情報処理の方法の可能性が開かれるという考えを示した．その際に，彼は，ヒトのことを並行して活動できる経路をもつが「ノイズの多い，周波数帯の狭い装置」とし，コンピュータを同時に数種の基本的動作しか行えないが「きわめて高速で正確に」情報を処理する装置あると対比させた上で，このふたつの異質な装置を結びつけ対話をさせるには，グラフィック・ディスプレイを用いることが必要不可欠だという考えを持っていた 16 ．リックライダーは，1962年に，ARPA の情報処理技術部（IPTO）の部長となり，自らの考えを実現させるために，ディスプレイを用いた対話型コンピューティングの研究への援助を行っていった．その援助の中から生み出された模範解答とも言うべきシステムが，サザーランドのスケッチパッドであった．リックライダーは，対話型グラフィック・コンピューティングに関する最初の公式会議に，当時まだ大学院生だったサザーランドを招き，スケッチパッドについての発表を行う機会を与え，周囲の人たちに対話型コンピューティングの可能性の大きさを示した 17 ． サザーランドのスケッチパッドによって，リックライダーは，ヒトというノイズの多い装置をコンピュータというノイズの少ない装置に接続するために新しい方法を提示す...
続きを読む

VRトーク&ワークショップイベント「没入の宴 〜”俺の嫁”から”嫁が俺”へ〜」でのトークの告知💬とメモ✍️

告知💬 よーへんさんに誘われて名古屋のGOLDEN ARTS CAMP （黄金4422.bldg.5F）で開催される VRトーク&ワークショップイベント「没入の宴 〜”俺の嫁”から”嫁が俺”へ〜」 に出ます．私が出るのは6月24日14時からの トーク2「VRと妄想社会」 です．名古屋で話すのは久しぶりで，VRについて話すのははじめてです．よろしくお願いします😊 メモ✍️ VRについてはどう考えていいのか，迷いつつ，「呼吸」を手がかりにして，同一化の話をして，ディスプレイを通して体験しているUIの平面の重なりの話を経由して，身体変容へとたどり着けたらと考えています． VRにおける呼吸 身体が空間に融けていく 自己帰属感 シャー・デイヴィスによる《Osmos》(1995)は，大きな注目を集めた作品である．HMDに加えて装着するスーツは，呼吸による胸郭の動きを検出するシステムとなっており，体験者はこれによって海底や森の中を連想させるいくつかの作品内部の空間を移動してゆくことになる． スキューバダイビングの体験が元になっているというこのインタラクティヴィティは，呼吸という身体性によるナヴィゲーションを用いることにより，まったく新たな感覚を与えた． それはデータグローブやジョイスティックによる方向の指示に見られるような，体験者が空間に対して操作を加えるという意識を与えず， 自然に空間と一体化するように感じさせ，無意識的に身体を適応させるもであった ．体験者は，ジョイスティックなどを使う場合よりも格段に強く，ヴァーチャル・スペースと無意識のうちに結びつく．その結果身体が本当に空間の中に溶け込んでいるような印象を味わい，ある種の感覚的状態になるといわれている． メディアアートの教科書，白井雅人・森公一・砥綿正之・泊博雅 空間自体が身体と連動する 砂山──最近さまざまなプロジェクトで実験的にVRを使うことが多いのですが，テクスチャーの表面だけでぬるっと連続していくような世界への没入感は，一見するとオールオーヴァーですが， 図と地が共存するような奇妙なリアリティ をもたらします． 石岡良治・砂山太一対談「20世紀の遺産から考える装飾」 体とそれ以外を分ける境界があらかじめ決められたものではなくなったとき...
続きを読む

映像の間主観性（？）

次の学会発表のためのメモ（１） 「映像のモノ化：映像｜データ｜物質」というタイトルで発表を申し込んだけど，「映像の間主観性（？）」という方向へ… -- エキソニモ， ドミニク・チェン， 毛利悠子， チューリングテスト， ネルソン・グッドマン， ドナルド・デイヴィドソン， どうにか発表の終わりが見えてきたような． 外部にある観察可能なものをデータ化し，情報の流れにのせること． 映像としてデータを可視化すること． これを Scientific Visualization の方向ではなく， 心的イメージの方向で考えてみること. http://mmmemo.posterous.com/15918609 チューリングテストは，いま一度改良されなければならない．対象と質問者の因果的な結びつきに加えて，対象と世界の残りの部分との因果的な結びつきも質問者に観察できるように，対象を表に出さなければならないのである．(p.144)　 ドナルド・デイヴィドソン「チューリングのテスト」 http://twitter.com/mmmmm_mmmmm/status/11990921849 端末は文字を表示する（としよう）．これが「行動」として記述されるべきかどうかは，質問者にかかっている．結論として言えば，チューリングテストはその興味深さを損なうような仕方で行動主義的なわけではないのである．(p.137)　 ドナルド・デイヴィドソン「チューリングのテスト」 http://twitter.com/mmmmm_mmmmm/status/11991263030 《タイプトレース》 においては，スクリーンに映しだされるテキストを書いているのは「作家」だと示されている．しかし，その姿は見えない．にもかかわらず，文字とそれに結びつけられた時間情報（データ）によって，スクリーン上の文字が変化することで，作家の気配が感じられる． http://twitter.com/mmmmm_mmmmm/status/11991379474 《断末魔ウス》 においては，対象と質問者との間で共有されている世界の因果関係のすべて，および対象そのものがディスプレイに映しだされている．壊されるマウスの映像，壊す行為と因果関係をもった位置情報を示すカーソル．それゆえに位置情報に意味...
続きを読む

デスクトップ・メタファーと「ディスプレイ行為」　

ここで，デスクトップ・メタファーが生み出されたパロアルト研究所に考察の対象を移したい．なぜなら，この研究所において，ディスプレイ上の対象物を指さすための道具であったマウスに，次々に新たな行為が付け加えられることになるからである． パロアルト研究所では，1973年に，アルト（図4-4）と呼ばれるシステムが開発された．アルトは，アラン・ケイや，バトラー・ランプソン，チャールズ・サッカーが中心となって開発された実験的なワークステーションであり，その大きな特徴は，ディスプレイ上のピクセルがメインメモリのビットに対応するビットマップ方式を採用していたことである．この決定は，ヒトが環境の情報を最も捉えることができる視覚を重視したインターフェイスを提供することが，マシンとソフトウェアの最大の目的であるという開発者たちの認識から導かれたものであった．そして，アルトのインターフェイスでもうひとつ重要なことは，ポインティング・デバイスとして，マウスが採用されたことである．当時，マウスは，入力デバイスとしては馴染みの薄いものであったが，スチュワート・カードによる実験によって，マウスが，ディスプレイ上の対象を指示するのに最も適したデバイスということになり，標準装備されることになった．4-42) 視覚重視の考えと，ヒトの手の原初的な感覚をコンピュータに持ち込むマウスという道具が，アルトというワークステーションで出会うことになる．     図4-4 ゼロックス社 アルト 視覚重視のアルトは，ディスプレイ上のイメージを自由に表示することができた．このことは，ディスプレイ上のイメージが示すアフォーダンスの直接的な知覚に基づく指さし選択行為とマウスとの関係に影響を与えた． エンゲルバートのシステムでは，マウス・カーソルのイメージは，単なる点であった．しかし，アルトでは，カーソルの形は，矢印（→）になる．カーソルの形が，矢印ではなく点であっても，ディスプレイ上のイメージを指さす選択行為を遂行することはできる．では，なぜ形が変わったのか．それは，ディスプレイ上のイメージを自由に表示できるようになっために，指さし選択行為の遂行に，より適したアフォーダンスを示すイメージを表示するようになったと考えることができる． ここでは，身体的行為を導くアフォーダンスとディスプレイ...
続きを読む