身体｜カーソル｜イメージ：カーソルによって切り替えられる世界


今から7年前に .review というTwitter発の雑誌に書いたテキスト．業績に概要が載ってなかったので改めて読んでみたら，自分で書いた図に「ディスプレイの重層性」とあった．今とつながっているのかもしれない．
−

概要
本論考は，コンピュータがカーソルを中心にして身体のあらたなあり方を規定する想像力をつくりだしていること論じたものである．カーソルと身体との結びつきを考察するために，評論家の斎藤環がインターネットのOSI階層モデルによって説明する「ラメラスケイプ」という概念と，文学において身体が消失してきたとされる論を参照する．そこから，文学から消失した身体がコンピュータに移行してきたことを示す．

このブログの人気の投稿

デスクトップ・メタファーと「ディスプレイ行為」　

ここで，デスクトップ・メタファーが生み出されたパロアルト研究所に考察の対象を移したい．なぜなら，この研究所において，ディスプレイ上の対象物を指さすための道具であったマウスに，次々に新たな行為が付け加えられることになるからである． パロアルト研究所では，1973年に，アルト（図4-4）と呼ばれるシステムが開発された．アルトは，アラン・ケイや，バトラー・ランプソン，チャールズ・サッカーが中心となって開発された実験的なワークステーションであり，その大きな特徴は，ディスプレイ上のピクセルがメインメモリのビットに対応するビットマップ方式を採用していたことである．この決定は，ヒトが環境の情報を最も捉えることができる視覚を重視したインターフェイスを提供することが，マシンとソフトウェアの最大の目的であるという開発者たちの認識から導かれたものであった．そして，アルトのインターフェイスでもうひとつ重要なことは，ポインティング・デバイスとして，マウスが採用されたことである．当時，マウスは，入力デバイスとしては馴染みの薄いものであったが，スチュワート・カードによる実験によって，マウスが，ディスプレイ上の対象を指示するのに最も適したデバイスということになり，標準装備されることになった．4-42) 視覚重視の考えと，ヒトの手の原初的な感覚をコンピュータに持ち込むマウスという道具が，アルトというワークステーションで出会うことになる．     図4-4 ゼロックス社 アルト 視覚重視のアルトは，ディスプレイ上のイメージを自由に表示することができた．このことは，ディスプレイ上のイメージが示すアフォーダンスの直接的な知覚に基づく指さし選択行為とマウスとの関係に影響を与えた． エンゲルバートのシステムでは，マウス・カーソルのイメージは，単なる点であった．しかし，アルトでは，カーソルの形は，矢印（→）になる．カーソルの形が，矢印ではなく点であっても，ディスプレイ上のイメージを指さす選択行為を遂行することはできる．では，なぜ形が変わったのか．それは，ディスプレイ上のイメージを自由に表示できるようになっために，指さし選択行為の遂行に，より適したアフォーダンスを示すイメージを表示するようになったと考えることができる． ここでは，身体的行為を導くアフォーダンスとディスプレイ...
続きを読む

マジック・メモ：行為＝痕跡＝イメージの解体可能性

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている． このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている． このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる...
続きを読む

画面分割と認知に関するメモ

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る． なぜだろうと思いつつ，マイク・フィグスの「 時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである． 画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発...
続きを読む

サマーウォーズ：身体とアバターのデザイン（１）

ようこそOZの世界へ OZは，世界中の人々が集い， 楽しむことができるインターネット上の仮想世界です． アクセスはお持ちのパソコン，携帯電話，テレビなどから簡単に行えます． では，これからOZの世界を体験してみましょう． グレーゴルの苦悩とOZの楽しさ 「OZ」は，映画「サマーウォーズ」に登場したひとつの仮想世界です．OZに住むためにはアカウントを登録して，自分の分身となるアバターを設定する必要があります．OZの説明では次のように言われています．「まずはあなた自身のアバターを設定しましょう．アバターとはOZ上でのあなたの分身です．服，ヘアスタイル，尻尾などあなたの思うままに着せ替えできます．かわいいアバターができましたね」この説明とともに，画面上でははじめに白いヒト型のアバターが提示されて，それを頭，胴体，足といった順番で自分の好きなかたちにしていく様子が描かれています．ここで行われているのは，仮想世界上での自分を作ることであり，それは自らの身体をデザインすることでもあります．自分の身体をデザインするとは少しおかしな感じです．持って生まれた身体ではなく，ゼロから自分の身体を作る機会をもつことは，今までなかったことです．けれど，自分の身体をヒトのかたちではないものも含めて，自由にデザインすることが許されているのが，OZであり，仮想世界なのです．そこでは，好きな動物にもなれるし，空想上の何かになることもできます． 何にでもなれてしまう．とてもいい感じです．しかし，ここでちょっと考えてみましょう．自分の身体が自分以外というか，ヒトのかたちではなくなるというのは，どうゆうことなのでしょうか．例えば，チェコの作家フランツ・カフカは『変身』という短編小説を書きました．小説の書き出しはこうです． ある朝，不安な夢から目を覚ますと，グレーゴル・ザムザは，自分がベッドのなかで馬鹿でかい虫に変わっているのに気がついた．甲羅みたいに固い背中をして，あおむけに寝ている．頭をちょっともちあげてみると，アーチ状に段々になった，ドームのような茶色の腹が見える．その腹のてっぺんには毛布が，ずり落ちそうになりながら，なんとかひっかかっている．図体のわりにはみじめなほど細い，たくさんの脚が，目の前でむなしくわなわなと揺れている．(p.32)  ...
続きを読む

思考実験：念力でものを動かす

思考実験．例えば，マウスを右に動かすと思ったら，マウスが右に動く．手を使わずに，ただ動くだけ．念力とよばれているやつ．実際，今やってみても，マウスは右に動きません．ブレインインターフェイスが開発されて，試してみたとします．右へ，マウス右に動く．おおすげぇ，と思う．ペン，右手に．ペンが右手のところにくる．これは，脳の中で，ひとつの文が作られて，それに対応しているように思える．となると，二つのことの同時に行うことはできないのはないか．僕は，ふたつの文を同時に書くことも，話すことも，思うことも，今のところできない．でも，身体は，右手と左手で違うことが，同時に出来たりする．そのとき，どんな文が脳の中にあるのか． いや，頭の中に文が生じないとモノにアクセスできないと考える自体が間違っていると言われるかもしれない．もっとイメージで考えているのだと．でも，イメージで考えるとしても，やはりひとつずつものを動かすことしかできないのではないか．でも，イメージに頼らなくても，「すべて」とか「あのへんのもの」とか考えれば，一度に多くのものを動かすことができる．イメージで広い領域をとらえて，その中にあるものの動きを同時に考えることができば，同時に，並行的にものを動かすことも可能かもしれない．でも，モノを動かすとなると，なぜか，脳の中に，命令形がうかぶ．ペンを右へとか，そこの文鎮こっちへとか． なんか，考えるということが，何かを同時に動かすときにボトルネックになってきているような気がする．考える＝意識にあげることが，多くのものを同時に，各々異なる動きをつけることを不可能にしているような．脳の中だけだったら，同時にバラバラに動くものを意識できているような気がする．けど，それを現実と結びつけるとなるととても難しい．目の前にある積み木が個別に動くように意識してみても，それは個別に動くもののそれぞれの動きを全体としてひとつにまとめたものを意識しているような気がする． ここまで考えてきて，なんかマウスとカーソルのつながりと，マルチタッチ・ジェスチャーのカーソルとは関係がなくなった，カーソルが全く動かずにディスプレイ上のイメージがいろいろと動くことが，思い浮かんできた．別にマウスでなくても，トラックパッドの方がいいのだけれど．１本の指のときは，カーソルと連動している．カーソル右へと指を右に動かすとカ...
続きを読む

NICOGRAPH 2025で「エキソニモの《Body Paint》における立体視効果の生起条件と印象の変化」を発表しました

イラストレーターのガトーさんによる実験説明のイラスト 11月30日に広島で開催された芸術科学会の NICOGRAPH 2025 で「エキソニモの《Body Paint》における立体視効果の生起条件と印象の変化」を発表しました。この発表は、甲南女子大学心理学部の星野貴俊さんとの共同研究です。星野さんのゼミ生の卒論をブラッシュアップして、今回の発表となりました。 研究を発表しようとなったのですが、お互いに入っている学会も違うし、どうしようかとなりました。そんなとき、芸術科学会は「非会員」でも発表できるということを知ったので、発表を申し込みました。ロングペーパーでの発表を申し込みましたが、残念ながらショートペーパーでの採択となりました。 発表を終えて、ホッとしながら出張報告書を書いていました。日程を確かめるために、NICOGRAPH 2025のページに行くと、私たちの論文が「優秀論文賞（ショートペーパー）」になっていました。「非会員」だと、こういった表彰制度があるのも知らないですし、たとえあっとしても、「非会員」は審査から除外されるものだと思っていたので、とても驚きましたし、芸術科学会は懐が深いなと感じました。 ということで、発表をして、賞ももらいました。 研究のために作品の映像データの提供や、実験用に作品のカラーバリエーション制作を快く許可してくださった エキソニモ のお二人には感謝しかありません。 星野ゼミの学生さんたち、論文のためのイラストを描いてくれた、私のゼミの学生でもある、イラストレーターのガトーさんに感謝です。 そして、何よりも、私から《Body Paint》の視覚効果を認知科学的に解明したいという急な申し出にのっていただき、3年近い時間をかけて、卒論の指導や論文の執筆をしていただいた星野さん、ありがとうございました！ 最後に、論文（ ロングペーパー ）（ ショートペーパー ）のPDFです。 ー 星野先生（心理学科）と水野先生（メディア表現学科）の共同研究論文が 芸術科学会にて優秀論文賞に選ばれました
続きを読む

告知：SOBOでucnvさんとトークします

7月25日（土）16:30から神保町にある SOBO で開催中の展覧会「Vacant Room」で，企画・展示設計を行った ucnv さんとトークをします．トークでは，今のところ先日の映像学会で発表した「 テクスチャを透してモデルを見てみると：ポストインターネットにおける２D−3D 」から考えた「テクスチャ」と「画像／写真」との関係や展示のドキュメントのことなどを話そうと考えています． テクスチャとなったリアルの重ねるかたちで３Dモデルを置いてみる．リアル３Dモデルからその表面＝テクスチャだけを抜き取るのが写真＝画像． — mizuno masanori (@mmmmm_mmmmm) 2015, 7月 5 （ リアルの →リアルに） 反射光で見ていることにはなるが，どっか世界を透過している感じを与えているという感覚が興味深いのかもしれない．枠を透して世界を見る．カメラで世界を枠付けるのではなく，枠そのもので世界を切り取ること．薄い板というかたちから考える． — mizuno masanori (@mmmmm_mmmmm) 2015, 7月 5
続きを読む

「サブシンボリックな知能」と Doing with Images makes Symbols

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions...
続きを読む

マウスとカーソル：カーソルによる選択行為

コンピュータのディスプレイで表現されている世界は，現実の世界ではないという単純な事実を考えなければならない．そこは，もともと，コンピュータが複雑な論理計算を瞬時に行って表示しているものにすぎない論理の世界であったはずである．そして，論理の世界は，ヒトの身体を排除しているものとして，レイコフとジョンソンが批判したものである．4-21) この事実は，コンピュータによって作り出されるディスプレイ世界には，元来，メタファーの基盤となるヒトの身体が存在していなかったことを示しているのではないか． しかし，レイコフとジョンソン，楠見，久保田の説明では，コンピュータの論理の世界に，いつ，どのようにして，私たちの身体が入り込んでいったのかということは考えられていない．ここから，ヒトの身体が，コンピュータとのコミュニケーションに入り込んでいくプロセスを詳しくみていく必要がでてくる．そして，そこには論理の世界にメタファーが立ち上がっていく様を捉えるという興味深い問題がでてくるはずである． メタファー形成の基盤となるイメージ・スキーマは，基本レベルの行為の繰り返しによって生じるものであるから，身体経験の基本レベルとコンピュータとの関係から考察していかなければならない．よって，私たちが，デスクトップ・メタファーについて，はじめに考えるべきことは，このメタファーが生み出される前に，ヒトの身体経験がその基本レベルで．コンピュータの論理世界に何らかのかたちで入り込んでいたのではないか，ということになる．この問題への手がかりを，シェリー・タークルは与えてくれる．彼女は，デスクトップ・メタファーを一般化したマッキントッシュのインターフェイスについて，次のように書いている． マッキントッシュのインターフェイス──実際はその画面──は，実物の机をシミュレートしている．私のアップルⅡの CP/M システム4-22) のような，論理的コマンドで操作される論理的インターフェイスではなく，たとえ二次元とはいえ，ヴァーチャル・リアリティだったのだ．この世界では，空間を進むのと同じように情報の中を進む．実際，マウスを手にして平面上で動かせば，その物理的な動きが，通常は矢印か指の形である指示アイコンによって，画面に反映されるのがわかるだろう．4-23) このタークルの記述には，「論理的コマンドで操作される論理的イ...
続きを読む

あたらしい「痛み」をつくる

先日， VSN（Visual Studis Network） という自分もスタッフのひとりである研究会で発表しました．その研究会の主旨は名古屋大学大学院情報科学研究科の秋庭史典准教授が書かれた あたらしい美学をつくる を楽しむということでした→ 『あたらしい美学をつくる』の楽しみ方 ． 発表者は著者である秋庭史典さん，美術批評で活躍されている 粟田大輔 さん，そして私という３人でした．粟田さんと私が，『あたらしい美学をつくる』を読んで考えたことを話し，それに対して秋庭さんに応答してもらうという感じで「楽しむ会」は進みました．粟田さんと私の発表に関して，秋庭さんが自身の ブログ でとても的確にまとめてくれています（そして，私の場合は自分でもうまく言えないところをズバリと表現されていてとてもためになります）のでそちらを見ていだければと思います． 以下は，そのとき使ったファイルからの転載です．だいぶ長いです．最後に「プロトコル」という項があるのですが，これは時間の都合上発表では省きましたが，ここには載せておきたいと思います． ─── 情報の流れとしての自然 ひとつの例としての「台風」 幸いなことに，私たちはこうした考えに（直接的ではなくとも）力を貸し与えてくれるような知識論を手にしつつあります．それは， 世界に対峙しそれを認識する主観という図式を廃し，「情報の流れとしての世界」という見方を提案しています ．それがどんなものかイメージしてもらうために，いきなりですが，引用をひとつ挟みます．アメリカの哲学者ドレツキ（1932-）という人の名前が出てきますが，それが誰か知らなくても，「太平洋上の……」以下で著者戸田山和久（哲学者）が言おうとしていることは，理解されるのではないかと思います． こうした世界のもとでは，この世に起こるさまざまな現象はすべて情報の担い手として見えてくる．しかもそれは，特定の解読者に解読してもらうことを必要としない．ドレツキは，情報の発信者，解読者という心をもった主体の存在を前提せず，出来事をじかに情報の担い手と考え，出来事の継起を情報の流れとして捉える． 太平洋上のある場所で台風が発生したという出来事 は，それじたいで，その場所の気圧が非常に低いという情報を担っている．このことはまったく客観的な現象だ．こ...
続きを読む