「フラットネスをかき混ぜる🌪（4）認知負荷ゲームとしてのエキソニモ「Sliced (series)」(1) ──《A destroyed computer mouse, sliced》を見る体験を記述する👀✍️」が公開されました


作品や論考を掲載する（ほぼ）月刊の写真ウェブマガジン「iiiiD」の11月号に連載「フラットネスをかき混ぜる🌪」の4回目が掲載されました．タイトルは「認知負荷ゲームとしてのエキソニモ「Sliced (series)」(1) ──《A destroyed computer mouse, sliced》を見る体験を記述する👀✍️」です．タイトルにあるようにエキソニモ「Sliced (series)」を取り上げています．そして，（1）とあるように（2），（3）と続きます（予定）．

猿山さんの紹介文とともにこれまでの連載回も「iiiiD」で読めるようになっていますので，ぜひ初回から読んでみてください．


2023/12/11追記：iiiiD の更新が停止しため，連載はnoteに転載しています．

このブログの人気の投稿

デスクトップ・メタファーと「ディスプレイ行為」　

ここで，デスクトップ・メタファーが生み出されたパロアルト研究所に考察の対象を移したい．なぜなら，この研究所において，ディスプレイ上の対象物を指さすための道具であったマウスに，次々に新たな行為が付け加えられることになるからである． パロアルト研究所では，1973年に，アルト（図4-4）と呼ばれるシステムが開発された．アルトは，アラン・ケイや，バトラー・ランプソン，チャールズ・サッカーが中心となって開発された実験的なワークステーションであり，その大きな特徴は，ディスプレイ上のピクセルがメインメモリのビットに対応するビットマップ方式を採用していたことである．この決定は，ヒトが環境の情報を最も捉えることができる視覚を重視したインターフェイスを提供することが，マシンとソフトウェアの最大の目的であるという開発者たちの認識から導かれたものであった．そして，アルトのインターフェイスでもうひとつ重要なことは，ポインティング・デバイスとして，マウスが採用されたことである．当時，マウスは，入力デバイスとしては馴染みの薄いものであったが，スチュワート・カードによる実験によって，マウスが，ディスプレイ上の対象を指示するのに最も適したデバイスということになり，標準装備されることになった．4-42) 視覚重視の考えと，ヒトの手の原初的な感覚をコンピュータに持ち込むマウスという道具が，アルトというワークステーションで出会うことになる．     図4-4 ゼロックス社 アルト 視覚重視のアルトは，ディスプレイ上のイメージを自由に表示することができた．このことは，ディスプレイ上のイメージが示すアフォーダンスの直接的な知覚に基づく指さし選択行為とマウスとの関係に影響を与えた． エンゲルバートのシステムでは，マウス・カーソルのイメージは，単なる点であった．しかし，アルトでは，カーソルの形は，矢印（→）になる．カーソルの形が，矢印ではなく点であっても，ディスプレイ上のイメージを指さす選択行為を遂行することはできる．では，なぜ形が変わったのか．それは，ディスプレイ上のイメージを自由に表示できるようになっために，指さし選択行為の遂行に，より適したアフォーダンスを示すイメージを表示するようになったと考えることができる． ここでは，身体的行為を導くアフォーダンスとディスプレイ...
続きを読む

画面分割と認知に関するメモ

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る． なぜだろうと思いつつ，マイク・フィグスの「 時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである． 画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発...
続きを読む

マジック・メモ：行為＝痕跡＝イメージの解体可能性

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている． このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている． このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる...
続きを読む

NICOGRAPH 2025で「エキソニモの《Body Paint》における立体視効果の生起条件と印象の変化」を発表しました

イラストレーターのガトーさんによる実験説明のイラスト 11月30日に広島で開催された芸術科学会の NICOGRAPH 2025 で「エキソニモの《Body Paint》における立体視効果の生起条件と印象の変化」を発表しました。この発表は、甲南女子大学心理学部の星野貴俊さんとの共同研究です。星野さんのゼミ生の卒論をブラッシュアップして、今回の発表となりました。 研究を発表しようとなったのですが、お互いに入っている学会も違うし、どうしようかとなりました。そんなとき、芸術科学会は「非会員」でも発表できるということを知ったので、発表を申し込みました。ロングペーパーでの発表を申し込みましたが、残念ながらショートペーパーでの採択となりました。 発表を終えて、ホッとしながら出張報告書を書いていました。日程を確かめるために、NICOGRAPH 2025のページに行くと、私たちの論文が「優秀論文賞（ショートペーパー）」になっていました。「非会員」だと、こういった表彰制度があるのも知らないですし、たとえあっとしても、「非会員」は審査から除外されるものだと思っていたので、とても驚きましたし、芸術科学会は懐が深いなと感じました。 ということで、発表をして、賞ももらいました。 研究のために作品の映像データの提供や、実験用に作品のカラーバリエーション制作を快く許可してくださった エキソニモ のお二人には感謝しかありません。 星野ゼミの学生さんたち、論文のためのイラストを描いてくれた、私のゼミの学生でもある、イラストレーターのガトーさんに感謝です。 そして、何よりも、私から《Body Paint》の視覚効果を認知科学的に解明したいという急な申し出にのっていただき、3年近い時間をかけて、卒論の指導や論文の執筆をしていただいた星野さん、ありがとうございました！ 最後に、論文（ ロングペーパー ）（ ショートペーパー ）のPDFです。 ー 星野先生（心理学科）と水野先生（メディア表現学科）の共同研究論文が 芸術科学会にて優秀論文賞に選ばれました
続きを読む

サマーウォーズ：身体とアバターのデザイン（１）

ようこそOZの世界へ OZは，世界中の人々が集い， 楽しむことができるインターネット上の仮想世界です． アクセスはお持ちのパソコン，携帯電話，テレビなどから簡単に行えます． では，これからOZの世界を体験してみましょう． グレーゴルの苦悩とOZの楽しさ 「OZ」は，映画「サマーウォーズ」に登場したひとつの仮想世界です．OZに住むためにはアカウントを登録して，自分の分身となるアバターを設定する必要があります．OZの説明では次のように言われています．「まずはあなた自身のアバターを設定しましょう．アバターとはOZ上でのあなたの分身です．服，ヘアスタイル，尻尾などあなたの思うままに着せ替えできます．かわいいアバターができましたね」この説明とともに，画面上でははじめに白いヒト型のアバターが提示されて，それを頭，胴体，足といった順番で自分の好きなかたちにしていく様子が描かれています．ここで行われているのは，仮想世界上での自分を作ることであり，それは自らの身体をデザインすることでもあります．自分の身体をデザインするとは少しおかしな感じです．持って生まれた身体ではなく，ゼロから自分の身体を作る機会をもつことは，今までなかったことです．けれど，自分の身体をヒトのかたちではないものも含めて，自由にデザインすることが許されているのが，OZであり，仮想世界なのです．そこでは，好きな動物にもなれるし，空想上の何かになることもできます． 何にでもなれてしまう．とてもいい感じです．しかし，ここでちょっと考えてみましょう．自分の身体が自分以外というか，ヒトのかたちではなくなるというのは，どうゆうことなのでしょうか．例えば，チェコの作家フランツ・カフカは『変身』という短編小説を書きました．小説の書き出しはこうです． ある朝，不安な夢から目を覚ますと，グレーゴル・ザムザは，自分がベッドのなかで馬鹿でかい虫に変わっているのに気がついた．甲羅みたいに固い背中をして，あおむけに寝ている．頭をちょっともちあげてみると，アーチ状に段々になった，ドームのような茶色の腹が見える．その腹のてっぺんには毛布が，ずり落ちそうになりながら，なんとかひっかかっている．図体のわりにはみじめなほど細い，たくさんの脚が，目の前でむなしくわなわなと揺れている．(p.32)  ...
続きを読む

マウスとカーソル：カーソルによる選択行為

コンピュータのディスプレイで表現されている世界は，現実の世界ではないという単純な事実を考えなければならない．そこは，もともと，コンピュータが複雑な論理計算を瞬時に行って表示しているものにすぎない論理の世界であったはずである．そして，論理の世界は，ヒトの身体を排除しているものとして，レイコフとジョンソンが批判したものである．4-21) この事実は，コンピュータによって作り出されるディスプレイ世界には，元来，メタファーの基盤となるヒトの身体が存在していなかったことを示しているのではないか． しかし，レイコフとジョンソン，楠見，久保田の説明では，コンピュータの論理の世界に，いつ，どのようにして，私たちの身体が入り込んでいったのかということは考えられていない．ここから，ヒトの身体が，コンピュータとのコミュニケーションに入り込んでいくプロセスを詳しくみていく必要がでてくる．そして，そこには論理の世界にメタファーが立ち上がっていく様を捉えるという興味深い問題がでてくるはずである． メタファー形成の基盤となるイメージ・スキーマは，基本レベルの行為の繰り返しによって生じるものであるから，身体経験の基本レベルとコンピュータとの関係から考察していかなければならない．よって，私たちが，デスクトップ・メタファーについて，はじめに考えるべきことは，このメタファーが生み出される前に，ヒトの身体経験がその基本レベルで．コンピュータの論理世界に何らかのかたちで入り込んでいたのではないか，ということになる．この問題への手がかりを，シェリー・タークルは与えてくれる．彼女は，デスクトップ・メタファーを一般化したマッキントッシュのインターフェイスについて，次のように書いている． マッキントッシュのインターフェイス──実際はその画面──は，実物の机をシミュレートしている．私のアップルⅡの CP/M システム4-22) のような，論理的コマンドで操作される論理的インターフェイスではなく，たとえ二次元とはいえ，ヴァーチャル・リアリティだったのだ．この世界では，空間を進むのと同じように情報の中を進む．実際，マウスを手にして平面上で動かせば，その物理的な動きが，通常は矢印か指の形である指示アイコンによって，画面に反映されるのがわかるだろう．4-23) このタークルの記述には，「論理的コマンドで操作される論理的イ...
続きを読む

告知：SOBOでucnvさんとトークします

7月25日（土）16:30から神保町にある SOBO で開催中の展覧会「Vacant Room」で，企画・展示設計を行った ucnv さんとトークをします．トークでは，今のところ先日の映像学会で発表した「 テクスチャを透してモデルを見てみると：ポストインターネットにおける２D−3D 」から考えた「テクスチャ」と「画像／写真」との関係や展示のドキュメントのことなどを話そうと考えています． テクスチャとなったリアルの重ねるかたちで３Dモデルを置いてみる．リアル３Dモデルからその表面＝テクスチャだけを抜き取るのが写真＝画像． — mizuno masanori (@mmmmm_mmmmm) 2015, 7月 5 （ リアルの →リアルに） 反射光で見ていることにはなるが，どっか世界を透過している感じを与えているという感覚が興味深いのかもしれない．枠を透して世界を見る．カメラで世界を枠付けるのではなく，枠そのもので世界を切り取ること．薄い板というかたちから考える． — mizuno masanori (@mmmmm_mmmmm) 2015, 7月 5
続きを読む

ナウシカの世界におけるメディア・コミュニケーション（３）

ガンシップの速度計 ナウシカの世界における「見える」に関してもうひとつ興味深いところが，ガンシップのコクピットの速度計です．この速度計は，私たちがよく知っているように「時速◯◯㎞」と数字で表示されていません．何かが燃えているような５つの玉があって，その燃え方の具合で，速度を読み取っています．私たちは普段，車のスピードを数字で把握します．だから，道路標識にも制限速度「50」などと書いてあるわけです．標識の「50」と速度計の「50」をあわせる．これは簡単にできそうです．しかし，ナウシカが乗っているガンシップの速度計では，このように「50」と「50」を合わせるといったようなことはできません．なぜなら，数字で示されていないので，玉の燃え方でなんとなく合わせるしかないからです（そもそも戦闘機なので制限速度に合わせるということ自体がないですが…）．あくまでなんとなく「今はこのくらいスピード」で飛んでいるとわかればいい．そして，ナウシカの世界では，それでまったく問題ないので，これでいいのでしょう． ガンシップの速度計にも，信号弾や鏡の通信と同じように，「知覚を直接行うこと」が重要だというナウシカ世界のあり方が示されていると考えられます．速度を数字で時速〇〇㎞と示すことは，誰にでも分かる方法です．しかし，その速さを生み出しているエンジンの状態を数字は何も表していません．エンジンが激しく動いていても，速度計にはただ「100」などの数字が表示されるだけです．もちろん現在の飛行機のコクピット，車のダッシュボードには速度計以外にも多くのメーターがついていて，それらの数字を読み取って，機体の状態を確認しているわけです．ガンシップの場合は，エンジンが激しく燃えていると速度計の玉も激しく燃えて，そしてスピードもでます．ナウシカはエンジンの状態が速度へと変換された数字を見ているのではなく，エンジンの状態そのもの，つまり速さを作り出しているおおもとの実体の状態を直接見ているといえます．これは，私たちの世界での速度計とは全く異なる表示の在り方です．もちろん，私たちも速度計などの数字だけで判断しているわけではなく，エンジンの音とか匂いとかを直接感じとって，判断している部分もあります．しかし，それらの情報は常にインターフェイスの「外」，つまり環境に置かれたままなのです．インターフェイスの「中...
続きを読む

インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか．

.review  にテキストを書くために，昔発表したものを改めて読んでみた．カーソルについては論じていないけど，GUI が担っている思想的背景みたいなものを自分がどのようにまとめたかを確認できた．このときは「カーソル」という存在をまったく見落としていたので，ここからどうカーソルと関係させていくか． -- イメージ操作シンボル View more presentations from Masanori MIzuno . インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． １．はじめに アラン・ケイが提唱したスローガン「イメージを操作してシンボルを作る [Doing with images makes symbols] 1 」は，現在のグラフィカル・ユーザ・インターフェイス（GUI）につながるアイデアを簡潔に表現し，GUI の開発に大きな影響力をもった．ケイのスローガンは，ヒトとコンピュータとのコミュニケーションをどのように変えたのであろうか．現在，世界中に，GUI を実装したコンピュータは数えきれないほどあり，私たちはそれを使って日々の作業を行っていることから，ヒトとコンピュータの関係の変化は，ヒトのコミュニケーションそのものへも影響を与えているのではないだろうか．本論考では，上記のことを考えるために，まずは，一般化した GUI がどのような影響をもっているのかを確認するために，東浩紀とシェリー・タークルの議論を考察する．次に，ケイが，どのような影響のもとで，上記のスローガンを掲げるに至ったのかを明らかにする．最後に，スペルベルとウィルソンの「関連性理論」を参照して，GUI が私たちに提示したコミュニケーションの手段を考える． ２．インターフェイス的主体とブリコラージュの再評価 哲学者の東浩紀は，『サイバースペースはなぜそう呼ばれるのか』の中で，現在のユーザ・インターフェイスの主流を占めている GUI について興味深い議論をしている．東は，ジャック・ラカンとスラヴォイ・ジジェクの精神分析の理論をもとにして，シェリー・タークルが1990年代のコンピュータ文化を特徴づけるために用いた「at interface va...
続きを読む

「サブシンボリックな知能」と Doing with Images makes Symbols

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions...
続きを読む