「フラットネスをかき混ぜる🌪（5）認知負荷ゲームとしてのエキソニモ「Sliced (series)」(2) ──《A shot computer keyboard, sliced》から認知プロセスを透かし見る👀」が公開されました

作品や論考を掲載する（ほぼ）月刊の写真ウェブマガジン「iiiiD」の11月号に連載「フラットネスをかき混ぜる🌪」の5回目が掲載されました．タイトルは「認知負荷ゲームとしてのエキソニモ「Sliced (series)」(2) ──《A shot computer keyboard, sliced》から認知プロセスを透かし見る👀」です．タイトルにあるようにエキソニモ「Sliced (series)」を取り上げています．よろしくお願いします🙏

2023/12/11追記：iiiiD の更新が停止しため，連載はnoteに転載しています．

このブログの人気の投稿

マジック・メモ：行為＝痕跡＝イメージの解体可能性

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている． このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている． このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる...
続きを読む

サマーウォーズ：身体とアバターのデザイン（３）

ポストシンボリックコミュニケーション 最後にOZのアバターのもうひとつの可能性を考えてみたいと思います．それは「コミュニケーション」についてです．今までの考察で暗黙に前提にしていたことがあります，それは今では多くの人が「インターフェイスの非対称性」を自分の感覚として持っているということです．作品のなかでも，若い人に限らず，老若男女誰もがOZにログインして，アバターを操作している．そして，作品を見ている人も特に何の違和感もなく「OZのアバター」といったものを受け入れられるし，それについて考えるもことができる．つまり，ゲームやコンピュータの体験：「インターフェイスの非対称性」が一般化した今だからこそ，サマーウォーズという作品は生まれたのです．このことの意味はしっかりと考える必要があります．次の引用は，マリオの生みの親として有名な任天堂の宮本茂さんの対談での細田さんの発言です． 細田　本当に，その社会情勢がもたらしたのがあの映画の設定だったと思うんです．そうじゃなければ，とてもああいう設定で普通の人が活躍するってことはできなかったと思いますね．アクション映画はやっぱり，特別な人が活躍するものみたいな部分があって．『マトリックス』じゃないけど，「キミは選ばれし人だ」とか言われないと活躍できない．でも，DSがこれだけ広まっているという世界的な状況があれば，DSや携帯も含めてそこからアクセスできる身近な道具を使うことによって，普通の人でも活躍できるアクション映画が成り立つんじゃないかと．(p.169)  「PLUS MADHOUSE 03：細田守」キネマ旬報社，2009年 ゲームやコンピュータが当たり前の存在となって，選ばれた誰かがヒーローになるのではなく，誰もがヒーローになれる作品が生まれた，というふたりの話はとても興味深いです．では，誰もがヒーローになれる作品の舞台になっているOZについて改めて考えてみたいと思います． 細田監督作品の特徴と言われる記号的表現．その効用のひとつが，色や形態などを単純化する記号を使うことで，表現にある種のスピード感が得られることだ．単純化とは表現力に制限を加えることだが，その反面，視認性がアップする．たとえばその性質は交通標識などによく現われていて，標識に向かい合った人間はその表示内容にすぐさま反応することが求めら...
続きを読む

デスクトップ・メタファーと「ディスプレイ行為」　

ここで，デスクトップ・メタファーが生み出されたパロアルト研究所に考察の対象を移したい．なぜなら，この研究所において，ディスプレイ上の対象物を指さすための道具であったマウスに，次々に新たな行為が付け加えられることになるからである． パロアルト研究所では，1973年に，アルト（図4-4）と呼ばれるシステムが開発された．アルトは，アラン・ケイや，バトラー・ランプソン，チャールズ・サッカーが中心となって開発された実験的なワークステーションであり，その大きな特徴は，ディスプレイ上のピクセルがメインメモリのビットに対応するビットマップ方式を採用していたことである．この決定は，ヒトが環境の情報を最も捉えることができる視覚を重視したインターフェイスを提供することが，マシンとソフトウェアの最大の目的であるという開発者たちの認識から導かれたものであった．そして，アルトのインターフェイスでもうひとつ重要なことは，ポインティング・デバイスとして，マウスが採用されたことである．当時，マウスは，入力デバイスとしては馴染みの薄いものであったが，スチュワート・カードによる実験によって，マウスが，ディスプレイ上の対象を指示するのに最も適したデバイスということになり，標準装備されることになった．4-42) 視覚重視の考えと，ヒトの手の原初的な感覚をコンピュータに持ち込むマウスという道具が，アルトというワークステーションで出会うことになる．     図4-4 ゼロックス社 アルト 視覚重視のアルトは，ディスプレイ上のイメージを自由に表示することができた．このことは，ディスプレイ上のイメージが示すアフォーダンスの直接的な知覚に基づく指さし選択行為とマウスとの関係に影響を与えた． エンゲルバートのシステムでは，マウス・カーソルのイメージは，単なる点であった．しかし，アルトでは，カーソルの形は，矢印（→）になる．カーソルの形が，矢印ではなく点であっても，ディスプレイ上のイメージを指さす選択行為を遂行することはできる．では，なぜ形が変わったのか．それは，ディスプレイ上のイメージを自由に表示できるようになっために，指さし選択行為の遂行に，より適したアフォーダンスを示すイメージを表示するようになったと考えることができる． ここでは，身体的行為を導くアフォーダンスとディスプレイ...
続きを読む

マウスとカーソル：カーソルによる選択行為

コンピュータのディスプレイで表現されている世界は，現実の世界ではないという単純な事実を考えなければならない．そこは，もともと，コンピュータが複雑な論理計算を瞬時に行って表示しているものにすぎない論理の世界であったはずである．そして，論理の世界は，ヒトの身体を排除しているものとして，レイコフとジョンソンが批判したものである．4-21) この事実は，コンピュータによって作り出されるディスプレイ世界には，元来，メタファーの基盤となるヒトの身体が存在していなかったことを示しているのではないか． しかし，レイコフとジョンソン，楠見，久保田の説明では，コンピュータの論理の世界に，いつ，どのようにして，私たちの身体が入り込んでいったのかということは考えられていない．ここから，ヒトの身体が，コンピュータとのコミュニケーションに入り込んでいくプロセスを詳しくみていく必要がでてくる．そして，そこには論理の世界にメタファーが立ち上がっていく様を捉えるという興味深い問題がでてくるはずである． メタファー形成の基盤となるイメージ・スキーマは，基本レベルの行為の繰り返しによって生じるものであるから，身体経験の基本レベルとコンピュータとの関係から考察していかなければならない．よって，私たちが，デスクトップ・メタファーについて，はじめに考えるべきことは，このメタファーが生み出される前に，ヒトの身体経験がその基本レベルで．コンピュータの論理世界に何らかのかたちで入り込んでいたのではないか，ということになる．この問題への手がかりを，シェリー・タークルは与えてくれる．彼女は，デスクトップ・メタファーを一般化したマッキントッシュのインターフェイスについて，次のように書いている． マッキントッシュのインターフェイス──実際はその画面──は，実物の机をシミュレートしている．私のアップルⅡの CP/M システム4-22) のような，論理的コマンドで操作される論理的インターフェイスではなく，たとえ二次元とはいえ，ヴァーチャル・リアリティだったのだ．この世界では，空間を進むのと同じように情報の中を進む．実際，マウスを手にして平面上で動かせば，その物理的な動きが，通常は矢印か指の形である指示アイコンによって，画面に反映されるのがわかるだろう．4-23) このタークルの記述には，「論理的コマンドで操作される論理的イ...
続きを読む

Paddles ON! London に関してのいくつかのメモ

2013年の10月にニューヨークで開催されたデジタルアートのオークション「 Paddles ON! 」が，今度はロンドンで開催される．23作品が出品されている．出品作品をざっとながめると「絵画」が多い．絵画といってもデジタルペイントが多いが，そのなかには Jeanette Hayes《Press ESC to Escape》2013 のような油絵具を使ったものもある．この作品が象徴的なのだが，今回のオークションで取り扱っているのは「デジタル」の作品ではなく，「『デジタル』『インターネット』を通過した後」の作品であるため，その表現媒体に必ずしも「コンピュータ」を用いているわけではない． JEANETTE HAYES Press ESC to Escape, 2013 Lot Number 12 Oil on chromogenic print on canvas 77.5 x 94 cm (30.51 x 37.01 in) Courtesy of the artist Estimate £1,000 - £1,000 特別な絵画手法でデジタルな題材を描いて，インクジェットように見えながらよく見ると絵画といった作品をつくる Michael Staniak は自らのことを「ポスト・インターネットアーティスト」だと見なしている．「ポスト・インターネット」という言葉は多く使われてきたが，アーティスト自身が自らを「ポスト・インターネットアーティスト」と呼ぶことに，この言葉が使い古されたものになったことを強く印象づけられた． MICHAEL STANIAK IMG_885 (holographic), 2014 Lot Number 7 Casting compound and acrylic on board with steel frame 121.2 x 91.2 cm (47.72 x 35.91 in) Courtesy of Steve Turner Contemporary Signed on the reverse Estimate £3,500 - £4,750 今回の出品作品では，Yung Jakeによる「カーソル」の映像作品《 Squiggle 》2014とYuri ...
続きを読む

それは「場所」ではない，もしくは，それは「選択範囲」ではない

Michael Manning の《 This is Not A Place 》（2013）と Jan Robert Leege の《 Selection as an Object 》（2013） This is Not A Place Selection as an Object Michael Manningの《This is Not A Place》は，ルネ・マグリットの《これはパイプではない》みたいな感じでしょうか．作品のサイトに行くと，パソコンやスマートフォン，タブレットの画像が積み重ねられ，それらのフレームのなかに「場所」の画像が表示されていて，その画像を連想させる音が再生されます．カーソルをフレームの中の画像にあわせると波紋が広がります．フレームの中の「場所」は画像でしかないし，そのフレームもまた画像でしかない．フレームも画像でその中も画像ですが，波紋のひろがりはフレームの画像でとまります．なので，波紋がフレームの画像となかの画像とは異なる次元にあることを示していますが，それらすべてが画像でしかありません．パソコンなどの画像の他に表示されている「花」もまた画像でしかありません． Jan Robert Leegeの《Selection as an Object》のサイトにいくと，選択範囲を示す点線が表示されていて，それが背景に影を落としています．選択範囲が「影」をおとす「実体」として扱われています．《Selection as an Object》の方が《This is Not A Place》よりも，メタな感じがします．画像を選択するためのツールが示す画像に「影」を付与することで「実体化」がされています．選択範囲は「影」がなくても「画像」として表示されているわけだから「実体化」しているとも言えます．しかし，それだけだとそれは見えてはいるけれども「画像」でもなくて，「選択範囲」という「機能」でしかないのかもしれません．「影」がつくことで，選択範囲はひとつの「画像」であることを示しつつ，「実体」をもつかのような感覚を見る者に与えるようになっています．今まで使ってきた「機能」が，突如ひとつの「画像」及び「実体」になってしまうのは，とても不思議な感覚です． Michael Manningの《This is Not A Place》と...
続きを読む

村本剛毅『Beautiful Medium』への寄稿

村本剛毅『Beautiful Medium』に「 私は何か大切なことを忘れているような気がする／Something at the core of my being feels absent 」を寄稿しました。 村本さんの《Imagraph》体験をもとに、〈視界〉と「視界」という二つの言葉で見るということを考えました。テキストを翻訳する過程で、視界の区別を明確する必要が出てきたため、〈視界〉＝vision-after-seeing、「視界」＝vision-before-seeing となりました。 英語で視界の区別を明確にして、vision-before-seeing と書いたときに、わたしは不思議な体験をしました。自分が見ているものから「見る」ということがなくなったのです。わたしの主観的な〈視界〉でもなく、スマホなどデバイスが世界を記録した［視界］でもない、ただの「視界」というものがあって、そこではわたしなしで「見る」ことが起こっているのではと感じたのです。とても怖くなりました。それは「世界が剥がれておちていく感じ」で、世界の底に触れてしまった、という感覚でした。 そのとき、村本さんの個展で《Training Wheels》を体験したときには、どうしてもそれをイメージすることができなかった「（これを通して、）見なさい、何もないと信じながら／ （Through this,）See, while believing that there is nothing.）を、わたしはとても強いリアリティを伴って、理解できてしまったのです。その理解とともに、わたしはわたしというものではなくなって、世界も世界ではなくなって、力となってしまったような気がしました。強烈な体験でした。 そのような体験をわたしにもたらしたテキストを掲載されている『Beautiful Medium』は、村本さんの サイト から購入できます。ぜひ、読んでみてください。
続きを読む

メタファーと身体の関係

1996年に，ダン・ゲントナーとヤコブ・ニールセンは，「アンチ-マック・インターフェイス」という論文を発表した．そこで，彼らは，現在でもGUI デザインを論じる際にバイブルとして参照されることが多い「マッキントッシュ・ヒューマン・インターフェイス・ガイドライン」の原理に，あえて反することで，新たなインターフェイスの可能性を論じている．4-3) マッキントッシュの第一の原理には，インターフェイスは私たちの馴染みの環境を用いたメタファーに基づいているべきだと書かれている．4-4) マッキントッシュの開発者たちは，この原理に則って，現在まで使用されている洗練されたデスクトップ・メタファー（図4-1）を開発した． 　　　　　　　　　　図4-1 システム1.1 のデスクトップ そこでは，ディスプレイ画面を「机の上（デスクトップ）」と見なし，「ファイル」，「フォルダ」，「ごみ箱」などを模したアイコンを，マウスで選択し，クリックすることで，コンピュータの操作が可能になっている．この原則に対して，ゲントナーとニールセンは，「ワードプロセッサ」は「タイプライター」にたとえられるが，ワードプロセッサには，タイプライターにはない「やり直し」の機能があるなど，メタファーが示す目標領域（コンピュータ）と基底領域（たとえる対象）とのミスマッチを指摘する．そして，彼らは，このようなメタファーの使用は混乱を招くことになるので，コンピュータ・システムの構造に即した，メタファーに頼らないインターフェイスをデザインすべきだと主張し，言語主体のインターフェイスの提案を行った．4-5) メタファーによる対象の機能のミスマッチを問題視するゲントナーとニールセンに対して，ジョン・キャロルらは，以前から，対象間のミスマッチを含んではいるが，メタファーの使用は私たちの最も基本的な学習へのアプローチのひとつなので，インターフェイス・デザインには不可欠なものだと主張していた．4-6) 確かに，コンピュータを取り巻くメタファーには多くのミスマッチがあるが，それにも関わらず，私たちは，それらを手がかりにして，コンピュータを使い始めて，気がつくと，それらを当たり前のように操作して自分の作業を進めてきたことは事実である． ゲントナーとニールセン，キャロルらは，似ている対象を結びつける言語の機能としてメタファーを論じ...
続きを読む

カーソルについて何か考えたこと，または，エキソニモの《断末魔ウス》《ゴットは、存在する。》の感想

講義でカーソルについて話した．講義ではエキソニモさんの《断末魔ウス》，《ゴットは，存在する》の《gotexists.com》を見た．その講義への学生のコメント． -- カーソルよりも物理的に破壊されきづついているマウスの方が可哀想に思いました 《ゴットは存在する》を見てなんだか不思議な感じがした。ゴットについての検索結果がずらりと出ているにも関わらず、それらにカ-ソルを合わせて見ようとすると見られない。いつも当たり前に出来ている事が出来ないと言う事の不思議さが、とても新しく、面白いと思った。 なんだか無機物なのにカバーを外して中身がどんどん剥き出しになる過程が有機的で気持ち悪いと感じました パソコンの画面にカーソルがあるのは当たり前だったので、深く考えたことはありませんでした。断末魔ウスについては、マウスは無機質な物なのにあそこまで無惨に壊されると痛々しかったです。無意識の内に感情移入しているんでしょうか。 その発想を思いついた人がすごいと思いました。 マウスがたくさん壊されて、無機物といえどかわいそうでいたたまれない気持ちになりました。 自分も普段PCを触って、必ずと言っていいほど使っているマウスが壊れていくのは、なんだか非日常的ですさまじかったです。 シュールレアリスムとはこのことを言うのかと思い、すこしだけ切なくなりました。 カーソルはたまにどこにあるのかわからなかったり、押したいところでないところに教えてしまうことがある。 映像は面白かったが少し怖かった。何を表現したかったのかがあまり伝わってこなかった映像だった。 マウスは今ではほとんどが赤外線を使用しており、使用感もボール式よりもなめらかになってすごく良くなったと思う。 これからは指先の細かな動きで操作出来るマウスが出ると思う。 あの矢印をもっと可愛いデザインにしてほしい。 カーソルは、基本的に矢印と手の人差し指で表されていますが、未来のカーソルには、動物の手や人の顔などでも表示されるとおもしろそうだと思います。 いろんなアイコンにカスタムできるけど 結局シンプルかつわかりやすいので矢印が一番よいと思う カーソルをマウスで動かすのは、いつもちょっと難しいなぁと思います。 パソコンの画面のフィールドと実際のマウスを動かす机とは別物なので… Ma...
続きを読む

日本映像学会第51回大会での発表：VR体験をしているマウスにとっての映像とは何なのか

神戸大学で開催された日本映像学会第51回大会で「VR体験をしているマウスにとっての映像とは何なのか」という発表をしました。発表資料の最後に「この研究はJSPS科研費 23H00579 （モアザンヒューマンの美学――動物論的転回以降の感性論的可能性）の助成を受けたものです」と記したように、私はここ3年、動物が何かしらのインターフェイス関連の体験をしている題材を探していました。そこで見つけたのが、マウスがHMDをつけられてVR体験をする研究です。3年の科研の2年目の終わりで、マウスVR研究を見つけました🐭🥽🥸　セーフ！　 これでやっと科研の研究が進められると思ったものの、研究をどうすれば進められるかと、トマス・ネーゲルの『コウモリであるとはどのようなことか』を読みましたが、主観的体験についての限界を知って、頭を抱えるだけでした。それでも、どうにか発表の形にまとめられました。 今回の発表準備での変化は、NotionAIの半額オファーが来ていたので、契約して、AIを積極的に使ったことです。無制限にAIを使いながら、研究を進めました。ある程度、発表資料を書いたら、「発表資料のいい点と改善点を教えて」と聞いて、いい点を読んで「いけるぞ！」と思って気分を上げた後で、改善点で「おー、確かに」と頷きながら、自分で改善したり、AIに具体的に改善してもらったりしました。途中から、Notion AIだけでなく、比較も兼ねて、契約についてきたClaud、chatGPT、Geminiも使って、それらと対話を重ねながら、発表資料をまとめていきました👾 私はアイデアを勢いで書いたあとで、アイデア同士を接続していくのが苦手なのですが、生成AIたちはそこが得意みたいで、「そうやって、アイデアをつないでいくんだ」と感心することが多かったです。 使ってみたAIで発表資料に対する的確なコメントをくれたのは、GoogleのGeminiの2,5 Proでした。同じくGoogleのNotebookLMも良かったです。特に、Geminiが発表資料をもとに書いた論文を、NotebookLMにポッドキャストにしてもらったものはおもしろかったです。発表前に流していたら、会場で笑いが起こりました。 今回の発表は、一方で、マウスという主観的体験を推測するしかない存在を扱いながら、もう一方で、インターネットにあげてきた...
続きを読む