次の学会発表のためのメモ（７）：「あいだ」の映像

5/04/2010

この映像は，マジックマウスやトラックパッドにいろいろな設定ができるソフトウェア「BetterTouchTool」にある「Live view」という機能を使っているところをキャプチャーしたものである．「Live view」は，見ての通り，マジックマウスやトラックパッドで指が触れている状態を可視化してくれるものである．だが，私たちはここで何を見ているのだろうか．

このブログで見ている映像は，私が自分のMacBookで「Live view」を使っているところを，QuickTimeでキャプチャーしたものをYouTubeにあげたものである．ここには３つの映像の段階がある．ひとつ目は「Live view」の文字通りのライブ映像．ライブ映像をQuickTimeでキャプチャーした記録映像．そして，記録映像をYouTube用に変換した映像．３つの段階があると書いたが，ここにあるのは，映画やテレビといった映像メディアが示していたライブ映像と記録映像の違いにすぎない．ライブか記録か，ただそれだけの違いである．YouTubeという新しいメディアを使っているために，３つ目の段階を追加したにすぎない．

「Live view」のライブ映像を見ることができたのは，この映像を撮影をしながら見ていた私だけである．あとは，私が自分のQuickTimeのファイルを開いても，YouTubeにアクセスした人も，見るのは記録映像である．

エキソニモの《断末魔ウス》の場合はどうだろうか．そこで私たちが見るのは，マウスが壊されていく記録映像である．しかし，目の前にあるディスプレイ上で，記録映像の中のマウスと連動して動くカーソルはライブ映像である．記録映像とライブ映像を同時に，重ね合わせて見るという体験がここでは起こっている．

マウスが破壊される瞬間のカーソルの動きを「断末魔」と捉え，映像と同時に記録した作品．これは，機能を失うことでモノとしての死と，再現可能であることで「死なない」情報との対比であり，モノとデータ，記録映像とライブ映像，映像と PC 環境の境界線を越える挑戦である．
断末魔ウス「Description」，exonemo

記録映像とライブ映像との「あいだ」を考えなければならい．今までこれらを同時に重ね合わせて見ることがなかった．それゆえに，このふたつの映像には互いが共有するような「あいだ」がなかった．なぜなら，これらは交わらない映像であったからだ．しかし，今では，このふたつの映像は交わる．そこに共有する「あいだ」が生じる．この「あいだ」の意味を考えなければならない．

記録映像という「かつて-そこに-あった」とライブ映像という「いま-ここに-ある」が同時にある世界．《断末魔ウス》をはじめて見ると，それは過去に記録された映像であるという思いの方が強いように思われる．それには，カーソルの動きを作る位置情報も過去に記録されたものというのも強く影響しているように思われる．

しかし，カーソルは記録された位置情報に基づいて，鑑賞者の目の前で「今」動いているのである．にもかかわらず，私たちは過去の方へと引きづり込まれる．それは，私たちがまだ情報，データに基づいた映像を見るということに慣れていないからではないだろうか．

私たちはアナログとデジタルという映像の違いをさんざん比較してきた．しかし，このふたつの形式は私たちの見るという体験に，実は大きな変更を加えることはなかった，と私は考える．しかし，データに基づいた映像とそうではない映像を見るという体験は，大きな影響を与えるのではないだろうか．すべてを「いま-ここに-ある」にしてしまう．「いま-ここ」という「点」の状態を，ディスプレイという「面」に展開して提示するデータ映像？

「かつて-そこに-あった」という事物の映像を見ることと，その事物から抽出されたデータから生じる映像が示す「いま-ここに-ある」ということ．私たちはカーソルという矢印の形を見ているが，それは「かつて-そこに-あった」事物ではない．また，事物から抽出されたデータそのものでもない．

「Live view」の映像においても，そこに記録されているのはトラックパッドを操作する私の指ではなく，指がトラックパッドに触れている接触面から抽出されたデータを可視化したものである．私たちヒトが理解できる形で，コンピュータがデータを可視化する．

コンピュータにとっては「かつて-そこに-あった」も「いま-ここに-ある」も関係ないにちがいない．コンピュータのある世界では，ヒトもデータ化されて，データの入出力の流れだけが，そこにあるだけなのだ．

ヒトとは異なる世界を構成するコンピュータ．しかし，コンピュータはヒトを必要とする．それゆえに，コンピュータはヒトとコミュニケーションをとらなければならない．そのために，ヒトに合わせたデータの可視化を行う．ヒトとコンピュータとの「あいだ」．ヒトとコンピュータとが共有する部分としてある「あいだ」の映像．

このブログの人気の投稿

ここで，デスクトップ・メタファーが生み出されたパロアルト研究所に考察の対象を移したい．なぜなら，この研究所において，ディスプレイ上の対象物を指さすための道具であったマウスに，次々に新たな行為が付け加えられることになるからである．パロアルト研究所では，1973年に，アルト（図4-4）と呼ばれるシステムが開発された．アルトは，アラン・ケイや，バトラー・ランプソン，チャールズ・サッカーが中心となって開発された実験的なワークステーションであり，その大きな特徴は，ディスプレイ上のピクセルがメインメモリのビットに対応するビットマップ方式を採用していたことである．この決定は，ヒトが環境の情報を最も捉えることができる視覚を重視したインターフェイスを提供することが，マシンとソフトウェアの最大の目的であるという開発者たちの認識から導かれたものであった．そして，アルトのインターフェイスでもうひとつ重要なことは，ポインティング・デバイスとして，マウスが採用されたことである．当時，マウスは，入力デバイスとしては馴染みの薄いものであったが，スチュワート・カードによる実験によって，マウスが，ディスプレイ上の対象を指示するのに最も適したデバイスということになり，標準装備されることになった．4-42) 視覚重視の考えと，ヒトの手の原初的な感覚をコンピュータに持ち込むマウスという道具が，アルトというワークステーションで出会うことになる．図4-4 ゼロックス社アルト視覚重視のアルトは，ディスプレイ上のイメージを自由に表示することができた．このことは，ディスプレイ上のイメージが示すアフォーダンスの直接的な知覚に基づく指さし選択行為とマウスとの関係に影響を与えた．エンゲルバートのシステムでは，マウス・カーソルのイメージは，単なる点であった．しかし，アルトでは，カーソルの形は，矢印（→）になる．カーソルの形が，矢印ではなく点であっても，ディスプレイ上のイメージを指さす選択行為を遂行することはできる．では，なぜ形が変わったのか．それは，ディスプレイ上のイメージを自由に表示できるようになっために，指さし選択行為の遂行に，より適したアフォーダンスを示すイメージを表示するようになったと考えることができる．ここでは，身体的行為を導くアフォーダンスとディスプレイ上のイメージが導くアフォーダ

画面分割と認知に関するメモ

2/05/2011

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る．なぜだろうと思いつつ，マイク・フィグスの「時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである．画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発

マジックマウスの慣性スクロール / Magic Mouse Scroll with momentum.

11/04/2009

マジックマウスの慣性スクロール．iPhone でもできてしかも気持ちいいけど．マジックマウスの慣性スクロールも気持ちいい．同じ慣性スクロールなので，やっている行為，指の動きは同じで，ディスプレイ上のイメージの動きも同じ．でもなんか違う．iPhone は，とても滑りのいいガラスの上を指がすいすいと動いて，その指にイメージが反応している感じ．ガラスの滑らかさとイメージの指への吸い付き．マジックマウスは，すこし滑りがわるいプラスチックの表面なんだけど，緩やかな傾斜がついているので，指をその傾斜に沿わして動かしている感じ．指にイメージが反応しているのは一緒だけど，プラスチックも指に吸い付くし，イメージも吸い付く感じ．プラスチックの表面に指が物理的にくっつくことが少し気になる．でも，一番の違いは，iPhone は直接的にイメージに触れているように見えているのに対して，マジックマウスは，指とイメージとが離れているということなのでしょうか．最初は，マジックマウスの傾斜が重要かなとも思ったんですが…．でも，この傾斜は人差し指で行ったり来たりするときに，私にとってはとても気持ちいい．どちらにしても，この慣性スクロールは，私たちの物理的世界の慣性をコンピュータの論理世界に入れてしまったわけです，でも，それも論理で実現されているわけです．まわりまわって，いつも私たちが体験していることが，ディスプレイ上のイメージで表現されるとなんか気持ちよさを感じてしまう．少し違うか．慣性というものだけが，ディスプレイ上のイメージに入り込んでいるから気持ちいいのか？　世界の物理法則の一部を切り取って，イメージに入れ込む．それも，私たちの行為にピタリと合った形で．そうすると，実現しているのは物理世界で起こっていることなんだけれど，体感としては何か新しいことが起こっているように感じてしまっているのか？　この新しく感じてしまう慣性スクロールとそれを行う表面の形状の関係について，最初に考えたのは，マジックマウスの緩やかな傾斜は，傾斜に対して私たちは日頃昇るときも勢いをつけるし，下るときは自然と勢いがついてしまうことと関係しているのではということでした．それが，プラスチックの表面という滑りの悪さを補うのかと．でも，私たちの物理世界から慣性だけを切り取って，それを指の

ヌケメさんとのトークメモ

12/11/2015

《Old School》について家にある《Old School》を90度回転して置いてみたら，とてもびっくりしました．Windowsのアイコンが突如，モノ化した感じがしたのです．木にプリントされた時点で，ディスプレイの光の集まりであるアイコンはモノ化しているわけですが，この段階ではまだ木の表面にプリントされたイメージという感じがあります．ヌケメさんはそれを彫ります．そうすると表面に凸凹が生じます．そこで更にモノ感が増すわけですが，一番上の画像のように置かれるとどこかまだイメージな感じがします．それはプリントがパソコンのディスプレイと同じように垂直に提示されているからかもしれません．垂直だった彫られたプリントを水平に置いてみると，木片の凸凹が影で強調され，モノらしさが前面にでてきたのです．これを新鮮な驚きでした．これはアメリカの美術史家レオ・スタインバーグが提起した概念「フラットベット絵画」とも通じるところがあるかもしれないと考えています（→参照：アザー・クライテリア）．ヌケメさんの《Old School》は水平と垂直がこじれている感じがします．また，《Old School》を考えるためにもうひとつ参照したいのが，マイクロソフト社の「Windows 8.1　ユーザーエクスペリエンスガイドライン」で示した「"真のデジタル化" とは、アプリが画面上のピクセルにすぎないという事実を踏まえる」ということです．影がない光のみのピクセルを物理世界に引っ張りだすと，そこには影が必ず生じます．ヌケメさんの木を彫るという行為は影がない世界から持ちだした画像に「影のパラメータ」を付与して，操作することなのかもしれません．影の視点から今回のあたらしいバージョンの《Old School》の木の厚みを見てみるとおもしろいです．新作は薄くなっていて，木片というよりは板になっています．木片の正面にプリントされて彫られたアイコンよりも，板にアイコンの方が角度をつけて展示されることで，影がよりはっきり見えてきます．板という薄いものを掘って，切り口に影が生まれて，それがモノの感じを醸し出す．なので，あたらしいバージョンの《Old School》のほうが，立体感が強かった気がします．それは周りをグルっと回って作品

マウスとカーソル：カーソルによる選択行為

3/11/2010

コンピュータのディスプレイで表現されている世界は，現実の世界ではないという単純な事実を考えなければならない．そこは，もともと，コンピュータが複雑な論理計算を瞬時に行って表示しているものにすぎない論理の世界であったはずである．そして，論理の世界は，ヒトの身体を排除しているものとして，レイコフとジョンソンが批判したものである．4-21) この事実は，コンピュータによって作り出されるディスプレイ世界には，元来，メタファーの基盤となるヒトの身体が存在していなかったことを示しているのではないか．しかし，レイコフとジョンソン，楠見，久保田の説明では，コンピュータの論理の世界に，いつ，どのようにして，私たちの身体が入り込んでいったのかということは考えられていない．ここから，ヒトの身体が，コンピュータとのコミュニケーションに入り込んでいくプロセスを詳しくみていく必要がでてくる．そして，そこには論理の世界にメタファーが立ち上がっていく様を捉えるという興味深い問題がでてくるはずである．メタファー形成の基盤となるイメージ・スキーマは，基本レベルの行為の繰り返しによって生じるものであるから，身体経験の基本レベルとコンピュータとの関係から考察していかなければならない．よって，私たちが，デスクトップ・メタファーについて，はじめに考えるべきことは，このメタファーが生み出される前に，ヒトの身体経験がその基本レベルで．コンピュータの論理世界に何らかのかたちで入り込んでいたのではないか，ということになる．この問題への手がかりを，シェリー・タークルは与えてくれる．彼女は，デスクトップ・メタファーを一般化したマッキントッシュのインターフェイスについて，次のように書いている．マッキントッシュのインターフェイス──実際はその画面──は，実物の机をシミュレートしている．私のアップルⅡの CP/M システム4-22) のような，論理的コマンドで操作される論理的インターフェイスではなく，たとえ二次元とはいえ，ヴァーチャル・リアリティだったのだ．この世界では，空間を進むのと同じように情報の中を進む．実際，マウスを手にして平面上で動かせば，その物理的な動きが，通常は矢印か指の形である指示アイコンによって，画面に反映されるのがわかるだろう．4-23) このタークルの記述には，「論理的コマンドで操作される論理的イ

2046年の携帯電話と2007年のスマートフォンのあいだにある変化（１）

7/07/2015

2046年の携帯電話新海誠監督のSFアニメ「ほしのこえ」を「インターフェイス」の観点から見ると何が見えてくるでしょうか．「SF」というジャンルには近未来を予測した様々な「インターフェイス」がでてきますが，「ほしのこえ」では主にミカコとノボルをつなぐ「携帯電話」を扱いたいと思います．ノボルとミカコの物語は2046年が舞台です．2046年の中学生3年生がもっている携帯電話は，大きな液晶タッチパネルで操作するスマートフォンとは異なり，小さな液晶ディスプレイと多くのボタンを備えたものです．2046年という未来であるにもかかわらず，「ガラケー」とも呼ばれる古いかたちの携帯電話を持っているのはおかしいと思う人もいるでしょう．しかし，現在のスマートフォンのかたちを決定づけたアップル社のiPhoneが発表されたのは2007年ですから，「ほしのこえ」が発表された2002年には液晶タッチパネルを備えた携帯電話は一般的ではなかったことになります．2002年にはiPhoneがまだ存在していなかったけれど，今（2015年）では携帯通信機器の主流は，ノボルとミカコがもつような携帯電話からタッチ型インターフェイスのスマートフォンへとシフトしました．この事実は「ほしのこえ」を考察する上で重要な意味を持ちます．「ほしのこえ」はSFなので，iPhoneのようなタッチ型インターフェイスの携帯電話の登場を正確に予測する必要はありません．なぜなら，SFは「サイエンス」という言葉がついていても，あくまで「フィクション」なので，現実的な未来の予測に囚われる必要はないからです．しかし，SFは現実世界の正確な予測ではないけれど，単なる絵空事でもありません．SFと現実とのあいだには独特なつながりがあります．例えば，『SF映画で学ぶインタフェースデザイン』には携帯電話に関する例が挙げられています． SFに見られるフィクションの技術によって，ファンは来るべき刺激的な何かを期待します．顕著な例は，『宇宙大作戦』の通信機です．1960年代後半，一般的な通信機といえば，トランシーバーないしは壁にコードにつながっているお姫様型電話だったころ，『宇宙大作戦』に登場した通信機によってモバイル電話の期待が高まりました．その使い方は電話というよりもややトランシーバー寄りではありましたが，初期の

［インターネットアートこれから］の「これから」を考えるためのメモ_06

8/21/2012

近頃，「世代」ということが気になっています．と言ってもただ，次のふたりの誕生年が一緒だったというだけなのですが，エキソニモの千房さんと作品集『 The Speed Book 』が面白かったアラム・バートル（ Aram Bartholl ）がともに1972年生まれなのです．アラムの『The Speed Book』に関してはCBCNETさんに「オンライン／オフラインを交差するリアリティ – アラム・バートルによる数々の実験的なプロジェクトを収録した作品集がリリース」という記事があります（作品写真もとてもきれいに載っているので是非読んでみてください）そのなかで，アラムの作品を含んだ状況の説明がされています．彼の作品の多くが，インターネットが日常化した（もしくは陳腐化した）現代において，人々が感じるリアリティの変化やその質に注目したものだ．これは今年はじめにICCにて開催された [インターネットアートこれから] 展でもテーマとしたポイントであったが，世界中でそういったテーマ性を持った作家や作品が登場している．これは一種のネット・アートの流れとして語られることが多いが，90年代のそれとは多様な変化（インターネット自体も含めて）を見せている．アラムの作品は，あるオブジェクト単体で完結するものではなく，そのシステムやキュレーション，場合によっては状況そのもの，など広範囲となっており，実空間に落とし込んでいる点が特徴的だ．本の中で，アーティストのEvan Rothは彼の作品はニューメディアアートより街で見かけるグラフィティのほうに共通項が多いとし，既存のシステムに入り込み，新たな価値を示す，という意味で「ハッカー」であるとしている．エキソニモも「ハッカー」的ということがよく言われます．じゃ，アラムとエキソニモを「ハッカー」というひとつの言葉で括って，同じように扱えるかというと少し違う感じがしています．ともに「既存のシステムに入り込み，新たな価値を示す」ことはしているけれど，以下のちがいがあるのではないだろうかと思っています．アラムはデジタルの出来事や存在を文字どおりそのままリアルに移植・もってくることで出てくる「ちがい」があたらしい価値を生み出す．エキソニモはデジタルの出来事や存在から生じている私たちの感覚を抽出して，それをリアルで「