touch-touch-touch

スライドのPDF→ https://drive.google.com/open?id=0B3RHXdLnqTi-b3JadFRKZWdVRHc 10月の連続トークの最終週は 飯岡陸 さんのキュレーションする「 新しいルーブ・ゴールドバーグ・マシーン 」展での，写真家・ 小林健太 さんとのトーク「ダーティーなGUI」でした． 「ダーティーなGUI」というタイトルは「 GUIの歪み 」というタイトルの講演を考えているときに出てきた言葉でした．そして，今回はその言葉を使って，「クリーンなGUI」としてのラファエル・ローゼンダールと「ダーティーなGUI」としての小林健太を対比させることで，何が考えられるのか，ということを，小林本人と話してみようと考えました． 小林　　指が大事な気がしていて．写真って実際の行為は，いろいろ身体を動かすにしても，ボタンを押し込むっていうそれだけで，そのボタンを押し込むっていう行為と，出て来た画像との間に，動作的な分断がある．その感じが面白いと思っていて．一方編集では指先と，そこから延びる筆致に連続性があって．  ［投稿｜トーク］小林健太「#photo」を巡って｜小林健太×荒川徹×飯岡陸×大山光平（G/P gallery）  今回のトークはGUIが中心ではなく，小林の作品と作品制作の行為がメインなので，事前にいくつもの小林のインタビューやテキストを読んだなかで，気になったのが上の言葉でした．撮影の「ボタンを押す」という行為と編集の指で「描く」という行為との組み合わせ．小林は別のインタビューでは「行為をバインドしたいんすよね．撮る行為と，編集する行為を重ね合わせたい」と言っています．  カメラはボタンを押すという最小の行為で，物理世界を画像に移してしまう．物理世界を写し取るためにヒトが培ってきた行為を「ボタンを押す」という最小行為にしてしまったのが，カメラであり，その延長にコンピュータがあると考えられます．だから，私はGUIというシステムはヒトの行為を最小化していく流れにあるものだと考えています．しかし，コンピュータの論理世界にヒトが入り込むには，キーボードの一つひとつのボタンを押す行為によって文字列を入力していくことが最適でしょう．そこになぜわざわざGUIなんてものがでてきたのか．...

スライドのPDF→ https://drive.google.com/open?id=0B3RHXdLnqTi-WUQ5UjN2blduUmM 10月8日は情報科学芸術大学院大学（IAMAS）で開催された2016年度 日本映像学会中部支部 第1回研究会で 「GUIの歪み」 という講演をしました．映像学会の 中部支部 は名古屋大学大学院時代にとてもお世話になったところです．映像学会のなかで「メディアアート」や「インターフェイス」についての発表をし続けても，受け入れてくれた懐の深い支部です． 発表要旨は以下になります． 要旨： 写真家の小林健太は自らを「GUIネイティブ」と呼び，「自分が何かと接する時に，その間に何かフィルターが介入していて，歪みが生じている．そういう状況に慣れきったような感覚」があるという．小林が言うように，デスクトップメタファーからフラットデザイン，マテリアルデザインといった流れをもつGUIは，物理世界の再現を目指すわけではなく，その構造のみを取り入れた独自の世界をディスプレイに展開してきたと考えられる．GUIを操作し続けるヒトには，物理現象に還元できない表象がつくる物理世界を裏切るような歪んだ感覚が蓄積してきた．「ポストインターネット」と呼ばれた状況以後，この蓄積された感覚が閾値を越えて，作品として現われ続けている．今回の発表では，GUIによる歪んだ感覚を示すふたりのアーティストを取り上げる．ひとりは先述の小林であり，もうひとりはベクター画像の特性を活かした作品をつくり続けるラファエル・ローゼンダールである．小林とローゼンダールの作品を通して，GUIの歪みを示していきたい． 当日は，小林健太とラファエル・ローゼンダールの考察のまえにGUIの流れをアイヴァン・サザーランドからGoogleのマテリアルデザインまで追っていきながら，身体とGUIとの歪んだ関係を先ず示しました．その後で，その歪みを引き受けた作品として，ラファエル・ローゼンダールと小林健太の作品を紹介しました．この発表を考えているときに，ローゼンダールはベクター画像が示すような数学的な完全さとともにある「クリーンなGUI」で，小林は身体と物理世界とが「クリーンなGUI」に「汚れ」をつけていく「ダーティーなGUI」なのではないか，というアイデアを得ま...

10月は3週連続で東京に出張して，いろいろなところでトークや講演をさせてもらいました．その記録としてのブログ記事の最初は，10月2日にNTTインターコミュニケーション・センター [ICC]で行われた，渡邊恵太さんとトーク「 インターフェイスとは何なのか？ 」です． 久しぶり「インターフェイス」について，どっぷりと考えられたいい時間でした．しかも，ひとりで考えるのではなく，渡邊恵太さんと一緒に考えられるというのは，とても刺激になりました． トークで使ったスライドです． スライドのPDF→ https://drive.google.com/open?id=0B3RHXdLnqTi-VHJURm5Jb2MwNWM 以下は，渡邊恵太さん含め，渡邊研究室との打合せのときにSlackに書いたメモみたいものです． 渡邊研究室への私からの最初の問いかけ 夏の集中講義で『融けるデザイン』を再読して，そこで「smoon」や「LengthPrinter」は，ヒトの行為を均一化していくものだなと考えました．掬う量に関係なく，ただ「掬う」．長さに関係なく，ただ「引っ張る」．ボタンを押すだけの全自動とは異なり，従来の行為を行いつつも，そこでは大きな変化が起きている．でも，従来の行為と変わらないものとして捉えられてしまう． 「行為の均一化」に似たヒトの行為の縮減は，ディプレイに向かうときにヒトに起こっていたと言えます．「ボタンを押す」だけで，様々なものがディスプレイに生じます．でも，それは「行為の均一化」というよりも，ボタンを押すという単一の行為にヒトの行為を最小化していくものだったと言えます．最小化した行為に物理世界に由来する意味づけをつけるためにメタファーが用いられて，デスクトップメタファーが生まれたと考えられます． 最小化した行為のもとでメタファーを使って，ヒトの行為の構造や意味コンピュータに移行していったとすれば，GUIには歪んだ身体感覚が映されたことになります．しかし，その歪んだ身体感覚のことは考えずに，物理世界そのものをディスプレイに構築しようとしたのがスキューモーフィズムだと言えます．しかし．ディスプレイのなかが物理世界に近づこうすればするほど，最小化した行為とメタファーとのセットで持ち込まれた歪んだ身体感覚とイ...

スパイク・ジョーンズ監督の「her」を見た．AppleのAirPodsが発表されたから，インターフェイスの未来を考える参考になるのではないかと思ったのであった．音声インターフェイスって，とても直接的で解像度が高いのではないかと思った．もちろん，映画はスカーレット・ヨハンソンの声だから解像度が高いのは当たり前だけれども… 視覚的インターフェイスはまだまだ改善の余地はあるかもしれないけれど，音声インターフェイスのイヤホンとマイクというかたちはもう改善の余地がないのではないだろうかと思った．音声認識とAIの精度というか，進化は必要だけれども，音声に関するインターフェイスとしては完成されているかもしれないと映画を見ていて思った．イヤホン型のコンピュータはいつでも装着できるし，「音」のインターフェイスだから「盗撮」といった視覚的なプライバシーを犯すという感覚をヒトに与えにくいのはいいかもしれない．けれど，音声インターフェイスが全盛になると，音声のプライバシーへの意識が上がるのかもしれない． 映画の中ではじめて主人公がOSとデートのようなことをしているところが印象にのこった．iPhoneみたいな装置についているカメラを「眼」にして外界を「見て」．そこから指示を主人公の耳に「囁く」．主人公がとても楽しそうだった．目を閉じていたので，私が思っている以上に楽しかったのかもしれない． インターフェイスに関していえば，主人公とOSとの関係が少しギクシャクしたときに，主人公がイヤホンを投げ捨てたところが気になった．あの投げ捨て方は，とても気持ちを入れていたものであった．モノをモノとして扱いながらも，そこに感情移入もしている．どこか奇妙な感じがあった．ハードにソフトが載ることで，ヒトにとってのモノの意味が変わってしまうような感じがした．音声を聞かせるモノでしかないイヤホンがOSと結びつくことで，人格を得てしまう．OSの人格がモノに憑依する．モノはモノでしかないけれど，ヒトの認識が変化する．でも，それは認識の変化でしかないから，モノとして放り投げてしまう．ここには，これからモノをどう扱うことになるのか，モノに感情移入してしまうことを感じた． 私たちは既に画面のなかのカーソルやキャラクターに感情移入できたり，自己帰属感を得たりしているので，モノにそういった...

「ヒトはこれまで複雑な行為をしすぎてきたのではないだろうか？」というようなことを三輪さんとのトークで言った．行為の複雑化と思考との関係．思考をコンピュータに担ってもらう，演算部分だけでもやってもらうとしたら，身体は複雑な行為をしなくてもいいのではないだろうか．複雑な行為をすることがヒトのヒトらしさではないことに，コンピュータは気づかせてくれたのではないだろうか． 千葉雅也さんの『 動きすぎてはいけない 』を読む．タイトルと「中途半端さ」の哲学というところに惹かれた． タイトルの言葉からヒトとコンピュータとの関係を考えた． コンピュータを前にしてヒトは動きすぎてはいけない．動きすぎるとコンピュータになってしまう．いや，コンピュータのような論理演算を身体にインストールされる／してしまう．そうしたら，もうヒトではない．ヒトがヒトでありつつも，コンピュータをうまく組み入れていくためには，ヒトは動きすぎてはいけない．マウスで操作するくらいが丁度いいのかもしれない．ジェスチャーは動きすぎているのかもしれない．それは一見ヒトの自由をコンピュータに組み込んでいるようであるが，それはコンピュータがヒトの自由を利用しているにすぎないのかもしれない． 「考え」というか「演算」はコンピュータにやってもらおう．それでいい．思考の外在化を押し進める．そのためには身体を動かしすぎてはいけない．演算を完璧に組み込まれた身体はマシーンとなる．それではいけない（ような気がする）．「ヒトはこれまで複雑な行為をしすぎてきた」と考えるならば，コンピュータを手に入れて演算を引き受けてもらうことで，ヒトは複雑な行為を行わなくてよくなるはずである．より単純な行為を行うなかで，単純だからといって動きすぎてはいけない．単純でいて，動きすぎない行為をしていく身体をコンピュータによる演算の外在化とともに考えていく必要がある．

「 ワコムの最新液晶ペンタブレット「Cintiq 13HD」がいよいよ登場！ タナカカツキ×伊藤ガビンによる未来の機械のレビュー!! 」がとても面白いです．何が面白いって，「手が邪魔（笑）！ 」というところ． カツキ ：でも，一点言わせてください．画面に向かって直接描くことによって，画面と目との間に手がありますよね．そうすると手に目のピントがいっちゃうんですよ（笑）．手が邪魔に感じるんですよ． ガビン ：もう手を使うな！ ノーモア手！   カツキ ：手が邪魔（笑）！   ガビン ：言いたいことはわかるんですよ．本来、絵を描く行為って，紙とかキャンバスとかに手で描いてたわけだけど，だけどIntuosみたいなペンタブレットを使い込んで完全に自分のものにすると，手元と画面が離れてるから手が視界を遮らないんですよね． カツキ ：そうそう．でも「手が邪魔」って言うてる人いないでしょ？ それは絵を描いていると目が進化して，手が視界に入らなくなるんですよね． ガビン ：手が透明になっていくんですね ． カツキ ：どんどん透明になって絵だけが立ち上がるようになっていくんですよね．だけどペンタブレットユーザーにとっては，Cintiqで，手がまた邪魔になった（笑）！ でも，手を透明にする機能って僕らの体に染み付いてるんで，ものの数分で慣れるんですよねー． インターフェイスにおけるヒトの身体にあり方がここにある感じがします．僕たちは自分の身体を「透明にする機能」を持っている．道具のデザインが良くて，道具が身体に馴染んでいると言われることが多いけれど，「馴染んでいる＝身体の透明化」だとすると，それは道具云々というよりも，ヒトの能力によるところが大きいのではないかと考えるわけです． タブレットと画面が離れていると，手は視界に入らないわけだけれども，ペン先を示すカーソルは視界に入っているわけです．マウスとカーソルでも同じです．視界のなかに手はないけれど，カーソルはある．でも，カーソルは見えているのか見えていないのかよくわからない存在のまま機能している．それは，ヒトが自分の手を透明化するように，カーソルも透明なものになっているのかなと． この対談を読んでいると，ヒトの身体は面白いなと思います．タナカさんがCint...

「Retinaディスプレイに触れる」というのは「網膜に触れる」ということであって，面白なと思っています．コンピュータのディスプレイにおいて「見る」と「触れる」の問題があるのと考えているのですが，それらが文字面において直結してしまった感じ．で，「Retinaディスプレイに触れる」という時，「実際には何に触れているのか」ということを考えてみたいのです．そんなことを書くとすぐに「ガラス」に触れているとツッコまれますが，それはもちろんそうだけれども，もう少し考えてみようということです．まずはアップルのサイトからiPhone４SとあたらしいiPadにおけるRetinaディスプレイの説明のテキストを引用します． Retinaディスプレイなら，iPhone 4Sで見るもの，体験するもの，すべてが驚くほど美しくなります．Retinaディスプレイはピクセル密度がとても高いので，人間の目ではひとつひとつを識別できないほど．ゲームも，ビデオも，写真も，画面から飛び出しそうなほど生き生きと映し出されます．本，ウェブページ，Eメールのテキストは，どんなサイズでもくっきりと鮮やか．見るものすべてが，いっそうシャープになります． 新しいiPadを手に取った瞬間，すぐに気づくでしょう．あなたの指は本当に写真に触れ，本当に本のページをめくり，本当にピアノを弾いているのだと．あなたとあなたが大好きなものの間をさえぎるものは何もありません．実際に体験することをさらに魅力的なものにするために，ディスプレイ，カメラ，ワイヤレス接続機能といったiPadの基本になる重要な要素が一段と進化しました．そして生まれたのが，あなたの想像をはるかに超えたことまでできる，新しい第3世代のiPadです． 「ピクセルが識別できない」というのが「Retinaディスプレイ」と言われる所以であるとすれば，「Retinaディスプレイに触れる」というときに，ユーザはヒトの眼の限界を超えたものに触れているものになるわけです．ピクセル単位で操作を行うことはほとんどないにしても，識別できないものを操作している，しかも実際に触れながら操作しているというのは興味深い． iPadのテキストでは，「ピクセルが識別できない＝本当に〇〇に触れる＝あなたとあなたが大好きなものの間をさえぎるものは何もありません」となっていま...

TELESCOPE Magazine で「 ヒューマンインターフェースの歴史 ：「よくわからない」から、身体で感じるコンピューターへ 」という記事を書きました． タイトルのようにヒューマンインタフェースの歴史に関するテキストです．テキストのリード文です． 人間とコンピューターとが触れ合う場，それがヒューマンインターフェースである．マウスを使うとか、ディスプレイに触れるとかの行為だけにとどまるのではなく，これらの行為を通じて人間がより賢く，豊かになっていくひとつの環境なのだ．それゆえにヒューマンインターフェースは、これからの人間のあり方を決める大きな要素とも言える．このテキストでは人間とコンピューターとの関係を決定してきた「ヒューマンインターフェースの歴史」を概観する． 博士課程時代に「インターフェイス」について研究していました．そこではこんな博論を書きました．上のテキストで「インターフェイス」に興味を持たれた方に読んでもらえたらうれしいです． 博士学位申請論文「 GUI の確立にみる『ディスプレイ行為』の形成過程 」，名古屋大学大学院情報科学研究科，2009年１月  コンピュータがアナログからデジタルへとイメージの性質を変化させるだけではなく，道具の変化を促し，ヒトの身体的行為を変化させていることを考察した． GUI というディスプレイ上のイメージの変化ともに，ヒト行為とイメージとが結びつき「ディスプレイ行為」という新たな行為を形成したことを提示した． GUIというものを工学的視点ではないところから考えてみたかったし，今も考えています．近頃，「インターフェイス美学」というものが海外でちょっと盛り上がっているみたいです．私の論文もこういったところにカテゴライズされると面白いなと思っています．そして， Rhizome の記事「 Interface Aesthetics: An Introduction 」が「インターフェイス美学」についてコンパクトにまとめています． この記事を書いた JASON HUFF という人は，「 Beyond the Surface: 15 Years of Desktop Aesthetics 」という記事も書いています．

アートの中にメディアアートを位置づけるのか．あるいは，テクノロジーの中にアート位置づけるのか．どちらでもないような気がしている．アートとテクノロジーのインターフェイスを考えていくことが，大きな意味でのアートとなりつつあるのではないか． そこで，テクノロジーの一つの変数としてヒトがあり，アートもテクノロジーの変数である． 変数の振り幅を決めるのがインターフェイスというところなのではないか．ヒトとマシン，アートとテクノロジーのどちらかではなく，どちらでもある．どちらもが接している面としてのインターフェイス． 接していると言っても，二つとは限らない．三つの存在が互いに接しているインターフェイスもあるはずである． そもそもインターフェイスとはなんだろうか．それがわからないから考える． ヒューマンとポストヒューマンとのインターフェイスを考える． インターネットとポストインターネットとのインターフェイスを考える． 何を言っているのかが分からなくなってきたが，とにかくまずインターフェイスを考えてから，それに接する事象のことを考えてみる． gif画像はインターフェイスなのか．gif画像をインターフェイスとして考えるとすると，そこに接している事象は何なのか．事象は，人の行為でありその総体であるポストインターネットとなり，gifを流通させるコンピューターとなる． 歴史の中に位置づけるという行為を放棄する．常に複数の事象が向かい合っているような場所を考えていくこと． −− 最近，「歴史」ということを意識させられることが多いけれど，私はそこへの意識が薄い．だから，濃密な「歴史」のなかでの対話で，どんどん憂鬱になっていた．ある日のメモのなかで，それらを「放棄」すると書いてあるのを読んで，いまの自分を少しでも「憂鬱」から解放してあげたい．と書いてはみたものの，やはり憂鬱なままです．

インタラクションデザインは人間と論理的世界のせめぎ合い、それが与える経験、便利とか役に立つという日常からより精神的な世界へ。論理的な健全性を持ちながら、生身の身体とインタラクションをして精神性を与える。美学と倫理と論理の世界だ。カント的宇宙を超えて、この3者の融合は可能なのか？ http://twitter.com/NaohitoOkude/status/22943134116 慶應大学大学院メディアデザイン研究科（KMD）の 奥出直人 さんのツイート．インタラクションデザインがすべてを総合する学になるという宣言．私はこのツイートを読んだとき，そう思った． 私はヒトの身体がどのようにコンピュータが作り出す論理的世界に入り込んできたのかをGUIで考えてきた．そこでは「メタファー」が大きな役割を果たしていると，自分では結論づけた（→ メタファーと身体との関係 ）．ヒトはコンピュータと共同でひとつの世界を作り出した．そのときに必要であったのは，コンピュータ科学だけではなく，ヒトがこれまで世界に対処してきた言語，身体から生まれた能力であった． 今まで，そのひとつの世界の生成は，ディスプレイの表面だけの出来事であった．ディスプレイ上だけでも「ひとつの世界」を作ることは，とても大きな意義があったけれど，それが画面を飛びだしてきた．KMDはヒトとコンピュータとが作り出す新しい「ひとつの世界」を作り出そうとしている．大きなヴィジョンである． しかし，私は「ディスプレイ」に留まりたい．インタラクションが起こる表面に留まりたい．タッチ型インターフェイスになった「メタファー」が画面から消えたと言われる．多くのメタファーが陳腐化して，死喩となっていくように，「デスクトップ」からはじまったヒトとコンピュータとを結びつける「メタファー」はなくなっていっているのかもしれない．「メタファー」がなくなることは何を意味するのか．と同時に，コンピュータの論理的世界がディスプレイの外にも飛び出してきていること．「メタファー」がなくなっても，「ひとつの世界」がディスプレイを飛びだしても，それでもディスプレイ，インタラクションの表面は残る．「表面」，「平面」に縛られているのかもしれない．インタラクションデザインは，もっと立体的な出来事なのかもしれない． これまでも，そ...

既に述べたように，プログラミング言語とは，ユーザと対話するものである．同時に，CPU とも対話するものであるがゆえに，ヒトにとって不可解な記号となっていた．スミスは，私たちにとって異質なものとなってしまった言語的記号を，アイコンという絵画的記号で示すことで，コンピュータとヒトという異なる秩序をもったものの間に，新たな対話環境を作り出そうとした．やがて，この対話環境が「機械の中にある世界と，人間の中の世界をメタフォリカルに重ねていこうという考え方」3-36) に基づいて，アイコンは現実世界との類似が求められていった．その結果，コンピュータ・ディスプレイは，現実世界に類似していなければならないというアナロジーの原理によって生み出される絵画的記号によって支配され，コンピュータの逐次的情報処理が現実世界と比喩的に結びつけられたデスクトップ画面が生まれることになる． コンピュータを，ヒトの直観は視覚的なものであるという信念に基づいて，ケイは，ノイマンロジックによる逐次的情報処理を隠蔽することで，絵画的記号を表示するための平面を作った．その平面に，スミスがコンピュータを操作するための絵画的記号，アイコンを導入した．けれども，アイコンを表示することは，コンピュータにしてみれば，従来通りの言語的記号の逐次的処理の結果として生じているにすぎない．確かに，情報処理という観点からみれば，プログラムという言語的記号の指示によって，ディスプレイ上の点が塗りつぶされていくだけである．そして，その塗りつぶされたものを，ヒトが，言語的，絵画的記号のどちらかとして解釈する．この意味で，ディスプレイに映し出されているものが，絵画的記号か，言語的記号かを決めるのはヒトであって，コンピュータにとって，それは点の集まりにすぎない． しかし，ここで問題としたいのは，アイコンが，プログラムによって塗りつぶされた点の集合だということではない．この説明は，コンピュータがプログラムによって，アイコンを「どのように」ディスプレイに表示していくのかを教えてくれる．だが，ヒトにとって何万行もの膨大な言語的記号の集まりといえるものが，ディスプレイに表示される時に，「なぜ」絵画的記号の集まりといえるものになるのかは分からないままである．つまり，デスクトップ画面と呼ばれることになるインターフェイスのレベルで，プログラムという言語...

Mag+ (video prototype footage only) from Bonnier on Vimeo . このような電子書籍・雑誌はすぐそこまできているのでしょう．僕たちの手は本のページをめくってきた．本を開いて，その両端を親指で抑えたりしながら．指は，ページの端の方で，なるべく目立たないようにひっそりとしていた．ページをめくるときに，私たちの視界に入ってきても，すぐに端にいく手．じっとしている手．あまり動かない手．ページをめくる手．本を読んでいるときに，多くの時間をページをおさえる，そしてたまにめくるという行為を行っていく手． 下條 ：子供にとって本の中身よりもページをめくることのほうが重要だったりするように，文化的に見えるものの生理的な基盤が，見えにくくても動かしがたくある．新しいIT技術はそこをまったくマーケティングしていないですよ．つまり，既存のメディアの周辺的に見えるようなデバイスで，歴史的かつ技術的な制約としてしか捉えられていないもののなかに，じつは人間の生物学的な構造の基盤が反映されていることがあると僕は思っているんです．(pp.155-156) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム Mag＋の手，指は，せわしなく動き続ける．ここにはめくるという行為はない．ページは人差し指でスワイプされたり，親指でタップされると切り替わる．また，ページ上のイメージは，，人差し指で指されたれて，そのまま拡大されたりする．手はよく動く．私たちの視界の中に遠慮無く入り込んでくる．ページをめくることが「生物学的な構造の基盤」の反映なのか，Mag＋で行っているような手の動きがその反映なのかはまだわからない．しかし，ヒトが長い間ページをめくってきたことは事実である．それがただたんに代替のテクノロジーがなかったからなのかどうかが，今やっと実験できるときにきたのではないだろうか． Mag＋でヒトの手がせわしなく動くのを見ながら，私はディスプレイ上の→，カーソルのことを思った．コンピュータを使用している際に，私たちの手は視界の外にあるマウスなどのデバイスに置かれ，そこで比較的単純な行為を行ってきた．その単純な行為によって動かされているマウスは...

Display Acts View more presentations from Masanori MIzuno . 論文題目： GUI の確立にみる「ディスプレイ行為」の形成過程 水野勝仁 論文内容の要旨 本論文は， GUI を行為の視点から考察することで，コンピュータが作り出す仮想空間において，抽象化されていくヒトの行為を，現実のヒトの身体と結びつけて考察することを可能にし， GUI の確立に至るプロセスの中で，イメージとヒトの身体的行為との関係が段階的に変化し，「ディスプレイ行為」という新しい行為を形成するに至った過程を示す研究をまとめたものである 身体的行為とディスプレイ上の「行為」 情報社会において，ヒトの行為が，コンピュータとの関わりの中で変化してきている．私たちは，コンピュータを操作するために，ディスプレイを見つめ，マウスを動かし，キーボードを打っている．見つめる先のディスプレイでは，手に握られているマウスに連動して，カーソルが動き，フォルダやゴミ箱を模したアイコンに重ねられている．ディスプレイ上のカーソルを動かすために使っているマウスは，ポインティング・デバイスと呼ばれ，ディスプレイ上のどこかを指さし，対象のイメージを選択するためのものである．しかし，マウスはその「ねずみ」という名前が示しているように，ヒトが今まで何かを指さすために使っていた，人差し指やペンなどの細長い棒状のものとはかけ離れた形をしている．にもかかわらず，私たちは，マウスを手にして，ディスプレイ上のカーソルを動かし，クリックや，ダブルクリック，ドラッグ＆ドロップなどと名付けられた「行為」を，ディスプレイ上に映し出されたデスクトップ・メタファーに基づいたイメージとの関係の中で，さも当然のように行っている． このマウスを握って動かすという身体的行為と，それと連動して起こるカーソルの「移動」や，ファイルの「選択」や「移動」といったディスプレイ上のイメージの変化によって生じる「行為」は， 30 年ほど前にグラフィカル・ユーザ・インターフェイス（ GUI ）やヴィデオ・ゲームが開発される以前にはなかったはずのものである．しかし， GUI によってコンピュータが一般化した後，私たちは，特に何の疑問も抱くこともなく，この新たな「行為」を毎日行っている．つまり，私たちの注意はコンピュー...

カーソルの先 View more presentations from Masanori MIzuno . 「カーソルの先」のメモ E. H. ゴンブリッチ『芸術と幻影』1972 すべてイメージの再認は投射や視覚的予期などとかかわりありとする可能性は，近年の諸実験の結果強まっている．もしもあなたが観察者に，指差している手とか矢を見せると，彼はなんとかしてその位置を運動の方向に移したいと思うものらしい．このように，予期のかたちで潜在的な運動を見ようとするわたくしたちの持っている性向がなければ，美術家たちは，静止しているイメージのなかに，速力の暗示を決してつくり出すことはできなかったであろう．(p.310) -- 奥井一満（監修）『ディスプレイの情報世界：シミュレーションと擬態の構造』1990 ディスプレイの効果とは知らず知らずのうちにある状況を安定させていくような効果です．そういう意味で，ディスプレイは，むしろシミュレーションに近い．シミュレーションに同質化する効果がある．A と A’ というようにまったく同質に近づけてしまう．ところが擬態は A と B が似たように見せる術です．この二つには本質的にちがいがある．擬態は同種間では少なくとも生物学的には意味がない．(p.264) 相手がわからない不安が出発点だから，それが確認できる状況になるまでもっていかなくてはならない．それが信号であり，ディスプレイなんでうすね．オスとメスと出会いの出発点に，「向こうから来る相手は何だろう」という不安がある配偶戦略としてはマイナスですから，それを明確にしていくために，初めから信号を出そうということになる．(p.271) 現代になって，エレクトロニクス・ディスプレイとでもいうべきディスプレイが生まれてきましたね． 奥井 それは人間の脳に似たような機械であるコンピュータの出現で，当然生まれるべくして生まれたものでしょう．CRT ディスプレイが出るまでは，コンピュータは紙に数字やドットで情報を打ち出していた．それまでは，いわば計算機，そろばんの進化したものでしかなかった． しかし，CRT ディスプレイによって，視覚的なものですが，人間との擬態的なコミュニケーションが可能になったんですね．それで人間と機械との間のディスプレイが開発されるようになったんですが，...

I KEA の批評性はふたつある．まず第一に，ディズニーランドのように演出的でありながら，キャラクターのような記号に頼っていないこと．そして第二に，人々のふるまいを厳密に規定し，コントロールするように形態が決められていることである．IKEA ほど明快に形式化されていないにせよ，一般的に商業空間では全体を見渡すことのできる視覚的な一望性や，決まった通路を歩かせるなど身体的な局所性を定義する方法として建築が盛んに用いられているにもかかわらず，既存の建築論は視覚的なシンボル性や，「売り場」「倉庫」「通路」などの室名に還元されるような抽象的な機能と空間の関係以上の意味を発見してこなかった．(pp.88-89) グーグル的建築家像をめざして：「批判的工学主義」の可能性，藤村龍至 in 思想地図 vol.3 特集アーキテクチャ，東浩紀・北田暁大編 この文章を読んだ時に，私はディスプレイ上の矢印，カーソルのことを考えた．カーソルという普段矢印の形をしているものは，「キャラクターに頼らない」記号であり，矢印から時計や色鮮やかな風車，ペンなど様々に形を変えることで私たちのコンピュータへの振る舞いを厳密に規定している．「IKEA = 人間工学的建築の可能性」と書かれた少見出しのもとに引用した文章はある．私が研究している建築ではなく，ヒトとコンピュータとのインターフェイスであるが，そこでは「使いやすさ」という名のもとに，私たちの行為を「人間工学的」に分析している．その結果を用いて，私たちの行為を巧妙にコントロールしたインターフェイスが生み出されている． 私たちは，今まで，マウスやトラックパッドなどのデバイスと密接に結びつき動くカーソルを常に動かすことでコンピュータを使ってきた．手はデバイスを動かし，目はカーソルを追う．視線は手を見ることなくディスプレイ上のカーソルを見続け，手は目が見ているカーソルに基づいて動く．実際に動いている手を見ることなく，手とともに動くカーソルを見続けて作業を行う． マルチタッチ・ジェスチャーは，カーソルをディスプレイ上に置き去りにする．手の動きに基づいて画面上のイメージが動くのだが，カーソルだけはそのとき動かない．今までぴったりと手の動きに寄り添ってきたカーソルが全く動かくなる．カーソルの存在が突然，宙に浮いてしまう．私たちがジェスチャーを行った瞬間，今まで...

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions...

ジェスチャー・インターフェイスに，言語起源を重ねて考えている．まだまだ漠然としていて，ただ単になんかつながりがあるかなくらいだけれど．ヒトの歴史における言語の起源と同じようなことが，ジェスチャーを用いたヒトとコンピュータとのインタラクションで起きるのではないか．新たな言語の起源に立ち会えるのではないかとワクワクしている． 言語は今や「人間の言語」を越え出るもの，いわば「超言語」へと発展するかもしれない．コンピュータ支援の「言語理解」研究，あるいは，ヒューマン・インターフェース研究の最近の展開がこのことを暗示する．(pp.224-225) 坂本百大（1991）『言語起源論の新展開』 オースティンの『言語と行為』を訳した哲学者・坂本百大氏の直観．対話する機械としてのコンピュータとの関係の中で，今までの言語とは異なる形式が出てきてもおかしくは無いと思う．あと， 前にも引用した けど．タンジブル・ビットの石井裕氏の言葉． コンピュータをマウスで操作するインターフェースは，ブラックボックス化されていて，そこで何が起こっているのかがわかりにくい．しかし，それがジェスチャーになれば，例えば指揮者のタクトの動きでバイオリニストが音を奏でるといったような，ものごとの因果関係の連鎖が目に見えるようになる．ジェスチャーによるインターフェースの研究は，モノ，スペース，ボディーをシームレスに繋ぎ，そこに全く新しいパラダイムを打ち立てようとするものなのです． マサチューセッツ工科大学 メディアラボ タンジブル・メディア・グループの「ジェスチャー・インターフェース」：空間的広がりを持つダイナミックなインタラクション AXIS 2009.8 vol.140 石井氏が言っている「新しいパラダイム」が「新しい言語」を生み出す．文字ではなくて，行為に基づく言語，もともとジェスチャーと呼ばれているもの．新しい言語が制作されていくプロセスの中にいるという意識をもって， iPhone など身近なジェスチャー・インターフェイスも含めた多くの事例を経験し，分析していくこと． 私たちが世界を把握するために使っている言語を第一言語として，それに基づいて第二言語としてのジェスチャー・インターフェイスを作る．「 第一言語と第二言語 」は，アメリカの哲学者ネルソン・グッドマンが使ったもの．言語起源におけるグ...

ジェスチャーがヒトとコンピュータとのインタラクションに用いられることによって，「時間感覚の一致」が起こる．ボタンを押すだけでは得られない「時間感覚の一致」をヒトが感じて，行為とイメージとの一体感が高まる（ 時間感覚の一致 ）．そんな中，ジェスチャーをしたのに，イメージが対応してくれず「ヒューララ感覚」に襲われる（ 「なかったことにされる」行為 ）．「時間感覚の一致」が起こっているだけに，この「ヒューララ感覚」は，ボタンを押すことの積み重ねで生じたデータが跡形もなく消え去ったときとは，また異なるスカッと，空振り感があるような気がする．例えば，マルチタッチ・ジェスチャー対応のトラックパッドで iPhoto の写真を「回転」させようとして，２本の指をくるっと回したのに，なぜか写真が動かなかったり，拡大されてたりするしたときには，思い通りにいかない悔しさみたいのがある．ボタンを押し続けて生じた蓄積されたデータが消える，つまり少し過去のことが跡形もなく消えてしまう「やるせなさ」ではなくて，もしくは，ボタンを押すというのが一瞬の行為であるがゆえに，いつもちょっと遅れてその行為のリアクションをディスプレイ上のイメージから受け取る感覚でもなくて，「リアルタイム」で思い通り動かない「悔しさ」など何かしらの感情が生じることが，ボタンを押し続けることとジェスチャーとの違いかもしれない．それは，ボタンを押すことには「押す／押さない」という選択肢しかないのに，ジェスチャーには微妙な調整を行う余地が残されていることが関係しているのかもしれない． English is writing....

どんな風に触れているのだろうかと思って，MacBook のガラス製のトラックパッドを使っている手を撮影してみた．ガラス製の滑らかな表面で，指を動かす．引っかかりがほとんどないので生理的に気持ちよい．１本指で触っているときは，指の動きとカーソルの動きが対応している．で，２本にすると，カーソルはピタッととまり，スクロールがはじまる．スクロールに対応していない領域で２本指にすると，カーソルだけとまって，スクロールは起こらない．なにも起こらなくなってしまう．スクロールをしようと思っていたときに，スクロールが起こらず，カーソルも動かない．なんか，スカッと行為が抜けてしまったような感覚．３本指，４本指のときの操作も，それに対応したディスプレイ上のイメージの動きが生じないと，なんか自分が行った操作がとても空虚な感じになる． 空虚な感じは，操作している指の動きだけを見ていても感じた．何をしているのだろうかと．ディスプレイ上のイメージの動きと結びついていることは知っているので，それとの対応を確かめつつ撮影した映像を見ているのだが，それでも何か指の動きには空虚なものを感じてしまう．モノの表面を，ただ撫でているというか，触っているだけ．と書いていて，Jamiroquai の PV で，Jay Kay がよく動くけど通路も動いて何か妙な感じを出している出しているものがあったような気がして YouTube で見てみた．改めて見てみると，Jay Kayではなくて，部屋においてあるソファとかとても床の上をとても滑らかに動いていた．この曲のタイトルは「 仮想の狂気（Virtual Insanity） 」であった．ちなみに，1996年の作品．私は，トラックパッドに狂気を感じはしないけど，空虚を感じた．それは昔，藤幡正樹さんの言っていた物質的なモノを残さず跡形もなくなくなってしまう「ヒューララ感覚」かもしれない．でも，行為自体はなくなっているわけではないのだから，少し違うかもしれないが．もしかしたら，今までの意味での「行為」がなくなっているかもしれない．「かもしれない」が続いたが，ヒトとコンピュータとの関わりの中で，物理的なモノだけでは成立しない行為が増えてきていることは確かである．だから，物理的行為を試しても，ディスプレイ上のイメージという新しい次元が対応してくれないと，物理的行為自体がなかっ...

河津
 Ｗｉｉリモコンを振るとき、
振りはじめてから、振り切るまで
ほんのわずかですけど時間が生じますよね。 岩田
 ボタンのオン／オフだと一瞬ですけど。 河津 でもＷｉｉリモコンを振ると、
その時間感覚と画面に表示されている時間感覚が一致するので
よりシンクロ度が高まっていくことがわかってきたんです。
そこで、実際につくっていくと、カラダを動かすことで
その時間が主人公の動きと一致するという、
そういった感覚がすごく感じられるようになりました。  リアルタイムな『ファイナルファンタジー』 この指摘は，マルチタッチ・ジェスチャーにも通じるところがあるかもしれない．何かしらの生物がメインキャラクターになっている，ゲームにおいては，ユーザとキャラクターとの一致，河津さんが言っている「時間感覚の一致」が体験しやすい．では，キャラクターがいない，コンピュータのインターフェイスではどうか．ここでも「時間の一致」を感じているのだろうか？ あくまでも感覚でしかないのだが，ジェスチャーの方は，ディスプレイ上のイメージの動きと手の動きが結びついている感じがする．Expose で複数のウィンドウが動いているときに，それぞれの動きと手の動きが連動している感じ．ボタンで Expose を行うと，ボタンを押した後のウィンドウの動きは，コンピュータがやってくれているという感じ．自分とは関係のないものと思っている．だから，ジェスチャーでやったときは，手を手前に引けば引くほど，ウィンドウが小さくなるのではと，意識の片隅で思っている．ボタンのときは，ウィンドウの動き，所定の位置に停止すれば，それはそれでお終いという感じ． 物理的なボタンを押すという感触と，ディスプレイ上のイメージと自分の手とが連動しているような感触．今までは，物理的なボタンを押す感触しかなかったわけだから，イメージと自分の身体との連動するという感覚によって，ボタンを押すということが相対化される．ボタンを押して，何かをするというか，「何かをしまくる」と言った方がいいと思うのですが，ボタンを押しまくって，いろいろな行為をしている私たちにとって，ヒトの歴史の中で，ボタンを押すということがどういう意味を持つのかも，ハイデッガーのように悲観的ではない形で，マルチタッチ・ジェスチャーを考えていくとうっすらと見えて...