Sketchpad と iPad：「ふたつの手」を考えるためのメモ





Sketchpad と iPad を並べてみる．ふたつの手が映っていて，一方の手がディスプレイ上のイメージに直接的に働きかけているところが似ている．コンピュータのひとつの流れとして，Sketchpad のボタンとペンと組み合わせでディスプレイ上のイメージに直接的に働きかけるところからはじまり，GUI でのマウスとカーソルとの組み合わせを経て，私たちは再びディスプレイ上で手を動かすようになった．

Sketchpad ではボタンを押すこととペンを使うことで，ディスプレイ上のイメージを自由に描いていたのが，iPad では描くということは行っていないが，片方の手は装置を支えるだけで，もう片方の手がさまざまなジェスチャーでイメージを動かす．ボタンを押すことではなくジェスチャーをすることで，Sketchpad ではふたつの手の共同作業が必要であったものが，iPad ではひとつの手で行えるようになっている．iPad を支える手とディスプレイ上でせわしなく動く手．それは iPhone からはじまっていたこと．



片方の手はモノをしてのiPad, iPhone を持ち，もう片方の手はディスプレイ上のイメージと戯れる．モノとイメージとを同時に，直接的に感じ続けること．

このブログの人気の投稿

メモ：「貧しい画像」はもうない

2007年に書かれたHito Steyerlの「 In Defense of the Poor Image 」には，高解像度画像の劣化版ではなく独自の存在となった低解像度画像のことが書かれている．2007年といえば，iPhoneが発表された年であるが，インターフェイスでの大変動ともともに画像の認識においても大きな変化が起こっていたと考えるべきであろう． 「In Defense of the Poor Image」の出だしの一文「The poor image is a copy in motion.｜貧しい画像は動きのなかでのコピーである」は，「貧しい画像」がもともと「コピー」であり，ネットでの画像流通という「動き」に関係していることを端的に表している．「貧しい画像」は低解像度であっても，実際にはコピーではなく，オリジナルの画像であることもあるかもしれないが，「貧しい画像」と呼ばれる低解像度画像が「コピー」に近い存在で，ネットに流通しているという認識が重要なのである． 低解像度の画像に対してはどこかに「高解像度画像＝オリジナル」があるという認識が対として存在しているが，Steyerlはこの認識を間違ったもとして糾弾する．低解像度画像は高解像度画像とは異なる存在意義をもつというのが，Steyerlの主張である．ネット上を隈なく「流通」していくことこそが，低解像度画像の存在意義なのである．ネットは通信速度の制約から高解像度画像は流通しにくい．それゆえに，画像は解像度を落とされ，データ量を減らされたかたちで流通していく．画像は流通すればするほど人目につくようになる．このことこそが「貧しい画像」に求められていることなのである．そこには解像度の高さによる画像の真正さではなく．いかに人目につくのかというあらたな評価基準が適用される．このあたらしい評価基準のもとでは「アウラ」の出現もまた変わってくると，Steyerlは主張する．「オリジナル」が示すアウラのように，それがいつまでも確かに存在しつづけるからこその価値ではなく，「コピー」のはかさなさゆえに「アウラ」が生じるとされる．ここで「アウラ」という言葉を双方に適用していいかは疑問であるが，現在において「アウラ」という存在も変わっていることは間違いない． 論考の最後にSteyerlは「貧しい画像」はリアルな存在が放つオリ...
続きを読む

マジック・メモ：行為＝痕跡＝イメージの解体可能性

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている． このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている． このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる...
続きを読む

画面分割と認知に関するメモ

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る． なぜだろうと思いつつ，マイク・フィグスの「 時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである． 画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発...
続きを読む

『表象18』の共同討議「皮膚感覚と情動──メディア研究の最前線」に参加

2023年11月に開始されたシンポジウムが，共同討議「皮膚感覚と情動──メディア研究の最前線」としてまとめられて，『表象18』に掲載されました．「スワイプ」と「錯覚」からインターフェイスを考えていますので，ぜひご覧ください． また，以下の3冊をブックガイドで紹介しています．『融けるデザイン』や『からだの錯覚』を『表象』で紹介できて，とても良かったと思っています☺️ 渡邊恵太『 融けるデザイン──ハード×ソフト×ネット時代の新たな設計論 』．BNN新社．2015年 小鷹研理『 からだの錯覚──脳と感覚が作り出す不思議な世界 』，講談社，2023年 ヴィクトーア・フォン・ヴァイツゼカー『 ゲシュタルトクライス──知覚と運動の人間学 』，木村敏・濱中淑彦訳，みすず書房，2022年
続きを読む

モノのフラットデザイン化とアフォーダンスなきサーフェイス

モノからインターフェイスがなくなるということはどういうことなのだろうか．もともとはモノに「インターフェイス」はなくて，必然的な形態がそこにあるだけであった．けれど，コンピュータによって，ハードウェアとソフトウェアとが分離して，そこにインターフェイスが生まれた．いや，「ボタン」が生まれたときにインターフェイスが生まれたとしたほうがいいのかもしれない．サーフェイスが機能と直結しなくなったときに，インターフェイスが生まれたということかもしれない． インターフェイスはサーフェイスに張り付いていた．exUIはサーフェイスからインターフェイスを剥ぎ取り，もともとあったボタンも剥ぎ取る．ピアノから鍵盤を引き離してしまうものだろうか．ピアノはまた違う問題かもしれない．いや，音が出る四角い箱があって，スマートフォンにインターフェイスとしてピアノの鍵盤が表示されて，それをタッチする，箱からピアノの音が聞こえてくるとき，四角い箱が「ピアノ」となる．このように考えると，exUIはハードウェアからインターフェイスを引き離すだけではなくて，スマートフォンというハードウェアとソフトウェアとが一体化したモノから，ハードウェアを引き離したものとも言えるのではないだろうか． スマートフォンが一枚の板としてハードウェアとソフトウェアとを一体化したモノとしてのインターフェイスを提供していた．exUIはスマートフォンからハードウェアを引き離し，モノのハードウェアに引き渡す．そのとき，モノはインターフェイスをスマートフォンに引き渡す．モノはサーフェイスを持つようになり，スマートフォンはインターフェイスを持ち続ける．このとき，スマートフォン自体はほとんど変わりないが，サーフェイス化したモノは，これまでの機能と直結した形から切り離される．この機能と形との切り離しは，スマートフォンがフラットデザインになったときに起こったことだといえる．そのときに「メタファー」がスマートフォンから消えたとすると，exUIを付与されたモノもまた「メタファー 」のあるなしで 語られるなるようなあたらしさを示すことになるだろう．このように考えてみるとexUIというのは，モノのフラットデザイン化であり，それはアフォーダンスを示さないサーフェイスをつくるということなのではないだろうか． exUIはモノからインターフェ...
続きを読む

メタファーと身体の関係

1996年に，ダン・ゲントナーとヤコブ・ニールセンは，「アンチ-マック・インターフェイス」という論文を発表した．そこで，彼らは，現在でもGUI デザインを論じる際にバイブルとして参照されることが多い「マッキントッシュ・ヒューマン・インターフェイス・ガイドライン」の原理に，あえて反することで，新たなインターフェイスの可能性を論じている．4-3) マッキントッシュの第一の原理には，インターフェイスは私たちの馴染みの環境を用いたメタファーに基づいているべきだと書かれている．4-4) マッキントッシュの開発者たちは，この原理に則って，現在まで使用されている洗練されたデスクトップ・メタファー（図4-1）を開発した． 　　　　　　　　　　図4-1 システム1.1 のデスクトップ そこでは，ディスプレイ画面を「机の上（デスクトップ）」と見なし，「ファイル」，「フォルダ」，「ごみ箱」などを模したアイコンを，マウスで選択し，クリックすることで，コンピュータの操作が可能になっている．この原則に対して，ゲントナーとニールセンは，「ワードプロセッサ」は「タイプライター」にたとえられるが，ワードプロセッサには，タイプライターにはない「やり直し」の機能があるなど，メタファーが示す目標領域（コンピュータ）と基底領域（たとえる対象）とのミスマッチを指摘する．そして，彼らは，このようなメタファーの使用は混乱を招くことになるので，コンピュータ・システムの構造に即した，メタファーに頼らないインターフェイスをデザインすべきだと主張し，言語主体のインターフェイスの提案を行った．4-5) メタファーによる対象の機能のミスマッチを問題視するゲントナーとニールセンに対して，ジョン・キャロルらは，以前から，対象間のミスマッチを含んではいるが，メタファーの使用は私たちの最も基本的な学習へのアプローチのひとつなので，インターフェイス・デザインには不可欠なものだと主張していた．4-6) 確かに，コンピュータを取り巻くメタファーには多くのミスマッチがあるが，それにも関わらず，私たちは，それらを手がかりにして，コンピュータを使い始めて，気がつくと，それらを当たり前のように操作して自分の作業を進めてきたことは事実である． ゲントナーとニールセン，キャロルらは，似ている対象を結びつける言語の機能としてメタファーを論じ...
続きを読む

インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか．

.review  にテキストを書くために，昔発表したものを改めて読んでみた．カーソルについては論じていないけど，GUI が担っている思想的背景みたいなものを自分がどのようにまとめたかを確認できた．このときは「カーソル」という存在をまったく見落としていたので，ここからどうカーソルと関係させていくか． -- イメージ操作シンボル View more presentations from Masanori MIzuno . インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． １．はじめに アラン・ケイが提唱したスローガン「イメージを操作してシンボルを作る [Doing with images makes symbols] 1 」は，現在のグラフィカル・ユーザ・インターフェイス（GUI）につながるアイデアを簡潔に表現し，GUI の開発に大きな影響力をもった．ケイのスローガンは，ヒトとコンピュータとのコミュニケーションをどのように変えたのであろうか．現在，世界中に，GUI を実装したコンピュータは数えきれないほどあり，私たちはそれを使って日々の作業を行っていることから，ヒトとコンピュータの関係の変化は，ヒトのコミュニケーションそのものへも影響を与えているのではないだろうか．本論考では，上記のことを考えるために，まずは，一般化した GUI がどのような影響をもっているのかを確認するために，東浩紀とシェリー・タークルの議論を考察する．次に，ケイが，どのような影響のもとで，上記のスローガンを掲げるに至ったのかを明らかにする．最後に，スペルベルとウィルソンの「関連性理論」を参照して，GUI が私たちに提示したコミュニケーションの手段を考える． ２．インターフェイス的主体とブリコラージュの再評価 哲学者の東浩紀は，『サイバースペースはなぜそう呼ばれるのか』の中で，現在のユーザ・インターフェイスの主流を占めている GUI について興味深い議論をしている．東は，ジャック・ラカンとスラヴォイ・ジジェクの精神分析の理論をもとにして，シェリー・タークルが1990年代のコンピュータ文化を特徴づけるために用いた「at interface va...
続きを読む

「非-用具的道具」？

A Demonstration of the Transition from Ready-to-Hand to Unready-to-Hand Dobromir G. Dotov, Lin Nie, Anthony Chemero を読んでみた．この論文についての解説は， 「コンピューターと自分は一体」：実験で検証  で読めますが引用してみる． Chemero氏の研究成果は，3月9日(米国時間)付でオープンアクセス誌『PLoS ONE』に掲載された．この実験は，ドイツの哲学者マルティン・ハイデッガーの基本概念の1つを検証する目的で行なわれた． 人間は，扱い慣れた，正しく機能している道具については特別に意識せず，道具の向こうを「透かし見る」ようにして，目の前の課題に意識を向けるものだ，とハイデッガーは唱えた．それはちょうど，靴ひもを結ぶのにいちいち自分の指を意識しないのと同じ理屈だ．すなわち，道具はわれわれ自身なのだと． この概念，「用具的」[他には「道具的」「手許的(性)」「用存的」など．英語では「ready-to-hand」＝手の届くところにあること．ドイツ語では「zuhanden」]と呼ばれ，人工知能や認知科学の研究に影響を及ぼしてきたが，これまでこの概念が直接検証されたことはなかった． ということらしい．検証されたかどうかは別にして，自分の関心のあるところを少し書いてみることにしたい．ハイデガーは道具の例としてハンマーというモノを出しているのだけれど，この論文ではマウスとカーソルとでひとつの「道具」を作って実験している．論文の著者たちは次のように，この「道具」のつながりを書いている． ハイデガーの例とアナロジーを示すと，マウスはハンマーの柄の役割をし，スクリーン上のポインターはハンマーの打撃面と同じような役割をする．[ To make an analogy to Heidegger’s example, here the mouse plays the role of the handle and the on- screen pointer figure plays a role similar to that of the hammer striking face. ] このアナロジーは妥当なんだろうか．マウスがハンマーの柄であることはい...
続きを読む

2046年の携帯電話と2007年のスマートフォンのあいだにある変化（１）

2046年の携帯電話 新海誠監督のSFアニメ「ほしのこえ」を「インターフェイス」の観点から見ると何が見えてくるでしょうか．「SF」というジャンルには近未来を予測した様々な「インターフェイス」がでてきますが，「ほしのこえ」では主にミカコとノボルをつなぐ「携帯電話」を扱いたいと思います． ノボルとミカコの物語は2046年が舞台です．2046年の中学生3年生がもっている携帯電話は，大きな液晶タッチパネルで操作するスマートフォンとは異なり，小さな液晶ディスプレイと多くのボタンを備えたものです．2046年という未来であるにもかかわらず，「ガラケー」とも呼ばれる古いかたちの携帯電話を持っているのはおかしいと思う人もいるでしょう．しかし，現在のスマートフォンのかたちを決定づけたアップル社のiPhoneが発表されたのは2007年ですから，「ほしのこえ」が発表された2002年には液晶タッチパネルを備えた携帯電話は一般的ではなかったことになります．2002年にはiPhoneがまだ存在していなかったけれど，今（2015年）では携帯通信機器の主流は，ノボルとミカコがもつような携帯電話からタッチ型インターフェイスのスマートフォンへとシフトしました．この事実は「ほしのこえ」を考察する上で重要な意味を持ちます． 「ほしのこえ」はSFなので，iPhoneのようなタッチ型インターフェイスの携帯電話の登場を正確に予測する必要はありません．なぜなら，SFは「サイエンス」という言葉がついていても，あくまで「フィクション」なので，現実的な未来の予測に囚われる必要はないからです．しかし，SFは現実世界の正確な予測ではないけれど，単なる絵空事でもありません．SFと現実とのあいだには独特なつながりがあります．例えば，『SF映画で学ぶインタフェースデザイン』には携帯電話に関する例が挙げられています． SFに見られるフィクションの技術によって，ファンは来るべき刺激的な何かを期待します．顕著な例は，『宇宙大作戦』の通信機です．1960年代後半，一般的な通信機といえば，トランシーバーないしは壁にコードにつながっているお姫様型電話だったころ，『宇宙大作戦』に登場した通信機によってモバイル電話の期待が高まりました．その使い方は電話というよりもややトランシーバー寄りではありましたが，初期の...
続きを読む

日本映像学会第51回大会での発表：VR体験をしているマウスにとっての映像とは何なのか

神戸大学で開催された日本映像学会第51回大会で「VR体験をしているマウスにとっての映像とは何なのか」という発表をしました。発表資料の最後に「この研究はJSPS科研費 23H00579 （モアザンヒューマンの美学――動物論的転回以降の感性論的可能性）の助成を受けたものです」と記したように、私はここ3年、動物が何かしらのインターフェイス関連の体験をしている題材を探していました。そこで見つけたのが、マウスがHMDをつけられてVR体験をする研究です。3年の科研の2年目の終わりで、マウスVR研究を見つけました🐭🥽🥸　セーフ！　 これでやっと科研の研究が進められると思ったものの、研究をどうすれば進められるかと、トマス・ネーゲルの『コウモリであるとはどのようなことか』を読みましたが、主観的体験についての限界を知って、頭を抱えるだけでした。それでも、どうにか発表の形にまとめられました。 今回の発表準備での変化は、NotionAIの半額オファーが来ていたので、契約して、AIを積極的に使ったことです。無制限にAIを使いながら、研究を進めました。ある程度、発表資料を書いたら、「発表資料のいい点と改善点を教えて」と聞いて、いい点を読んで「いけるぞ！」と思って気分を上げた後で、改善点で「おー、確かに」と頷きながら、自分で改善したり、AIに具体的に改善してもらったりしました。途中から、Notion AIだけでなく、比較も兼ねて、契約についてきたClaud、chatGPT、Geminiも使って、それらと対話を重ねながら、発表資料をまとめていきました👾 私はアイデアを勢いで書いたあとで、アイデア同士を接続していくのが苦手なのですが、生成AIたちはそこが得意みたいで、「そうやって、アイデアをつないでいくんだ」と感心することが多かったです。 使ってみたAIで発表資料に対する的確なコメントをくれたのは、GoogleのGeminiの2,5 Proでした。同じくGoogleのNotebookLMも良かったです。特に、Geminiが発表資料をもとに書いた論文を、NotebookLMにポッドキャストにしてもらったものはおもしろかったです。発表前に流していたら、会場で笑いが起こりました。 今回の発表は、一方で、マウスという主観的体験を推測するしかない存在を扱いながら、もう一方で、インターネットにあげてきた...
続きを読む