お仕事：ヒューマンインターフェースの歴史 ：「よくわからない」から、身体で感じるコンピューターへ


タイトルのようにヒューマンインタフェースの歴史に関するテキストです．テキストのリード文です．

人間とコンピューターとが触れ合う場，それがヒューマンインターフェースである．マウスを使うとか、ディスプレイに触れるとかの行為だけにとどまるのではなく，これらの行為を通じて人間がより賢く，豊かになっていくひとつの環境なのだ．それゆえにヒューマンインターフェースは、これからの人間のあり方を決める大きな要素とも言える．このテキストでは人間とコンピューターとの関係を決定してきた「ヒューマンインターフェースの歴史」を概観する．
博士課程時代に「インターフェイス」について研究していました．そこではこんな博論を書きました．上のテキストで「インターフェイス」に興味を持たれた方に読んでもらえたらうれしいです．
博士学位申請論文「GUI の確立にみる『ディスプレイ行為』の形成過程」，名古屋大学大学院情報科学研究科，2009年１月 
コンピュータがアナログからデジタルへとイメージの性質を変化させるだけではなく，道具の変化を促し，ヒトの身体的行為を変化させていることを考察した． GUI というディスプレイ上のイメージの変化ともに，ヒト行為とイメージとが結びつき「ディスプレイ行為」という新たな行為を形成したことを提示した．
GUIというものを工学的視点ではないところから考えてみたかったし，今も考えています．近頃，「インターフェイス美学」というものが海外でちょっと盛り上がっているみたいです．私の論文もこういったところにカテゴライズされると面白いなと思っています．そして，Rhizome の記事「Interface Aesthetics: An Introduction」が「インターフェイス美学」についてコンパクトにまとめています． この記事を書いたJASON HUFFという人は，「Beyond the Surface: 15 Years of Desktop Aesthetics」という記事も書いています．

このブログの人気の投稿

日本映像学会第51回大会での発表：VR体験をしているマウスにとっての映像とは何なのか

神戸大学で開催された日本映像学会第51回大会で「VR体験をしているマウスにとっての映像とは何なのか」という発表をしました。発表資料の最後に「この研究はJSPS科研費 23H00579 （モアザンヒューマンの美学――動物論的転回以降の感性論的可能性）の助成を受けたものです」と記したように、私はここ3年、動物が何かしらのインターフェイス関連の体験をしている題材を探していました。そこで見つけたのが、マウスがHMDをつけられてVR体験をする研究です。3年の科研の2年目の終わりで、マウスVR研究を見つけました🐭🥽🥸　セーフ！　 これでやっと科研の研究が進められると思ったものの、研究をどうすれば進められるかと、トマス・ネーゲルの『コウモリであるとはどのようなことか』を読みましたが、主観的体験についての限界を知って、頭を抱えるだけでした。それでも、どうにか発表の形にまとめられました。 今回の発表準備での変化は、NotionAIの半額オファーが来ていたので、契約して、AIを積極的に使ったことです。無制限にAIを使いながら、研究を進めました。ある程度、発表資料を書いたら、「発表資料のいい点と改善点を教えて」と聞いて、いい点を読んで「いけるぞ！」と思って気分を上げた後で、改善点で「おー、確かに」と頷きながら、自分で改善したり、AIに具体的に改善してもらったりしました。途中から、Notion AIだけでなく、比較も兼ねて、契約についてきたClaud、chatGPT、Geminiも使って、それらと対話を重ねながら、発表資料をまとめていきました👾 私はアイデアを勢いで書いたあとで、アイデア同士を接続していくのが苦手なのですが、生成AIたちはそこが得意みたいで、「そうやって、アイデアをつないでいくんだ」と感心することが多かったです。 使ってみたAIで発表資料に対する的確なコメントをくれたのは、GoogleのGeminiの2,5 Proでした。同じくGoogleのNotebookLMも良かったです。特に、Geminiが発表資料をもとに書いた論文を、NotebookLMにポッドキャストにしてもらったものはおもしろかったです。発表前に流していたら、会場で笑いが起こりました。 今回の発表は、一方で、マウスという主観的体験を推測するしかない存在を扱いながら、もう一方で、インターネットにあげてきた...
続きを読む

日本映像学会第48回大会で「インターフェイスにおけるデジタルオブジェクトの実在性」という発表をします🧐（追記：2022/06/06 発表資料の追加）

Expanding the Sensory Experience with Core Haptics in WWDC2019のプレゼンテーションスライド 6月5日に京都大学で行われる 日本映像学会第48回大会 で「 インターフェイスにおけるデジタルオブジェクトの実在性 」という発表をします🧐 横浜国立大学の中川 克志さんに誘われて音の研究会に出ていて，そこで考えたコンピュータの内部音というのはコンピュータメタファーと関係あるのではということから考え始めて，発表はどんどんと音自体からは離れていくものになったような気もしますが，概要を書いた3月の時点では聴こえる音と感じる音としての振動＝触覚について考えていますね． 音を考えることで，ディスプレイ外の事象というインターフェイス体験で半ば意識外のことを考えられるようになった気がします．意識外のことを考えるというのは，映像学に書いた 「 ｢認知者」としての作品──エキソニモのUN-DEAD-LINK展を事例に 」から続く，ヒトがコンピュータとともに非意識的領域の情報を感覚できるようになっているのではないか，という問題意識です．ディスプレイ外の事象というのも聞こえているけど，考えられてはこなかったという点で，非意識とは異なるけど，意識のフレームの外にあったものを扱うという点では，今の私の問題意識で改めてデスクトップメタファーを扱って，ハプティックなインターフェイスにおけるデジタルオブジェクトの実在性につなげるということかもしれません． 発表も概要から外れるものではないですが，もっとチャーマーズよりというか， it-from-bit-from-it な感じになっているような気がします🫡 発表概要です． インターフェイスにおけるデジタルオブジェクトの実在性 　哲学者のデイビッド・チャーマーズは仮想現実と哲学の問題を扱う『Reality+』において，「デジタルオブジェクトは完全に実在する物体」と主張する．「デジタルオブジェクト」とは，仮想現実内のオブジェクトであり，ビットのパターンで構成されたものである．私はチャーマーズの主張をインターフェイスデザインに応用してみたい．彼の主張が真だとすると，私たちはインターフェイスにおいて「デジタルオブジェクト」を幻影ではなく「完全に実在する物体」として体験していることになる．これは直観に反す...
続きを読む

画面分割と認知に関するメモ

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る． なぜだろうと思いつつ，マイク・フィグスの「 時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである． 画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発...
続きを読む

アンドレアス・グルスキー展を見て，谷口暁彦さんの習作《live-camera stitching》を思い出しました

名古屋から神戸に引っ越しました．それで国立国際美術館に アンドレアス・グルスキー展 を見に行きました．グルスキーの作品を一言で言うと「大きい」．それは写真として「大きい」ということですが，とにかくに大きい．普通の写真を見る距離でグルスキーの縦構図の作品を見ると見上げるかたちになるので，クビが痛くなります．このあたりはとても重要かと思われます．神の視点の前ではヒトは小さなものだなと，クビの痛みともに感じられるからです． といっても，グルスキーも神ではなくてヒトですから，その大きな作品を「チチンプイプイ」と言って簡単につくっているわけではなく，コンピュータで複数の画像をくっつけてつくっているわけです． パリのモンパルナス地区に位置するアパルトマンを捉えたこの作品は，グルスキーがデジタル技術によるイメージ加工を始めた頃に制作されました．二つの撮影ポイントから映された画像を組み合わせて一つの画面を作り出すことで，写真家は，建物の全体を正面から眺めることができ，かつ，アパルトマンの窓の中の一つ一つの世界を見ることの出来るイメージを完成させました． アンドレアス・グルスキー展パンフレット（国立国際美術館）  ふたつ以上の視点が入り込むから作品を見ていると混乱してきます．「あっちの視点で見ていると思ったら，いつの間にかこっちの視点に移動している」ということを写真でやられると僕の視覚はついていけずに混乱して気持ち悪くなったりしました．でも，グルスキーの作品で多い神の（上からの）視点において気持ち悪くなることなく，首の痛みだけを無視すれば自分も神になったような感じを味わっているような気がします．「神のような感覚」を味あうだけなら，グルスキーではなくて，もっと広大な俯瞰視点をとれて，自由に動き回れるGoogle Earthの方がいいかなという感じでもあります．グルスキーとGoogle Earthを比較するなんてと思うかもしれませんが，これらは「画像」として同等なものだと思います． 上の画像は「アンドレアス・グルスキー」とGoogleの画像検索してみたものです．なんで画像検索をしたかというと，多く人がこんな画像でグルスキーの作品を見ていると思われるからです．グルスキーの作品をネットで見るとちっとも大きくありません．クビも痛くなりません．神の視点と...
続きを読む

インスタグラムの設定にある「元の写真を保存」について

インスタグラム の設定にある「元の写真を保存」，英語だと「Save Original Photos」という項目が気になる．デフォルトだと「オン」になっているので撮影した写真にフィルターをかけたものと「元の写真」が残ることになる．「オフ」にするとフィルターをかけた写真しか残らない．設定で「オリジナル」が消去される．ここには「オリジナル」という言葉が「軽く」扱われるというか，それが「設定」のひとつの項目になったんだという感じがある． http://en.wikipedia.org/wiki/File:Instagram_versione_(santa_fiora,_peschiera).jpg 「オリジナル」は消去されるが，フィルターをかけた写真は残る．オリジナルが消えているのだから，フィルターをかけたものが「オリジナル」となるのだろうか？　「オリジナル」かどうかというよりも，「インスタグラムらしさ」ということが重要なのかもしれない． この前のトークで ，ラファエル・ローゼンダールがウェブ上の自分の作品に「これがオリジナル！」という意味では「オリジナルはない」ということを言っていたが，インスタグラムという代表的な写真アプリの設定項目を見てみても，ポスト・インターネットという状況では「オリジナル」という言葉を取り巻く環境が変化していることは間違いない．
続きを読む

始点と終点とを決めるという単純な規則に基づいた単純な行為

.review  に投稿するためのテキストを昨日，サインペンで殴り書きしたものをタイプした．今のところ，6382字．でも，全然まとまっていません．何となく形になってきたというところだけが救いですが…．その後，読み返して，自分で赤い入れながら考えを少しでもよくしようと頑張りました．下のツイートはそこからでてきたものです． -- カーソルが私たちに促すのは始点と終点とを決めるという単純な規則に基づいた単純な行為である．ただし，ここで一度決められた終点は，一瞬の後に始点になってしまうがゆえに，延々と始点と終点を決め続けなければならない． http://twitter.com/mmmmm_mmmmm/status/8959994500 コンピュータは，カーソルを介して私たちが延々と行う始点と終点を決め続ける行為を受け入れ，この単純な行為の繰り返しから多様なアウトプットを計算し，表示し続ける． http://twitter.com/mmmmm_mmmmm/status/8960129574 デスクトップ・メタファーをめぐる想像力の変化．1984：マウスとカーソルによって多様な行為が始点・終点の選択という単一の行為に縮減・後退し，現実／仮想という構造が前景化する． http://twitter.com/mmmmm_mmmmm/status/8960538375 1999〜：現実／仮想という構造が後退し，単一化された行為がその単一性にゆえに前景化する．デスクトップ・メタファーをめぐる想像力の反転に，カーソルが示す身体性の「ある｜なし」の重ね合わせが影響してる． http://twitter.com/mmmmm_mmmmm/status/8960699371 -- 私たちは始点と終点を決めるという単純な行為と，キーをして文字を入力するということを延々と繰り返している．キーで文字入力はタイプライターがあったけれども，始点と終点を決めるだけで，ここで始点を決めるというのは少し違うかも知れない．私たちは，カーソルをどこか目的の場所，終点を目指して私たちは動かすのだが，そこでクリックなりなんなりをしてしまったあとは，カーソルはそこに放置される．今まで私たちの身体と結びついていたのに，あっさりと放棄される．放棄されても，カーソルはそこにあり続けて，次の目的...
続きを読む

Poi vol.3 featuring Kazuhiro Jo

Nukeme さん,  渡邉朋也 さんと特集してきた「Poi」の第3号「 Poi vol.3 featuring Kazuhiro Jo 」が完成しました． 科学研究費の研究グループ「ポストインターネットにおける視聴覚表現の作者性にかんする批判的考察」は，3年目にアーティスト・研究者の城一裕さんの活動を追ってきたのですが，「Poi」としてはまとめることができずに研究期間が終わってしまいました． しかし，科研の研究リーダーだった松谷容作さんが 令和元年度國學院大學特別推進研究助成「今日的なメディア・アート状況下における理論と制作の対話に向けた新たな概念の構築」 を獲得してくれたので，城さんの活動を「Poi」にまとめることができました． 目次は以下の通りです． 今回は，城さんの活動をまとめるだけではなく，「Poi」の活動そのものへの批判的考察として，「Poi」の活動に常に力を貸してくれてた田川莉那さんに「 ポストインターネットにおけるアートを批判的に判断するための前提の考察 」を寄稿してもらいました．また，デザインはいつもの増田展大さんから，同志社女子大学の大島千佳さん，加藤綾羽さんに変わっています． 私の手元に23部配布できるものがありますので，希望者の方は以下のフォームに記入をお願いします😊　また，後ほど，PDF版も配布予定です🙇‍♂️→ PDF版のPoiの置き場🗃 https://www.dropbox.com/sh/3qidkzvrf3j8xao/AAAgUrhHBQ_f6XduSXIrU3zZa?dl=0 読み込んでいます…
続きを読む

Poi Vol.1 featuring Nukeme_PDF

科研費「ポストインターネットにおける視聴覚表現の作者性にかんする批判的考察」研究グループは，2015年11月30日から12月21日にかけて，同志社女子大学京田辺キャンパス内 msc ギャラリーで開催された展覧会・Nukeme「Old School」を中心にして，ヌケメさんを特集した「Poi Vol.1 featuring Nukeme」を刊行しました． ヌケメさんを特集した科研費の報告書でもある「Poi Vol.1 featuring Nukeme」を各所で配布してきましたが，より多くの人に届いてほしいためPDFの配布も行いたいと思います．下のタイトルのリンク先にあるPDFは，「A4横１枚あたり２頁＋小冊子」という設定でプリントしてステープラーで綴じてもらうと，実際の冊子の雰囲気が味わえます． よろしくお願いします． −− PDF版のPoiの置き場📚 https://shwca.se/poi Contents 1. Introduction 『Poi』創刊によせて（松谷容作） 2. Installation View Nukeme「Old School」展 3. Interview　《Old School》をめぐる対話 4. Lecture　OS /テクスチャ/グリッチ 5. Workshop　アイコンを彫る 6. Roundtable　ポストインターネットをめぐって 7. Essay　破壊を引き伸ばし、デジタルデータと物理世界を干渉させてモアレをつくる（水野勝仁） 編集責任：松谷容作 ゲスト：Nukeme 編集：秋吉康晴、田川莉那、増田展大、水野勝仁 協力：二瓶晃、前田真由子 デザイン：増田展大 発行：2016/07/31 印刷・製本：株式会社太洋堂 主催：科学研究費基盤研究(C) 「ポストインターネットにおける視聴覚表現の作者性にかんする批判的考察」 研究課題番号：15K02203 研究代表者:松谷容作(同志社女子大学)
続きを読む

「非-用具的道具」？

A Demonstration of the Transition from Ready-to-Hand to Unready-to-Hand Dobromir G. Dotov, Lin Nie, Anthony Chemero を読んでみた．この論文についての解説は， 「コンピューターと自分は一体」：実験で検証  で読めますが引用してみる． Chemero氏の研究成果は，3月9日(米国時間)付でオープンアクセス誌『PLoS ONE』に掲載された．この実験は，ドイツの哲学者マルティン・ハイデッガーの基本概念の1つを検証する目的で行なわれた． 人間は，扱い慣れた，正しく機能している道具については特別に意識せず，道具の向こうを「透かし見る」ようにして，目の前の課題に意識を向けるものだ，とハイデッガーは唱えた．それはちょうど，靴ひもを結ぶのにいちいち自分の指を意識しないのと同じ理屈だ．すなわち，道具はわれわれ自身なのだと． この概念，「用具的」[他には「道具的」「手許的(性)」「用存的」など．英語では「ready-to-hand」＝手の届くところにあること．ドイツ語では「zuhanden」]と呼ばれ，人工知能や認知科学の研究に影響を及ぼしてきたが，これまでこの概念が直接検証されたことはなかった． ということらしい．検証されたかどうかは別にして，自分の関心のあるところを少し書いてみることにしたい．ハイデガーは道具の例としてハンマーというモノを出しているのだけれど，この論文ではマウスとカーソルとでひとつの「道具」を作って実験している．論文の著者たちは次のように，この「道具」のつながりを書いている． ハイデガーの例とアナロジーを示すと，マウスはハンマーの柄の役割をし，スクリーン上のポインターはハンマーの打撃面と同じような役割をする．[ To make an analogy to Heidegger’s example, here the mouse plays the role of the handle and the on- screen pointer figure plays a role similar to that of the hammer striking face. ] このアナロジーは妥当なんだろうか．マウスがハンマーの柄であることはい...
続きを読む

「サブシンボリックな知能」と Doing with Images makes Symbols

下條 「環境知能」と言うとき，比較的欠けているなと思った視点は，身体や皮膚の感覚，あるいはシンボリックにいく前のサブシンボリックな知能なんです．どういう意味かというと，子供がおもちゃに対してインタラクトしているとき，そのおもちゃにどういう機能があるかなんていう表象を頭のなかにつくらなくても反射的に手を出しているわけです．あるいはそこに本があれば何となくページをめくっているとかね．そうした，ピアジェが言うところの，表象より前の段階の感覚運動知能みたいなものは，安全な言い方をすればそういう研究は将来必要となるでしょう，という言い方になるのですが，そんなことをいっているあいだに，近未来において粗暴なかたちで吹き出てくるんじゃないかなという気がしているんです．(pp.150-151) 環境知能と環境管理をめぐって，東浩紀＋下條信輔　司会＝NTTコミュニケーション科学基礎研究所　in 環境知能のすすめ：情報化社会の新しいパラダイム ここで言われている「サブシンボリックな知能」という言葉で，昔の発表をまとめ直してみたいと思っている．プレシンボリックな知能／行為｜Doing with Images makes Symbols｜アレゴリー的思考 −− インターフェイス再考：アラン・ケイ「イメージを操作してシンボルを作る」は何を意味するのか． Re-thinking the interface: What is the meaning of Alan Kay's"Doing with Images makes Symbols" 水野勝仁 Masanori MIZUNO 名古屋大学大学院情報科学研究科博士後期課程　 Nagoya University, School of Information Science Abstract Alan Kay created a slogan for development of user interfaces: Doing with Images makes Symbols. This reveals the essence of the Graphical User Interface (GUI) which millions...
続きを読む