ÉKRITS連載_最小化された行為の先にある合生的認知

ÉKRITS連載_最小化された行為の先にある合生的認知 - インターフェイスを読む #7

4/12/2022

エクリでの連載「インターフェイスを読む」を更新しました．第7回目のタイトルは「最小化された行為の先にある合生的認知」となります．

科研「生命と物質に関わる理論的調査と制作実践」で「物質としてのインターフェイスの生命化」ということを考えつつ，ヒトとコンピュータとのあいだで起こる「予測」の曖昧さについて考察しようと，iPadOSの「磁性」について書こうとしていました．ですが，その前にiPhone 13 Pro に実装された指の動きに連動するProMotionを考えてみたくなり，今回はこちらを考察しています．これまでの連載で考えたこと，エキソニモ論文での「認知者」という概念などをリンクさせるテキストになりましたので，読んでもらえると嬉しいです🙏

このブログの人気の投稿

矢印の自立

1/29/2010

The World's Biggest Signpost from adghost on Vimeo . ノキアのナビゲーションサービスのプロモーションのためにつくられた巨大な矢印．携帯から位置情報を送ると，矢印が動いてその方向を指すもの．情報を送った人は，矢印の先に何があるかも想像することができるので何を指しているかわかるけれども，多くの人は，そこに流れるメッセージを読んだとしてもこの矢印の先にあるモノを想像できないなのではないだろうか．でも，矢印の方向に私たちの注意は向いてしまう．矢印の先に注意を向けるということを，私たちはごく自然に行っているが実はそれはつい最近になって生まれた行為らしい．矢印は，長い間，「モノの動く方向を示す」という意味しかもっていなかったが，今世紀に入って，矢印が示す意味が多様化してきてると，以下のように書かれている．矢印の意味をほんの少し調べただけでも，現在の記号的な教えを示す矢印のなかから，たちどころに７種類もの違う意味で使われている矢印を見つけることができる．１．動きの向き物体の動きであったり，動かす必要がある物理的な動きの向きを示す．２．物理的な変化，変容ある状態や状況に置かれているところから別のものに変化，変容することを示す．３．ディメンションの提示通例としては距離を示したり，数量，重量，時間といったいろいろな寸法とともに使われる．距離を表したり，重量を示す．４．連結関係を示す例えば組み合わせにすべき部品と部品を示す矢印．この場合，昔の医学書や科学書で見られるものと同じく，結合線（破線）と同一の意味を持つ．この矢印は，現在使われている矢印と同じくさまざまな起源から生まれてきたことを示す．５．注意を喚起どこを見るべきか，図版の特定の場所を示すために使われる．６．連続性を示す現代の科学技術では，機能を使ったり，ある要素と要素を組み合わせるには，多くの手順を経る必要がある．そうした一連の手順において，矢印で次にするべき段階を示す．７．特定の意味を持つ矢印が教え示す意味は，必ずしもいつも明確とは限らない．また仮に明確でなくとも，意味は持っている．例えば「電気」や「リサイクル」に使われている記号がそれにあたる．(pp.19-20) 矢印の起源と多様化 in 矢印の力：その先にあるモ

「サブシンボリックな知能」と Doing with Images makes Symbols

12/04/2009

マジックマウスの慣性スクロール / Magic Mouse Scroll with momentum.

11/04/2009

マジックマウスの慣性スクロール．iPhone でもできてしかも気持ちいいけど．マジックマウスの慣性スクロールも気持ちいい．同じ慣性スクロールなので，やっている行為，指の動きは同じで，ディスプレイ上のイメージの動きも同じ．でもなんか違う．iPhone は，とても滑りのいいガラスの上を指がすいすいと動いて，その指にイメージが反応している感じ．ガラスの滑らかさとイメージの指への吸い付き．マジックマウスは，すこし滑りがわるいプラスチックの表面なんだけど，緩やかな傾斜がついているので，指をその傾斜に沿わして動かしている感じ．指にイメージが反応しているのは一緒だけど，プラスチックも指に吸い付くし，イメージも吸い付く感じ．プラスチックの表面に指が物理的にくっつくことが少し気になる．でも，一番の違いは，iPhone は直接的にイメージに触れているように見えているのに対して，マジックマウスは，指とイメージとが離れているということなのでしょうか．最初は，マジックマウスの傾斜が重要かなとも思ったんですが…．でも，この傾斜は人差し指で行ったり来たりするときに，私にとってはとても気持ちいい．どちらにしても，この慣性スクロールは，私たちの物理的世界の慣性をコンピュータの論理世界に入れてしまったわけです，でも，それも論理で実現されているわけです．まわりまわって，いつも私たちが体験していることが，ディスプレイ上のイメージで表現されるとなんか気持ちよさを感じてしまう．少し違うか．慣性というものだけが，ディスプレイ上のイメージに入り込んでいるから気持ちいいのか？　世界の物理法則の一部を切り取って，イメージに入れ込む．それも，私たちの行為にピタリと合った形で．そうすると，実現しているのは物理世界で起こっていることなんだけれど，体感としては何か新しいことが起こっているように感じてしまっているのか？　この新しく感じてしまう慣性スクロールとそれを行う表面の形状の関係について，最初に考えたのは，マジックマウスの緩やかな傾斜は，傾斜に対して私たちは日頃昇るときも勢いをつけるし，下るときは自然と勢いがついてしまうことと関係しているのではということでした．それが，プラスチックの表面という滑りの悪さを補うのかと．でも，私たちの物理世界から慣性だけを切り取って，それを指の

インスタグラムの設定にある「元の写真を保存」について

8/03/2013

「グリッチワークショップ」を見学して考えたこと

8/22/2011

東京藝術大学芸術情報センターで８月20・21日に開催された公開講座「グリッチワークショップ」を見学しました．「データを壊す」ってどういうことなんだろうと疑問から見学させてもらったのですが，とても興味深い内容でした． ucnv さん, 林洋介さんによるグリッジの技術的な講義と針谷周作さんによるグリッチの歴史とその可能性を示す講義といった，グリッチをめぐる技術と概念を端的に学べました．ワークショップ参加者は，技術を学んだあとに，グループごとに作品作りをしていたので，単に見学していた私よりもはるかに深く「グリッチ」のことを理解できたのではないかと思います．制作には参加しませんでしたが，私自身もこれから自分がメディアアートを考える上で役に立つような「グリッチ」という概念を得たような気がします．ここからはワークショップに参加した私の個人的な感想です． ucnv さんがグリッチの定義として「データは壊れているけれども再生できる」と言われていて，ここでの「壊れている」って何だろうと思いました．バイナリエディタで画像ファイルを開くと，その画像を構成しているデータが文字と数字ででてきて，この時点で自分的にはファイルが「壊れている」と感じてしまうわけですが，それは，画像を構成するデータの別の見え方であるわけです．「攻殻機動隊」や「マトリックス」で，緑の文字・数字が画面を覆い尽くすことのイメージや，概念では画像データを文字・数字で示すことは知っていても，バイナリエディタで画像ファイルを開くだけで，それが文字・数字ででてくると，やはりそれまでとは違って，やはりそうだったのかということを感じます．その文字・数字を適当なところで消したり，コピペなどで編集，保存して，その画像ファイルを画像として開くと，画像が変な感じになっている．バイナリエディタでやっていることは，自分の感覚からいうと「編集」という行為ですが，その結果生じた画像は「壊れた」と感じる．「編集」から「破壊」が生じるという変な感覚です．さらに，コンピュータにとっては別にそのデータが「壊れている」というわけではなくて，それをデータ通りに画像として表示しているわけです．元画像バイナリエディタで編集（ちょっとした）グリッチ画像コンピュータはデータは壊れ

ヌケメさんとのトークメモ

12/11/2015

《Old School》について家にある《Old School》を90度回転して置いてみたら，とてもびっくりしました．Windowsのアイコンが突如，モノ化した感じがしたのです．木にプリントされた時点で，ディスプレイの光の集まりであるアイコンはモノ化しているわけですが，この段階ではまだ木の表面にプリントされたイメージという感じがあります．ヌケメさんはそれを彫ります．そうすると表面に凸凹が生じます．そこで更にモノ感が増すわけですが，一番上の画像のように置かれるとどこかまだイメージな感じがします．それはプリントがパソコンのディスプレイと同じように垂直に提示されているからかもしれません．垂直だった彫られたプリントを水平に置いてみると，木片の凸凹が影で強調され，モノらしさが前面にでてきたのです．これを新鮮な驚きでした．これはアメリカの美術史家レオ・スタインバーグが提起した概念「フラットベット絵画」とも通じるところがあるかもしれないと考えています（→参照：アザー・クライテリア）．ヌケメさんの《Old School》は水平と垂直がこじれている感じがします．また，《Old School》を考えるためにもうひとつ参照したいのが，マイクロソフト社の「Windows 8.1　ユーザーエクスペリエンスガイドライン」で示した「"真のデジタル化" とは、アプリが画面上のピクセルにすぎないという事実を踏まえる」ということです．影がない光のみのピクセルを物理世界に引っ張りだすと，そこには影が必ず生じます．ヌケメさんの木を彫るという行為は影がない世界から持ちだした画像に「影のパラメータ」を付与して，操作することなのかもしれません．影の視点から今回のあたらしいバージョンの《Old School》の木の厚みを見てみるとおもしろいです．新作は薄くなっていて，木片というよりは板になっています．木片の正面にプリントされて彫られたアイコンよりも，板にアイコンの方が角度をつけて展示されることで，影がよりはっきり見えてきます．板という薄いものを掘って，切り口に影が生まれて，それがモノの感じを醸し出す．なので，あたらしいバージョンの《Old School》のほうが，立体感が強かった気がします．それは周りをグルっと回って作品

デスクトップ・メタファーと「ディスプレイ行為」　

3/12/2010

ここで，デスクトップ・メタファーが生み出されたパロアルト研究所に考察の対象を移したい．なぜなら，この研究所において，ディスプレイ上の対象物を指さすための道具であったマウスに，次々に新たな行為が付け加えられることになるからである．パロアルト研究所では，1973年に，アルト（図4-4）と呼ばれるシステムが開発された．アルトは，アラン・ケイや，バトラー・ランプソン，チャールズ・サッカーが中心となって開発された実験的なワークステーションであり，その大きな特徴は，ディスプレイ上のピクセルがメインメモリのビットに対応するビットマップ方式を採用していたことである．この決定は，ヒトが環境の情報を最も捉えることができる視覚を重視したインターフェイスを提供することが，マシンとソフトウェアの最大の目的であるという開発者たちの認識から導かれたものであった．そして，アルトのインターフェイスでもうひとつ重要なことは，ポインティング・デバイスとして，マウスが採用されたことである．当時，マウスは，入力デバイスとしては馴染みの薄いものであったが，スチュワート・カードによる実験によって，マウスが，ディスプレイ上の対象を指示するのに最も適したデバイスということになり，標準装備されることになった．4-42) 視覚重視の考えと，ヒトの手の原初的な感覚をコンピュータに持ち込むマウスという道具が，アルトというワークステーションで出会うことになる．図4-4 ゼロックス社アルト視覚重視のアルトは，ディスプレイ上のイメージを自由に表示することができた．このことは，ディスプレイ上のイメージが示すアフォーダンスの直接的な知覚に基づく指さし選択行為とマウスとの関係に影響を与えた．エンゲルバートのシステムでは，マウス・カーソルのイメージは，単なる点であった．しかし，アルトでは，カーソルの形は，矢印（→）になる．カーソルの形が，矢印ではなく点であっても，ディスプレイ上のイメージを指さす選択行為を遂行することはできる．では，なぜ形が変わったのか．それは，ディスプレイ上のイメージを自由に表示できるようになっために，指さし選択行為の遂行に，より適したアフォーダンスを示すイメージを表示するようになったと考えることができる．ここでは，身体的行為を導くアフォーダンスとディスプレイ上のイメージが導くアフォーダ

マジック・メモ：行為＝痕跡＝イメージの解体可能性

1/03/2010

フロイトは，自らの記憶と知覚のメカニズムに関する仮説のために，当時，売り出されていた玩具である，マジック・メモという装置を取りあげた．その理由は，この装置のイメージを表示する表面が，「いつでも新たな受け入れ能力を提供すると同時に，記録したメモの持続的な痕跡を維持するという二つの能力を備えている」2-11) からであった．フロイトは，「情報を無限に受け入れる能力と，持続的な痕跡の保存は，互いに排除しあう特性」2-12) と考えていたが，マジック・メモは，その相反する能力を同時に実現する装置であり，その構造は，次のように記されている．このマジック・メモは，暗褐色の合成樹脂あるいはワックスのボードに，厚紙の縁をつけたものである．ボードの上を一枚の透明なカバー・シートが覆っていて，その上端がボードに固定されている．このカバー・シートは，固定されている部分を除いて，ボードから離れている．この小さな装置でもっとも興味深いのは，このカバー・シートの部分である．このカバー・シートは二枚のシートで構成され，シートは二カ所の末端部分を除くと，互いに離すことができる．上のシートは透明なセルロイドである．下のシートは半透明の薄いパラフィン紙である．この装置を使用しない時にはパラフィン紙の下の面は，ワックス・ボードの上の表面に軽く粘着している．2-13) ここから，マジック・メモについてわかることは，大きく分けて，ワックス・ボードとカバー・シートという二つの部分から，この装置が構成されているということである．そして，カバー・シートは，透明なセルロイドの層と半透明の薄いパラフィン紙から構成されているので，全体としては，三層構造の装置ということになる．フロイトは，次に，この装置を使用するプロセスを詳細に述べている．このマジック・メモを使う際には，ボードを覆ったカバー・シートのセルロイドのシートの部分にメモを書く．そのためには鉛筆もチョークも不要である．受け入れ表面の上になにか物質を沈着させて記録を残すのではないからである．マジック・メモは，古代において粘土板や鑞盤に記録したのと同じ方式を採用しているのであり，尖筆のようなもので表面を引っ掻くと，表面がへこみ，これが「記録」となるのである．マジック・メモではこの引っ掻く動作は直接行われるのではなく，ボードを覆った二枚のシートを介して行われる

画面分割と認知に関するメモ

2/05/2011

画面分割についてのスライドを作っていて，アメリカのドラマ「24」が初期のころはよく画面分割を使って緊迫感をだしていたのに，その手法が徐々に使われなくなっていたことを Wikipedia で知る．なぜだろうと思いつつ，マイク・フィグスの「時代×４ [About Time 2] 」を見る．これは４分割された画面で同時に物語が進んでいく短編映画で，「 10 Minutes Older 」というオムニバスの映画のひとつである．画面を４分割して，物語で進んでいくと，段々のそこで起こっていること全てを認知することが難しくなり，認知限界を超えることを実感した．「24」は，リアルタイムという軸があるから，ために画面が分割されても，それは空間的に離れているところで「同時に」物事が起こっていることを示すために有効だが，そこで「リアルタイム」という軸が外れてしまうと，見ているヒトは分割された画面の関係性が分からなくなってしまうのではないだろうか．そこで，「24」で画面分割が使われなくなったことには，認知限界が関係しているのではということを考えた． 24 時代×４[About Time 2] レフ・マノヴィッチが画面分割はユーザ・インターフェイスの「GUI」からの影響であると指摘している．「ひとつのスクリーンにひとつのイメージ」というのが画面構成の論理であったが， GUI を構成する要素であるビットマップ方式のディスプレイがこの論理を破綻させたと，マノヴィッチは考えている．ビットマップ以前に，映画では電話をかける場面などで画面分割を行っていたが，大々的には行われていなかったとはいえるので，マノヴィッチの指摘には賛成である．そして，画面分割を「空間的モンタージュ」と呼び，これまでの「時間的モンタージュ」に変わるものだとし，「空間的モンタージュ」は，GUI の画面を占拠して，そこでは何も消えることがない「記憶」の場として機能していると，マノビッチは考える． my desktop マルチウィンドウシステムにもつながる，パーソナル・コンピュータの大元のアイデアであるヴァネバー・ブッシュのメメックスは２画面を備えた装置として描かれている．メメックスは増大する情報量に対処するために作られた装置であった．ブッシュは膨大な情報に対するヒトの認知限界を考え，メメックスを開発