イカは宇宙を飛び、シンギュラリティを起こす/『Manifold:Time』感想

　今回紹介する本は、未訳のＳＦ長編である。誰にも訳されていないのだ。

Manifold: Time

　むろん、英語がずらりと並んでいる。英語のみの小説を読むのは、難しいことだ。世界一TOEICの点数が高い人にとってみれば、簡単なことかもしれないが、それ以外の人には難しい。
　しかし、わたしは頑張って読んだ。ところどころ意味が分からないところがあったが、全部読んだ。なぜか？　スティーヴン・バクスターの作品であるからだ。
　スティーヴン・バクスターといえば、とてもすごいＳＦを書くと有名な人だ。銀河規模・宇宙規模・時空規模のガジェットを惜しげもなくバンバン投入し、しかもそれが最先端物理学で裏付けられている。さすがは工学の博士号を持っているだけある。
　今回紹介する『Manifold:Time』は、そんなバクスター作品のなかでも『異色作』と位置づけられるところのもので、おもちゃ箱をひっくり返したような色とりどりのアイディアが整理されぬまま散らばっている。
　なかでも、すごいのがイカだ。イカが空を飛ぶ。いや、空どころではない宇宙を飛ぶ。いやいや、もっとすごい、超遠未来の宇宙を飛ぶ。どれくらい？　分からん。よく分からんが、数兆年後は超えているらしい。なんだか、陽子が自然消滅するくらいのそんなすごい未来らしい。そんな宇宙を飛ぶイカを描いたのは、ＳＦ史上においておそらく最初であろう。何事も、史上初は良いものだ。ちなみに、イカはヤリイカである。ヤリイカとは、寿司のネタとして有名なイカだ。スルメイカよりもランクは上のようだ。
　このヤリイカ、遠未来の宇宙を飛ぶだけでなく、シンギュラリティまで起こす。シンギュラリティとは、知能がどんどん上がっていくことだ。皆さん、コンピュータの発展によりシンギュラリティが起こると考えているが、それらはすべて間違いなのであり、実際のところシンギュラリティを起こすのはイカだ。
　イカがどうしてシンギュラリティを起こすのか？　それは謎である。正直、わたしは読み取ることができなかった。頭足類の専門家ならば読み取ることができると思うので、是非とも読んで欲しい。どうやら、卵を産むと、次世代のイカはどんどん賢くなるようだ。驚くべき事実である。
　イカなんて単なる貝の化け物だ。そんなもん見たくないよ！　という皆さん。ご安心ください。イカは中盤くらいで死にます。後は人間が主人公です。十本脚もいいけど、やっぱり二本脚だよね。そして、二本脚の主人公と一緒に知性が宇宙に果たす根源的な役割を追求しよう！　冬休みの間に人間と宇宙の関係性について把握してクラスメイトに差をつけよう！

【論文要旨】モデルはフィクションから輸出される/『モデル-世界比較の本質』

Fiora Salis(2016) "The Nature of Model-World Comparisons"

The Nature of Model-World Comparisons | The Monist

どんな背景なの？

　科学哲学においての問題に、モデルを使ってどのように現実世界の知識を得るのか？　というものがある。力学方程式に従う理想的なバネのようなモデルは非実在的な対象である。存在しないシステムと現実世界のシステムをどのように比較するのだろうか？　非実在的なモデルシステムを抽象的対象としても解決にはならない。抽象的対象には時空的性質が存在せず、そのような性質を持つ現実の対象と比較できないからだ。
　この問題に対して、モデルはフィクション的対象であるとする説がある。科学哲学にフィクションの哲学を利用するものだ。ウォルトンのmake-believe（ごっこ遊び）理論を応用する。ウォルトンはフィクションをごっこ遊びの支柱と見なす。フィクションは鑑賞者に想像せよという指示を出し、フィクショナルな真理を生成する。フィクションの話法は内的なものと外的なものとに分けられる。内的話法においては想像的態度をとる。『日向縁の家は金持ちだ』という命題は内的話法では真となる主張だ。一方、外的話法は信念的態度をとる。日向縁は存在していないので上記の命題の真偽を確定するためには『フィクションにおいて』というオペレーターをつけなければならない。『（１）ゆゆ式において、日向縁の家は金持ちだ』という命題は真である。
　この考え方を拡張し、フィクション間の比較やフィクションと現実の比較をしてみる。『（２）蒼井晶は水瀬伊織よりも貧乏だ』『（３）村川梨衣は一条蛍よりもテンションが高い』という命題は、内的話法から見れば拡張されたフィクションのなかでの想像と見ることができる。外的話法から見ることは可能なのか？　フィクション実在論者はフィクション存在を仮定する。ネオマイノング主義者は具体的だが非実在の対象、または可能であるが非現実的な対象を、抽象的対象理論においてはプラトン的存在、または社会的構築物に似た人工物とする。このうちモデル理論において、抽象的対象理論を使うことができる。その論者は、（２）（３）のような命題を対象の関係性で捉えるが、このときフィクショナルキャラクターの名には指示対象がなければならない。しかし、抽象的対象はフィクショナルキャラクターのような性質を持つことができない。このことを説明するための戦略は二つある。
　ひとつは、フィクショナルな文脈と現実文脈を区別するものだ。蒼井晶は現実に貧乏であることは不可能であるが、フィクショナルな文脈であればそのような性質を持つことができる。
　ふたつめは、性質と個体間の二つの叙述の区別に基づくものだ。我々は村川梨衣に対しては性質を属性付ける(predicate）ことができるが、一条蛍に対しては性質を帰する(ascribe)ことしかできない。フィクショナルキャラクターは性質をエンコードするだけだが、具体的対象は性質を例示できるとも言われている。ascributionやエンコードとは、想像の中でのみ、抽象的対象はある種の性質を持つことができるということだ。
　この上で、フィクション的対象の比較主張を解釈する二つの分析がある。分析１は拡大されたフィクション上のゲームだと解釈するものだ。（２）は次のように書くことができる。（４）『selector infected WIXOSS』と『アイドルマスター』によれば、蒼井晶は水瀬伊織よりも貧乏だ。この複合されたフィクションで矛盾が出るところは無視され、蒼井晶と水瀬伊織の貧乏度という中心的真理のみが焦点となる。この方法のみだと、(3)の場合には使えない。フィクションと現実という異なる文脈において、どのようにフィクションを拡大すればよいのかという問題が生じる。
　分析２は対象の性質とは数学的存在だと解釈し、それを比べるという方法だ。（２）は次のように書き換えられる。（５）「貧乏度i,jが存在する。i>jである。『selector infected WIXOSS』によれば蒼井晶は貧乏度iを持ち、『アイドルマスター』によれば水瀬伊織は貧乏度jを持つ。」（３）は次のように書き換えられる。（６）「テンション度gとhがある。g>hである。村川梨衣はテンション度gを持ち、『のんのんびより』によると一条蛍はテンション度hを持つ」。
　分析２よりも１を好む哲学者もいる。例えば、カフカ『変身』のザムザ氏は多数の脚を持つが、その数は確定していない。しかし、数の特定は求められておらず不確定であるとしても議論は通る。
　ここで、フィクション的存在の実在にコミットしなくともフィクショナルオペレーターをつけることによりフィクション命題を真にすることができることを見てきた。この見解はモデルについての議論に応用できる。
　モデルと世界を比較する主張の解釈には三つの立場がある。抽象的立場はモデルを抽象的存在とし、間接的フィクション主義はモデルをフィクション的対象とし、直接的フィクション主義はモデルに関する主張を現実世界についての主張だと解釈する。
　抽象的立場に立つGiereはモデルシステムを「標準的教科書に載っている性質のみで構成されており、教科書に記載されている性質をあますところなく持っている」抽象的存在とする。存在論的には、Thomassonのフィクションの人工物説と同じだ。しかし、例えば、抽象的対象は位置や速度といった性質を持つことはできない。
　Wewisbergはモデルを構造と解釈の構成物と見る。解釈は割り当て、理論家の意図、二つの信頼性基準（動的と表象的）からなる。例えば、生態系において捕食者と被食者の数の関係を表すロトカ・ヴォルテラモデルdV/dt=rV-(aV)P, dP/dt=b(aV)P-mPにおいては、Vを捕食者人口、Pを被食者人口、tを時間、r,a,bを二つの集団の相互作用パラメーターと割り当て。モデルの限界を二つの集団のサイズ、誕生率と死亡率、捕食率、捕食者の誕生に要する被食者の捕獲数という要素とする。信頼性基準とはどの程度モデルがターゲットに類似しているかの基準である。
　モデルとターゲットは特徴によって類似性を判別される。特徴は属性（性質とパターン）および、因果的メカニズムに分けられる。ロトカ・ヴォルテラモデルにおいては平衡状態や最大人口サイズが属性であり、被食者と捕食者の相互作用がメカニズムだ。
　モデルとターゲットとの類似性は次のようにはかられる

S(m,t)=|Ma^Ta|+|Mm^Tm| / |Ma^Ta|+|Mm^Tm|+|Ma-Ta|+|Mm-Tm|+|Ta-Ma|+|Tm-Mm|　　　　※^は「かつ（and）」

　Ma,Mmとはモデルにおいての属性およびメカニズム、Ta,Tmとはターゲットにおいての属性およびメカニズムである。この方程式は類似性を「特徴の非共有に対する共有の率」と定義する。
　Weisbergはフィクション主義とはモデルを素朴に解釈した結果生じた心的像であり、最終的には拒否するべきだとするが、問題は残る。モデルとターゲットを比較するとき、現実世界の対象が持っている性質をモデルも共有していなければならない。実在論的解釈においては抽象的対象は人口のような属性を持てないため破綻する。反実在論的解釈においては、モデルとターゲットは実際には性質を共有してはいないが、想像上では共有できる。この方向はフィクション主義に向かうものだ。
　次に、間接的フィクション主義を見てみる。Friggはウォルトンの理論を応用した。モデル描写を支柱と見なし、仮説システムをモデルの本質的仮定と普遍法則から生成される暗黙的真理としたのだ。Friggはモデルとターゲットの比較には問題がないとしたが、Godfrey-Smithはモデルシステムの性質が例化されていないと指摘した。
　最後に、直接的フィクション主義を見てみる。この立場はあるフィクションのなかでは現実的対象を指示していることを基本としている。例えば『ラブライブ！サンシャイン！！』は沼津市を想像せよと指示している。モデル描写はこのように直接的に現実的対象を想像せよという指示だとする。しかし、この立場は四つの問題がある。
　問題①：この立場の長所は余計な存在論的コミットメントがないことだが、Friggの立場でも別にフィクション対象にコミットしているわけではないので利点がない。
　問題②：モデルは現実に存在しない対象をも仮定する（点でしかない質量、太さのない糸など）。
　問題③：モデルは現実の様々な場所に適用されるので、ひとつの具体的な現実的対象は定まらない。
　問題④：モデリングがどのように現実世界の学習に結びつくか説明していない。
　Levyはモデルは現実世界の現象の想像的描写だとしている。現実世界の現象をフィクションの支柱としてフィクション的真理が作られるのだ。更に、モデルから現実を学習する方法を部分的真理という概念で説明する。モデル全体が偽でも、その部分は現実のターゲットについて真であるのだ。しかし、この方法ではモデルのうち真と偽の部分をはっきりと区別することが必要だが、それは難しいだろう。

どんな主張をしているの？
　フィクションの哲学における分析１と分析２をモデルに応用することにより、どのようにモデルと世界とを比較するのかという問題の回答が与えられる。

どうしてそんな主張をしているの？
　従来の説明では、モデルと世界の比較をする主張において難点があったが、フィクション命題にオペレーターをつけるように、モデルの命題もオペレーターをつければ解決に導ける。「原子核を回る電子の軌道は恒星を回る惑星の軌道のようだ」という命題はモデル内の視点から見れば、拡張したフィクションのなかで真であり。この内容に対してとるべき態度は想像である。一方、想像上の内容の外から見れば、分析１においてはフィクショナルオペレーターをつけて「ラザフォード-ボーアモデルとニュートンモデルによれば、原子核を回る電子の軌道は恒星を回る惑星の軌道のようだ」という命題になる。この命題は想像ではなく信念の対象だ。「地球と月の体系の位置と速度はニュートンモデルの二つの粒子系に非常に似ている」という命題は「拡大されたフィクションによれば、地球と月の体系の位置と速度はニュートンモデルの二つの粒子系に非常に似ている」というものとなる。この命題に対する態度は信念である。
　ここで心配なことがある。もしもモデリングがごっこ遊びならば、科学的成功もまたごっこ遊びとなり、予測や説明は単なるゲーム内部のことになってしまわないかということだ。
　しかし、モデルはフィクショナルな想像が第一の基盤としてあるが、我々は想像ゲームを脱出することができるのだ。フィクションを定量化し、フィクショナルオペレーターを埋め込むことにより外的視点に立った命題を手に入れることができる。この命題に対する態度は想像ではなく信念であり、ゲーム外の評価が可能である。
　例えば、「惑星の公転周期の四乗は軌道長半径の三乗に比例する」という命題はモデル内の主張としてもモデル外の主張としても読める（後者のときオペレーターをつけなくては真にはならない）。しかし、検証可能な仮説でもある。想像内でのゲームは現実世界についての仮説に輸出できるのだ。我々は、まず想像の中で現実と特徴をシェアするモデルを作り出す。そして、モデルを現実システムに関する仮説としてゲーム外に出すのだ。
　もしも数学的存在を仮定できたとすれば、分析２を用いることができる。「ある位置の値x1とx2があり、速度の値y1とy2がある。x1≒x2、v1≒v2である。地球と月のシステムは位置x1と速度v1を持つ。ニュートンモデルによると二つの粒子モデル系は位置x2と速度v2を持つ」と書くことができる。
　Friggの説では、現実と比べられるモデルに帰属する性質を例示していなかったためモデルと世界の比較は真にならなかったが、分析２では存在する性質の程度とモデルにより例化した性質の程度を比較することができる。ここでの存在論的コミットメントは、現実存在が持つ数学的存在と、”モデルによると”オペレーターにより真の状態がもたらされるということである。モデルと世界の類似性の比較は構造で、モデルシステムの発展は想像で行われる。

論文日記（２）：『リンゴが赤い』ってどういうこと？/普遍者とトロープ

Stanford Encyclopedia of Philosophyの"Properties"1-1節より

Properties (Stanford Encyclopedia of Philosophy)

二つの赤いリンゴaとbがあったとしよう。
これは何を意味しているのか？　
普遍者説によれば、これは次のことを意味している。
①aは赤い、bは赤いという二つの事態の状態がある。
②前者はaと普遍者「赤」を構成要素として含む。
③同じように後者も普遍者「赤」を含む。

対抗するところの、トロープ説においては
事態の状態などない
aの赤性とbの赤性という存在のみがある（二つは別のトロープである）

トロープは単一の存在であり、事態の状態は複合的な存在である。

普遍者には具体的対象を特徴付ける『characterizer』と別々の具体的対象を同じ普遍者としてシェアさせる『unifier』という二つの側面を持っている。普遍者説によれば別々の対象において客観的類似性が存在する。
一方、トロープにはcharacterizerとしての側面しかない。特定のひとつの対象しか特徴付けられないからだ。そのため、トロープ説は具体的対象の類似性について追加の説明をしなければならない。その説明はトロープには客観的類似性があり、類似性集合がunifierの役目を果たすというものであろう。
トロープ主義者は『性質』という語をトロープによる特徴化と、類似性集合による統一化へと分けるだろう。

普遍者説とトロープ説は非常に根源的な存在論的対立であり、心的因果や還元的物理主義などの哲学領域で問題となってくる。

論文日記（１）ＡＩによる人類の意思集結は失敗する！？『理想的アドバイザー説とパーソナルＣＥＶ』

今日から読んだ論文を日記にしてまとめることにしました。一週間で二回更新が目安。

原文はここ

『ラブライブ！サンシャイン！！』はセカイ系である

コンテンツの維持において、舞台設定を変化させねばならない。変化させ、新たな舞台設定が生まれるという事件のみで、消費者の注意が引かれる。長期間に及ぶ変化なしのコンテンツ展開はマンネリ化と飽きを呼び、一部のマニアのみを残して飽きられ、新規参入者を阻む。
舞台設定の変更は、チャンスである。既存客は同じコンテンツ系列に属しているというだけで参加し、うまくいけば新規参入者までもを手に入れることができる。しかし、リスクも伴う。前作のイメージを崩す変更は、既存客の反感にあう。
前作と続編の関係は、コンテンツ戦略によって様々だ。しかし、ラブライブ！シリーズの二作目、『ラブライブ！サンシャイン！！』においての前作との関係は、これまであまり見たことがないものである。『サンシャイン！！』という作品世界を、コンテンツそのものや視聴者などといったメタ作品世界と重ね合わせているのだ。これはセカイ系ともいってよいだろう。セカイ系は小世界（君と僕）の運命が大世界（世界の命運）と重ね合わさることに特徴があるが、『サンシャイン！！』においては作品世界であるキャラクターのコミュニティ（世界）がコンテンツそのものやコンテンツの消費者（メタ世界）と重ね合わさっているのだ。
このことは、μ'sが作品世界内部にいる生身の存在として描かれていないことに端を発する。作品世界から見たμ'sと現実世界から見たμ'sは同じものとして描かれている。如実に示すのは桜内梨子がスマホで鑑賞したμ'sのＰＶである。このＰＶは現実に存在するアニメＰＶと同じ表象をしているのだ。もちろん、作品世界の目線からすればＰＶは実写であり、アニメではないのだから、現実世界にあるアニメＰＶと作品世界にある実写ＰＶは別物であるはずだ、しかし、表象としてまったく同じに見えることから、現実世界の住民は作品世界の住民へ『μ'sに対する立ち位置』を支柱にして共感することが可能となるのだ。他にも、μ'sに対しての熱狂的なファンである黒澤ダイヤが出すμ'sクイズが、作品世界に住んでいるという特権的位置に起因する情報を利用することなしに、現実世界の住民に対してもフェアであることは面白い。『サンシャイン！！』世界は一作目である『ラブライブ！』世界と地続きであるはずなのに、μ'sに対する立ち位置は現実世界と同等なレベルであるのだ。音乃木坂学院から転校して来たはずの桜内梨子がμ'sを知らなかったのも、現実世界との情報格差をなくそうとする戦略であろう。
視聴者は、『サンシャイン！！』を見ることにより、『ラブライブ！』というコンテンツや、それを見ている自分自身を見る。『わたし』と『セカイ』が一体化する。これは一種の神秘体験である。アートマンとブラフマンは同一であるのだ。
さて、Aqoursのμ'sに対する立ち位置が現実世界の住民と同レベルである以上、あるひとつの予想が導き出される。それは、『サンシャイン！！』にはμ'sメンバーは生身の存在として出現しないというものだ。Aqoursはμ'sに対して現実世界の住民と同じように言及するだろう。黒澤ダイヤはにこまき談義すらするかもしれない。しかし、μ'sは（作品世界内から見ても）画面を通してのみ表象されるだろう。

【論文まとめ】一貫性のある外挿法的意志作用/Coherent Extrapolated Volition【Elizer Yudkowsky(2004)】

フレンドリーAIのアイディアで知られるYudkowskyのエッセイです。

ここで原文は読めます。

１、Intoroduction

フレンドリーAI（FAI)とはフレンドリーな超強力実行化プロセスである。

フレンドリーAIに必要なものとは。

①道徳などの不変性が自己改良においてもシステムのうちに保持されること

②AIに組み込めるものであること。

③不変性を人類絶滅を回避するようなものにデザインすること。

「友好性」とは我々が欲していることという風に単純に定義できる。

２、Introducing Volition

意志作用(volition）とはなにか：すべてを知ったうえでの要求（例えば、箱Bに実際にはダイヤモンドが入っているが、フレッドは箱Aに入っていると思っており、ダイヤモンドがほしかった場合、ジョンの決定は箱Aを開けることだが、意志作用は箱Bを開けることとなる）

FAIが人間の意志作用を知る場合、脳状態を知り、外挿法で推論する。

2.1. Spread, Muddle, and Distance

意志作用を外挿する場合、三つの問題がある。

Spread: 意志作用が扱いにくい、予想できない、ランダムなものとなっている。

Muddle: 意志作用が自己矛盾している

Distance: 意志作用が現在の自分が離れたものとなる

　short dintance: もし説明されれば外挿された意志作用に賛成できる

　Medium distance: 外挿された意志作用に賛成できるのは発展的な教育や議論を経た後

　Long distance: 現在のあなたには完全に理解できない

2.2.　Obvious Moral Hazard of Volitionism as Philosophy

日常生活においてはshort distanceを使うことが道徳的に求められる。

しかし、強力な自己改良型AIに対しては違う。

3. Coherent Extrapolated Volition

フレンドリーAIをデザインするとき、人類全体で一貫した外挿法による意志作用が重要となる。それは「もしも我々がもっとよく知り、早く思考し、自分がこうだったらいいという者となったときに、自らがともに育て上げられる意志」のことである。

3.1 Coherence and Influence

Coherence: より多くの人々が積極的に賛成したときに上がり、より多くの人々が積極的に賛成したときに下がり、ある個人が望みをより強い感情あるいはより強い論証により出したときに上がる

Influence: influenceが大きい場合、人類の未来はある程度限定されている。CEVにおいて、influenceが大きいことは避けねばならない事態である（特にdistanceが大きい場合）。influenceが大きい場合、コンセンサスが大きく求められる。

Distance, mudlle, spreadがある場合、CEVの肯定的側面が減少してしまう。

distanceやspreadが高い場合、CEVによる積極的アドバイスに従う根拠は薄れるが、消極的アドバイス（～しないほうがよい）にしたがう根拠は保持される。

 spreadとmuddleがともに高い場合は、chaosとなりCEVは失敗する。

3.2. Renormalizing the Dynamics

最初期のプログラマーが倫理的に完璧である必要はなく、FAIが最終的にどのようなものとなるかということを理解してなくてもよい、volitionにしたがいFAIのコード自身が変化していく。

3.3. Coherent Extrapolated Volition is an Initial Dynamic

CEVはFAIの最初期の運動(Initial Dynamic)として「我々が欲している解決」を目的とするものである。CEVは実際の未来がどのようなものかを描くものではない。実際の未来はCEVにauxiliary dynamicsが足されたものであるNice Place to Liveとなる。

このとき、auxiliary dynamicsは以下のようなものとなる。

・個人の人生を決めるものではなく、背後にあるルール（立法的というより自然法則的）を規定する。

・ルールは一定期間のうちに人間に理解できるものでなければならない。現在の立法システムよりもむしろ理解しやすくなる。

Nice Place to Liveのauxiliary dynamicsはinitial dynamicsには以下の理由から入れるべきではない。

・auxiliary dynamicsを入れると複雑すぎて実装が難しくなる

・auxiliary dynamicsを入れるとエラーの確率が増える

・initial dynamicsはあくまで目的のための手段である。

・initial dynamicsは人類が人類の意志作用のなかで暮らすことのみに関連するべきだ

・良いinitial dynamicsならば外挿化されたauxiliary dynamicsが入っていなければならない

・auxiliary dynamicsは一方方向の側面がある：いったん構造ができればそれを外から変えるのは難しくなる

CEVをFAIのinitial dynamicとして論ずることと、CEVをNice Place to Liveとして論ずることは原則的に別物である。

ルールを規定するとき、それは変更不可能なメタルールではなく変更可能なルールであるほうが望ましい（Initial dynamicは一方向のプロセスであることを避けねばならない）

auxiliary dynamic of a Nice Place to Liveはinitial dynamicとなるかもしれないが、それは非倫理的システムや非現実的メタルールを作ることや次世代のシステム制作の阻害となることを避けられたときのみだ。

4. Caring about Volition

どのように意志作用を検知するか？：脳状態や心理学、ミームなどを観察する。

ある人が持っている道徳性についての考えはCEVの特殊ケースである。

もしも脳を構成する炭素にシリコンでは発揮できない神秘的な力があるとすると、CEVは早期に破たんする。

4.1. Motivation

動機①人類の未来を守る

自己改良的AIに道徳理論を組み込んでも失敗する可能性が高い

　→人々を幸せにすることを組み込むと太陽系を文字通り笑顔で埋め尽くすのかも

　→住み心地の良い世界にしろとプログラミングしても自由がなくなるかも

動機②道徳発展の保証

過去の人々から見ると現在の道徳は驚くべきものである、同じように現在の道徳から見ると未来の道徳も驚くべきものであろう。現在の道徳を絶対的なものとしてプログラムすると道徳発展が途絶えてまう。

動機③プログラマーへの負担軽減

もしも絶対的な道徳理論をプログラムするならば、プログラマーは全能でなければならないが、そんなことはない。

根本的に新しい状況が生まれるため、プログラマーの予想外のことが起こる。そのため、CEVには脱出ハッチがついてなければならない：もし、人々の意志作用がCEVの実現を望んでいなかったらシステム自体が変革されるか消えなければならない。

十戒や4大道徳原理やロボット三原則はAIを擬人化しているため、AI倫理としてふさわしいものではない。それらは人間に対してのものであり、人間が思ってもいなかった、もしくは常識的すぎて言及していなかった功利関数の存在があり、それらが道徳理論のなかに書き込まれていなかったとするとまずいこととなる。

動機④ハイジャック防止

最初期のプログラミングにおけるプログラマーの意向やランダムの変動などはCEVにより一掃されるべきである。

動機⑤initial dynamicをめぐる戦争の防止

CEVによるinitial dynamicは現在の勢力にとって反発が少ないものとなる（もしもアルカイダがAIを作ったとしても、CEVの原則は妥当）

動機⑥人類が自らの運命を背負うことができる

CEVは神の創造ではなく、全人類の直接投票となる

4.2. But What If This Volition Thing Doesn't Work?

・initial dynamicが意図したように働かなかったら？

　「あなた自身よりもよく働くと判断できるまでなにものも信頼するな」という原則

　FAIがFAI自身をチェックできることが証明されるまで不可逆的変化を引き起こすべきではない

・一貫した外挿化された人類の意志作用の代わりに外挿化された個人の意志作用を使ってはどうか？

　final dynamicでは外挿化された個人の意志作用を使うことが望ましいがinitialでは望ましくない（人類の意志作用による駆動から個人の意志作用による駆動という移行はできるが、逆はできない。各人は別々の個人的世界に生きることとなってしまう）

・悪い世界が実現するようにCEVが収束してしまえばどうするのか？

人類が「No」ということができる地点を設定する

5. Dire Warnings

FAIのテクノロジー的側面はここでは論じない

CEVにより「世界新秩序」が生まれることを期待するな

【まとめ】最近読んだAI倫理関連の論文を三文以内でまとめる①

Luke Muehlhauser, Loutie Helm. 2012. "Intelligence Explosion and Machine Ethics"

倫理理論に対して、『超AIがその理論にしたがったら世界がどうなるか』という観点からテストできる。人間の認知の特性を調べたところ、AI倫理としては、理想的な情報下で理論と人々の直感がどうバランスをとるかを考える『整合性のある外挿的意志作用coherent extrapolated volition』というアプローチが有効だと思われる。

Susan Leigh Anderson and Michael Anderson. 2006. "The Consequences for Human Beings of Creating Ethical Robots"

AIに対して倫理を埋め込む利点は①倫理理論の発展、②ロボットが倫理的にふるまうことを保証、③理想的な倫理行為者の誕生というものがある。人間の場合は倫理に感情が必要だが、AIの場合は感情なく倫理法則にしたがうことによりより倫理的になりうる。倫理的AIを製作することは倫理的に求められるかもしれない。

Stanford Encyclopedia of Philisophy "Computing and Moral Responsibility"

コンピュータが倫理的責任を持つ条件についてはDennetは高階の信念、Sullinsは十分な意図表現の抽象化とするが、道徳的推論は情報処理で理解できないという反論がある。Moorは倫理AIを倫理性を持つデザインが施されたimplicit ethical agents、倫理的行動をとることができるexplicit ethical agents、倫理的主体とみなされるfull ethical agentsに分けた。Floridi and Sandersはresponsibilityとaccountabilityを分け、ロボットや犬は後者としての責任はあるが前者としての責任はないとした。

Ryan S. Tokens "Ethical Implementation: A Challenge for Machine Ethics"

AI倫理はカント的義務論アプローチが有効であるが、カント倫理を基盤とした人工道徳行為者は道徳をプログラムされており自由ではないのでカント的ではない。たとえそれ自身がカント的であろうとも、人口道徳行為者の創造は主体を単なる手段としているためカント的ではない。