2021年10月24日：AIは「観察」できるか：ホームズの名を冠した二つのAI評価

シャーロッキアン日記

先日、ホームズの推理をコンピュータや人工知能になぞらえる論文を読みました。「ホームズの頭脳はコンピュータのようだ」という比喩に接して、私は、具体的には何がどう似ているのだろうと考えました。そこで逆に、AIを作っている側の研究者は、ホームズの名のもとで実際に何を測ろうとしているのだろうと気になり、調べてみることにしました。

すると、ホームズの名前をそのまま冠した研究がいくつも見つかりました。今回はそのうち二つ、2022年の「Sherlock」と、2025年に公開された「Video-Holmes」を紹介します。どちらも、AIの推論能力を測るための「試験問題」を作った研究です。

この記事は、ホームズが他分野でどう扱われてきたかをたどるシリーズの一回です。

「細かいことの観察」をデータにする：Sherlock（2022）

一つ目は、アレン人工知能研究所（Allen Institute for AI）やワシントン大学などの研究者による論文「The Abduction of Sherlock Holmes: A Dataset for Visual Abductive Reasoning」です。コンピュータビジョン分野の主要な国際会議ECCV 2022で発表されました。

論文の冒頭には、エピグラフとして「ボスコム谷の惨劇」の一節が掲げられています。

僕のやりかたはよく知ってるじゃないか。みんな細かいことの観察からきているんだ

研究の中身は、画像に写っているものから、写っていないことを推し量る能力をAIに試すためのデータセットづくりです。参加者は写真を見て、目についた「手がかり」に印をつけ、そこから引き出せる「推論」を書き込みます。たとえば「濡れた舗道」から「最近雨が降った」、「名札をつけた人たち」から「互いに初対面である」といった具合です。こうして10.3万枚の画像に対し、36.3万組の「手がかり→推論」が集められました。画像の内訳は、写真共有サイトFlickrの写真が約8.1万枚、映画のスチルが約2.2万枚です。

私が面白いと思ったのは、参加者に自分の推論の確信度を三段階で申告させている点です。「確実」が31%、「おそらく」が51%、「ありうる」が18%でした。論文は、「確実」とされた推論でさえ、ほぼすべてがアブダクション（後で説明します）だと指摘しています。濡れた舗道は雨の強い証拠ですが、散水車が通っただけかもしれません。確実に見える推論も、実は「もっともらしい説明」を選んでいるにすぎない、ということです。

結果はどうだったか。複数の推論候補を、人間と同じように「もっともらしい順」に並べられるかを試す課題では、最も成績のよいモデルと、人間同士の判断の一致度との間に、大きな隔たりが残りました。偶然の一致を差し引いて換算した指標で、モデルが27.1、人間同士が42.3です。駐車禁止の標識を「駐車してよい」という意味に読み違える、といった誤りも報告されています。

シャーロッキアンとして見逃せないのは、注5の一文です。論文はそこで、ホームズはほとんど間違えないが、主にアブダクションである自分の推論を「演繹」と呼び違えている、という趣旨のことを書いています。根拠として、科学哲学者ニーニルオトの論文（1999）と、犯罪学者カーソンの論文（2009）が挙げられています。このカーソン論文の題名も「The Abduction of Sherlock Holmes」で、今回のAI論文の主題名と同じです。

「眼で見るだけで、観察しない」：Video-Holmes（2025）

二つ目は、テンセントの研究部門ARC Labと香港城市大学の研究者による「Video-Holmes: Can MLLM Think like Holmes for Complex Video Reasoning?」です。2025年5月に論文の公開サイトarXivで公開されました。ここでは、そのとき「査読中」とされていた第1版をもとに紹介します。なお、公式のGitHubリポジトリには、現在「ECCV 2026」と表示されています。

こちらは静止画ではなく動画です。YouTubeから集めた1〜5分のサスペンス短編映画270本を使い、7種類・計1,837問の問題が作られました。人物関係の推定、超常現象の「ルール」の読み解き、出来事の時系列の再構成、作品の主題の推定などです。特徴は、答えに必要な手がかりが映像のあちこちに散らばっていて、AIが自分で探し出してつなげなければ解けないように設計されている点です。論文は、この過程をホームズの推理に重ねています。

結果は、音声を使わない主要な実験で、最も成績のよかったGemini-2.5-Proでも正答率45.0%で、ほとんどのモデルが40%を下回りました。なお、音声を加えた別の実験では、同じモデルの正答率は51.3%に上がっています。

私が最も興味を引かれたのは、誤答の原因の分析です。著者らはモデル全体の傾向を、おおむね次のようにまとめています（割合はモデルによって異なります）。

  • 映像そのものを読み違える「知覚の誤り」は、比較的少数でした（モデルごとにおおむね1〜7%）。
  • 誤答の約35%は、重要な手がかりの見落としでした。
  • 約60%は、手がかりの意味や相互の関係を正しく解釈できないことによるものでした。

別の比較実験も行われています。人間が整理した映画の筋と主要な手がかりを、推論の結論は除いて文章で与えたところ、文章での推論に優れたDeepSeek-R1とOpenAI o3が、それぞれ92.0%、89.7%の正答率を示しました。ただし、これは動画入力と同じモデルでの直接比較ではありません。また、人間が重要な情報を選び、関係を整理した入力での結果です。

少なくともこの試験では、対象モデルの弱点は、映像に何が写っているかを認識することだけではありませんでした。どの細部が重要なのかを見抜き、離れた場面の手がかりを結びつけるところに、大きな難しさが残っていたのです。これを読んで思い出したのは、「ボヘミアの醜聞」でホームズがワトスンに言う、あの言葉です。

君はただ眼で見るだけで、観察ということをしない。

「見えている」ことと、意味のある手がかりとして「観察する」ことは違う。この区別を、AIの評価結果に重ねて読みたくなります。

数字を読むうえで、注意しておきたい点もあります。この研究では、問題と正解の解説の作成に別のAI（DeepSeek-R1）が使われ、人間による抜き取り確認が行われています。さらに、モデルが出力した推論の説明を読んで誤答の原因を分類する作業にも、DeepSeek-R1が使われています。選択式の正答率と、推論過程についてのAIによる分析とは、区別して読む必要があります。また、分類の対象はモデルの「頭の中」そのものではなく、モデルが出力した説明の文章です。

もう一つ、シャーロッキアン的な注記です。素材となった270本の映画のうち、「探偵もの」に分類されるのは31本（11.5%）だけで、最も多いのはホラー（88本、32.6%）でした。「Holmes」という名前は、探偵小説というジャンルではなく、「散らばった手がかりを拾い集めて結論に至る」という推論のスタイルを象徴するものとして使われているわけです。

なぜ「演繹」ではなく「アブダクション」なのか

ここで、二つの研究をホームズの推論論につなぐために、「アブダクション」という言葉を整理しておきます。とくにSherlock論文は、この言葉を研究の中心に据えています。

アブダクションは、19世紀アメリカの哲学者チャールズ・サンダース・パースが体系化した推論の型です。パース自身が豆の袋を例に、演繹・帰納と並べて説明しています（以下はパトコルピの博士論文での紹介によります）。

  • 演繹：「この袋の豆はすべて白い」「これらの豆はこの袋から出した」→「これらの豆は白い」。前提が正しければ、結論も必ず正しい。
  • 帰納：「これらの豆はこの袋から出した」「これらの豆は白い」→「この袋の豆はすべて白いのだろう」。調べた事例から袋全体について一般化する。ただし、結論は保証されない。
  • アブダクション：「この袋の豆はすべて白い」「これらの豆は白い」→「これらの豆はこの袋から出したのだろう」。観察された事実を説明する仮説を立てる。結論は常に「ありうる」にとどまる。

ここではアブダクションを、観察された事実を説明する、もっともらしい仮説を立てる推論と考えてください。ホームズが依頼人の服装や手から職業や経歴を言い当てる場面は、論理学的に見ればこのアブダクションにあたります。それなのにホームズ自身は、自分の方法をしばしば「演繹」と呼んでいます。この点について、Sherlock論文は先に紹介したとおり「呼び違え」と見ています。

これに対して、哲学者のトマーシュ・ハンザルは、論文「Deduction, Abduction, and Creativity」（Acta Analytica、2024年）で、別の見方を示しています。ハンザルによれば、ホームズが「演繹」と言うのは混同ではありません。ホームズの理論上の前提に立てば、理想的な条件のもとではアブダクションを演繹に還元できるからです。いわゆる「消去法」がその鍵になります。『四つの署名』の有名な一節です。

すべてのありえないことをとり捨ててゆけば、あとに残ったのが必ず真相でなければならない

ハンザルは、この枠組みは経験的な推論の理論としては不十分だが、古典的な「記号AI」（規則と論理でできたAI）の基本モデルと見ることができる、と論じています。

ただし、ハンザルは、この消去法が成り立つための前提にも注意を向けます。可能な説明をすべて挙げ尽くし、その外には答えがないと考えなければ、残った説明を必然的に真実とは言えません。論文は、これを「閉世界仮定」の問題として論じています。既知の容疑者を一人だけ残して全員除外できたとしても、まだ知らない容疑者がいるかもしれない。ホームズが正解にたどり着いたことは、正しい説明を候補に含めていたことを示しても、すべての可能性を検討したことまでは示さない、というわけです。

つまりハンザルの議論は、ホームズの推論が実際に演繹だと擁護するものではありません。ホームズの理論上の前提を受け入れれば「演繹」と呼ぶ意味は理解できるが、その前提は現実の探偵的推論では正当化できない、という二段構えです。ここでコンピュータとの類似が具体的になります。可能な説明をあらかじめすべて用意し、規則と証拠に照らして候補を消していく。そのように限定されたモデルであれば、ホームズの消去法を計算の手続きとして捉えることができるのです。なお、ハンザルは、こうした閉じた世界を前提としない記号的なアブダクションのシステムも紹介しており、これは記号AI全般の性質ではありません。

「呼び違え」か「還元の試み」か。この対比は、ホームズの推理をどう読むかという、シャーロッキアンにとっても古くて新しい問いにつながっています。

シャーロッキアンの目から見て

二つの研究を読んで、私が感じたことを三つ書いておきます。

一つ目は、Sherlock論文が正典から選んだ言葉が、「細かいことの観察」だったことです。Video-Holmesの結果を読んで、私はさらに「眼で見ること」と「観察すること」の区別を思い出しました。研究者が実際に引いた言葉と、読者である私が連想した言葉。その両方が、何を手がかりとして見るのかという問いにつながっています。

二つ目は、今回の二つの研究が、ホームズを優れた推論者の象徴として参照していることです。けれども正典のホームズは、常に正しいわけではありません。「黄色い顔」では推理を大きく外し、最後にワトスンへこう頼んでいます。

ワトスン君、これからさきもし僕が、自分の力を過信したり、事件にたいしてそれ相当の骨折りを惜しんだりするようなことがあったら、ひとこと僕の耳に、『ノーバリ』とささやいてくれたまえ。そうしてくれれば僕は非常にありがたい

アブダクションの結論が「ありうる」にとどまる以上、外れることもある。そのことは、物語の中にもちゃんと書き込まれていたように思います。

三つ目は、AIの課題が「見えるかどうか」だけでなく、何を手がかりとして拾い、その意味をどう結びつけるかにあるという点です。ホームズのいう「観察」を、ただ細部を見つけるだけでなく、そこに意味を見いだす営みと読むなら、この研究との接点が見えてきます。ホームズの言葉が百年以上たっても参照され続けるのは、推理の鮮やかさだけでなく、何を見るべきかという問いを、これほど短い言葉で言い当てていたからではないでしょうか。

次回は時間をさかのぼって、1987年の哲学論文、リタ・マニング「なぜシャーロック・ホームズはエキスパートシステムに置き換えられないのか」を取り上げる予定です。AIとホームズの関係は、実は40年近く前から論じられてきました。

参考文献

コメント

タイトルとURLをコピーしました