AIに質問すると、もっともらしい答えが返ってきます。そこで「どうしてそう答えたの?」と尋ねると、今度は理由まで丁寧に説明してくれる。
「なるほど。だからそう答えたんだね」と納得したくなるのですが、ここで一つ疑問が生まれます。その説明は、本当に答えができるまでに起きたことを説明しているのでしょうか?
これはAIだけの話ではありません。私たちも「なぜそれを選んだの?」と尋ねられると、理由を話せます。でも、その理由を話せることと、実際に何が判断に影響したかを知っていることは、同じなのでしょうか。
AIが答えの理由を説明できることと、その理由で答えたことは違う
たとえばAIに「AとBのどちらがおすすめ?」と質問します。返ってきたのは「Aです。比較すると、Aは使い勝手がよいからです」という答え。理由も自然です。
ところが、選択肢の並びや、質問の前にさりげなく入れた言葉が回答を左右していたとしたらどうでしょう。AIがその影響に触れず、使い勝手の説明だけを述べることも考えられます。
言葉として筋が通っているかどうかと、回答を生んだ過程を忠実に表しているかどうかは、別々に確かめたいところです。
2023年に発表されたTurpinらの研究では、選択肢の並びなどの偏りを生む情報が大規模言語モデルの回答に影響する一方、モデルが生成した段階的な説明には、その影響が十分に現れない場合があると報告されています。研究の公開情報。
ただし、これは特定のモデルと課題を調べた結果です。「すべてのAIは必ず理由を作り話する」とまでは言えません。
「説明できる」と「内部の過程が全部わかる」は別
そもそも、AIが答えを作るときの計算を調べることと、会話の中でAIに理由を尋ねることも、別の作業です。内部の計算を解明しようとする研究は実際にありますが、日常のチャットで返される説明が、その計算過程をすべて記述した報告書になるわけではありません。
ここには、少なくとも三つのものがあります。
- 出力:AIが実際にどの答えを返したか。
- 説明:「なぜそう答えたか」として提示された文章。
- 生成過程:回答に至るまでの内部の計算や、入力のどの要素が影響したか。
この三つが一致することもあれば、一致しないこともあります。説明文の上手さだけを見て、生成過程までわかったことにしてしまわない。これだけで、AIを見る角度が少し変わりませんか。
では、人間は自分の判断理由をどこまで知っているのか
ここで人間の方に話を移してみます。
ランチに入ったお店で、なんとなくカレーを選んだとします。誰かに「どうしてカレーにしたの?」と聞かれたら、「今日は辛いものが食べたかったから」と答えるかもしれません。
でも、その直前に隣の席からカレーの香りがしていたら? あるいは、店先の写真でカレーだけが大きく紹介されていたら?
もちろん、香りや写真が本当に選択を左右したかどうかは、調べなければわかりません。ただ、自分が説明した理由以外の条件が、選択に影響している可能性は考えられます。
心理学者のNisbettとWilsonは1977年の論文で、人が自分の高次の認知過程を直接把握できない場合があることを、先行研究の検討から論じました。人は理由を尋ねられたとき、実際の過程そのものではなく、もっともらしい因果関係をもとに答えることがある、という問題提起です。論文のDOI。
ただし、その論文も「人間は自分の理由を何一つ正確に説明できない」と述べているわけではありません。目立つ要因や理解しやすい原因について、正確に報告できる場面もあるとしています。
自分の理由を話せるのに、それが全部ではないという面白さ
ここから、日常でよくある場面を考えてみましょう。
「あの人が苦手」と感じる理由
「あの人は話し方がきついから苦手」と説明したとします。たしかに、その人の話し方が気になることはあるでしょう。
でも、初対面で似た話し方をした別の人には、そこまで苦手意識が出なかったとしたら? 以前の経験、相手との関係、こちらの予定や疲れ具合など、判断の条件が違うのかもしれません。
逆に、実際に怒鳴られたり、境界線を侵害されたりしている場合は、その実害を「認識の問題」だけにしてはいけません。理由を考えることと、何が起きたかを確認することは分けられます。
「私はこういう性格だから」と答えるとき
「私は人見知りだから、初対面では話せない」。そう説明している人が、好きな話題になると初対面でも楽しそうに話すことがあります。
では、人見知りという説明は間違いだったのでしょうか。必ずしもそうではありません。ある場面では役に立つ説明でも、すべての場面を説明するには足りないことがあります。
このあたりは、「私はこういう人間だから」は本当に性格?という既存記事でも違う角度から見ています。
AIと人間は、同じ仕組みなのか?
ここは、混同しないでおきたいところです。
AIの出力には計算モデル・学習・入力文脈が関わり、人間の判断には知覚、身体、記憶、感情、社会的な経験などが関わります。AIと人間を同じ構造だと証明した研究を、ここで紹介しているわけではありません。
共通して考えられるのは、「説明として出てきた言葉」と「その結果が生まれた過程」を分けて確かめる必要があるという問いです。
AIが「私はこう考えました」と答えると、人間が内省しているように聞こえることがあります。でも、その言い回しだけでAIに人間と同じ主観的な経験があるとは言えません。AIに性格があるように感じるのはなぜ?という記事と合わせて読むと、別の面白さが見つかるかもしれません。
こうした「出来事」「意味づけ」「反応」の違いは、登録不要の無料講座0時間目でも順番に紹介しています。ここではまず、説明と実際に起きたことを分けてみましょう。
「わかった」と感じた瞬間に、もう一つの問いが生まれる
人は、原因が説明されると納得します。「なるほど、そういうことだったのか」と思えること自体は、別に悪いことではありません。
でも、納得感と原因が検証されたことも同じではありません。説明がもっともらしいときほど、別の条件でも同じことが起きるか、違う説明でも成り立つかを考えてみる余地があります。
たとえば、「今の返事が短かったのは、嫌われたからだ」と考えたとき。相手が急いでいたら? もともと文章が短い人だったら? という条件を並べるだけでも、最初の理由が唯一の理由ではなくなります。
だからといって、「自分の考えを全部疑いなさい」という話でもありません。人間はいつも、限られた情報の中で理解しながら暮らしています。それがどんな条件で起きているかを見ると、少し面白いのです。
そとがわメソッドでいう出来事と意味づけの区別も、このような観察につながります。意味づけと苦しさの関係も参考になります。
「なぜ?」という質問は、答えだけではなく観察の入口
AIが理由を答える。人間も自分の理由を答える。では、その言葉は何を説明していて、何をまだ説明していないのでしょう。
自分の判断を否定するためではなく、納得できる説明がどこから生まれるのかを眺める。私は、こういうところが人間の仕組みの面白いところだと思います。
もしAIに「どうしてそう答えたの?」と聞いて、きれいな説明が返ってきたら。次は「では、条件を一つ変えたらどうなる?」と聞いてみても面白いかもしれません。もちろん、その答えもまた観察対象です(笑)。
参考研究
- Nisbett, R. E., & Wilson, T. D. (1977). Telling more than we can know: Verbal reports on mental processes. Psychological Review, 84(3), 231–259. DOI。
- Turpin, M., Michael, J., Perez, E., & Bowman, S. R. (2023). Language Models Don’t Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting. NeurIPS 2023. 論文概要。
- Lanham, T. ほか (2023). Measuring Faithfulness in Chain-of-Thought Reasoning. プレプリント。
よくある質問
関連記事
「説明できる」と「わかっている」のあいだを、もう少し見てみる
同じ出来事でも、どこに注意が向き、どんな意味づけが生まれるかによって、経験する現実は違ってきます。そとがわメソッドの無料講座0時間目から、人間の認識と反応の仕組みを順番に眺められます。登録不要です。

コメント