最近、AIがユーザに寄り添いすぎた回答をすることが話題になっていたので、これを機に書き残しておく。

AIが「心地よい回答」を生成する、2つの構造的要因

基本的にAIはユーザにとって耳の痛いことを言わない。 この背景には、主に2つの構造的な要因が存在する。

一つは「ユーザ評価に最適化される強化学習」にある。 AIの学習では、人間のフィードバックに基づく強化学習も用いられている。 したがってユーザがAIの回答に低評価（👎）を付ければ、AIはそのような回答を避けるように学習する。 たとえその回答が長期的にはユーザの成長や利益につながるものであったとしても、ユーザにとって耳が痛い回答は低評価につながりやすい。 結果としてAIは、ユーザを肯定し心地よくさせる回答を生成するように最適化されていく。

もう一つの要因は「解約率を抑えたいビジネスモデル」にある。 多くのAIサービスはサブスクリプションモデルを採用している。 そしてビジネスである以上、顧客の解約を避けることは至上命題となる。 しかし耳の痛いことを言うAIは、ユーザの不満や離反を招き、解約率の上昇に直結しかねない。 そのため、サービス提供側がわざわざそのようなAIを開発・提供するインセンティブは低い。 ユーザからの評判が悪くなるリスクを冒してまで、「長期的にはユーザのためになる」という信念で、低評価を覆すような調整を行うことは考えにくいだろう。

「耳の痛いこと」を言ってくれるAIは登場するのか？

ではユーザにとって真に価値のある「耳の痛いこと」を言ってくれるAIは、今後登場するのだろうか。 コーチングや壁打ち相手など、特定の目的や用途に特化したAIモデルが登場する可能性は否定できない。 しかし、汎用的なAIにそれを期待するのは現状では難しいだろう。 その理由としては以下の内容が考えられる。

• そのようなAIを学習させるためのデータの選別が非常に困難である
• 批判的なフィードバックを求めるユーザ層は限られており、市場がニッチである
• 批判的な思考は、純粋にタスクを遂行する上ではむしろ邪魔になりかねない

したがって「耳の痛いこと」を言ってくれるAIの登場はあまり期待できず、私たち自身がプロンプトを工夫するなどして、AIをうまく活用することが現実的だろう。

AI時代に「裸の王様」にならないために

AIとの協働が深まるにつれて、誰もが「裸の王様」になってしまうリスクを抱えている。 最近は「マネージャーがハラスメントを恐れて部下に厳しいことを言えない」という声も珍しくないが、AIもまた私たちに厳しい意見を提示してはくれない。 これまでは、周囲が忖度してしまいがちな権力者や年長者が「裸の王様」になりやすい環境にあった。 しかしAI時代においては年齢や役職に関わらず、誰もが「裸の王様」になる危険性があるといえるだろう。

裸の王様にならないためには、以下のようなことが重要になると考えている。

• タスク遂行モードとレビューモードを意識的に切り替えること
• 常に物事を両面から見る思考習慣を身につけること
• 批判的思考をプロンプトに組み込んでおくこと

批判的な意見を積極的に求める意識や姿勢を忘れず、習慣にしていきたい。