AIに評価される文章へ、僕らは寄っていくのか

近い将来、評価されやすいのは「AIっぽい回答」を出せる人になる可能性が高い。
ChatGPTとGeminiに同一プロンプトで回答を出させ、匿名で両モデルの回答をスコアリング比較させると、8割以上のケースで各モデルが「自分 (匿名の自分)のモデルの回答の方が質が高い」と言ってくる。

これは、AIは、自分が出力しやすい文章 (=自分の分布に近い文章)を、高品質だと判定しやすいという現象。
匿名にしてもバイアスが消えにくいのは、評価そのものがモデル固有の価値関数と確率分布に強く依存しているから。
つまりAIは「自分が出力しやすい文章」を高く評価する方向に倒れやすい。

今後、評価する側の人間がどんどんAIを使って相手の評価やスコアリングを行っていくので、評価されやすい文章様式が「AIっぽさ」に収束していくのではないか。