More Thinking, More Bias: Length-Driven Position Bias in Reasoning Models

English summary

Identifies a length-driven position bias in reasoning models (e.g., o1 / Claude reasoning): the longer the chain of thought, the more systematically the model favors first/last options. A cautionary finding for the naive expectation that 'more thinking → better answers' — with material implications for how we evaluate reasoning models.

推論モデル（reasoning models, e.g., o1 / Claude reasoning）における『長さ駆動型位置バイアス (length-driven position bias)』を発見した論文。推論ステップが長くなるほど、最初・最後の選択肢を選びやすくなる系統的バイアスが強まることを示す。『より考えさせれば良い答えが得られる』という素朴な期待への警鐘で、reasoning 系モデルの evaluation 設計に影響する重要な findings。

ポイント

推論モデルに『長さ駆動型位置バイアス』を発見
推論ステップが長いほど最初・最後の選択肢を選びやすくなる
『考えさせれば良い答え』への警鐘
reasoning 系モデルの evaluation 設計に影響

ソース

arXiv cs.AI