いつ考え，いつ即答するか。文書理解視覚言語モデルにおける推論ルーティングの評価
概要
Chain-of-thought（CoT）は言語モデルにおける推論能力向上に有効とされる一方で，視覚言語モデルにおける適用効果は十分に整理されていない．
本研究では，文書理解タスクを知覚中心タスクと推論中心タスクに分類し，推論の効果を統制した比較実験により CoT の有効性を検証する．視覚言語モデルを対象として，指示追従型モデルにおける CoT の有無，および推論型モデルにおける推論過程の長さ制約を比較する．
その結果，指示追従型モデルでは，CoT が推論中心タスクの性能を大幅に改善する一方で，知覚中心タスクでは改善が小さいことを確認した．
また，推論型モデルでは，推論過程を長くしても性能改善が限定的であることが一貫して観測された．さらに，必要な場合にのみ CoT を起動する軽量ルーティングの有効性を評価する．