因果追跡に基づくVLMのモジュール重要度推定とLoRA適用先選択の検証
概要
視覚言語モデル（Vision Language Model; VLM）は視覚質問応答や文字認識など多様なタスクで高性能を示す一方，内部機構として，視覚情報と言語知識がどの層・どの計算モジュールを介して出力に寄与するかは十分に理解されていない．
大規模言語モデル（Large Language Model; LLM）では，因果追跡により予測に因果的に効く層・モジュールを定量化できることが示されており，この知見は VLM の解析や効率的な微調整設計にも有用である可能性がある．
本研究ではタスクを知識依存／知覚依存に分類し，因果追跡の分析により Transformer 系 VLM の層・モジュール（Attention/MLP）単位の重要度を推
定して両者の寄与構造を比較する．
さらに，重要度上位モジュールのみに LoRA を付与して微調整し，因果的重要度に基づくモジュール選択が効率的な学習設計の指針となり得るかを検証する．