Cello: 視覚接地した文書特化型視覚言語基盤モデルの構築
概要
文書画像からの情報抽出において，視覚言語モデル（VLM）はend-to-endでデータ化を実現する有望な手法である。
しかし，抽出結果の判断根拠となる領域情報を伴わない場合，ハルシネーション検知やOCR連携が困難である。
本研究では，Sansan株式会社が構築している文書特化型VLM「Viola」に視覚接地機能を付加した「Cello」を提案する。
Celloはテキスト情報とバウンディングボックスを同時に出力することで，判断根拠の提示とOCR連携による細字認識の補正が可能になる。Violaと同等のモデルサイズを維持しつつ，位置トークンの追加と追加事前学習のみで視覚接地能力を獲得する。
公開ベンチマークでの評価において，Celloは同規模の公開モデルに匹敵し，特に位置精度（mIoU）で一貫した優位性を確認した。