Byte-level視覚言語モデルによる名刺の構造化情報抽出
概要
名刺などの文書画像から構造化データをend-to-endで抽出する手法として，視覚言語モデル（VLM）が注目されている。
VLMは出力を語彙に基づく離散トークン列として生成するため，対象ドメインのデータから語彙を学習することで，系列長の短縮や認識精度の向上が期待できる。
しかし，文書画像には個人名や組織名，メールアドレスなどドメイン固有の語彙が含まれるため，語彙をドメインに合わせて構築することは，語彙にプライバシー情報が保持される可能性がある。
本研究では，対象ドメインから頻出語彙などを追加せず，プライバシー情報を持たないUTF-8 byte列表現を用いるByte-level VLMを提案する。
Byte-level VLMは，学習済み言語モデルをbyte-level化するBolmoをVLMへ拡張し，文書画像から構造化情報を直接生成する。
名刺画像を用いた計算実験の結果，Byte-level VLMは日本語トークナイザを用いたベースラインと比較して，text decoderが処理する系列長を削減しつつ，同等以上の認識精度を達成した。