LLMの出力を用いた擬似ラベル学習による契約書OCRテキストの圧縮
概要
大規模言語モデル（LLM）は情報抽出に有効だが、契約書の OCR テキストは長文化しやすく、LLM の最大入力長を超えるという課題がある。
既存のテキスト圧縮手法は、圧縮データの作成コストが高く、OCR テキスト特有のノイズや文の順序の乱れにより重要部分を適切に圧縮することが難しい。
本研究では、ノイズを多く含む OCR テキストを対象に、ファインチューニング済み LLM の出力に基づく擬似ラベルで学習した小型言語モデルを活用し、必要な部分のみを抽出する圧縮手法を提案する。
契約書データセットでの評価により、提案手法は LLM や人手による圧縮データを用いずに、既存手法を上回る情報抽出精度を達成した。