株式会社Elith、長い文章を理解する大規模言語モデル（LLM）に関する技術調査内容を週刊エーアイElithで発表

AIの研究と開発を手掛ける株式会社Elith（東京都渋谷区）は、長い文章を理解するLLMフレームワークに関する技術調査を実施した。週刊エーアイElithを通じて、中間ステップ（アクションマイニング、プラン生成、プラン実行）の導入が重要であるという結果を得た。

AIに関する研究、開発、設計、企画、教育、販売、保守、コンサルティング業務を展開する株式会社Elith (本社：東京都渋谷区恵比寿西2-3-13-601) は、2023年5月29日、週刊エーアイElithで長い文章を理解するLLMの技術調査内容を発表いたします。

【週刊エーアイElithとは？】

週刊エーアイElithでは、株式会社Elith(エリス)によって運用される日々の機械学習のニュース・OSS・研究・技術・学会・国内外AI企業の情報を毎週月曜日に配信するニュースレターです。

国内外の最新のAI情報をキャッチアップをする場合、

AI系で第一線で活躍するエンジニア・研究者のSNSアカウントの情報をキャッチする
OSSを運営している団体のブログを読む
国外のテック系のニュース記事を読む
国際学会に参加する
少数の日本語で書かれた有益なニュースレターを読む

などのアクションが考えられますが非常に労力を要します。このニュースレターでは、日頃から機械学習系の研究者でない方にもトレンドをキャッチしていただけるように情報をまとめて配信します。

【調査内容】

「PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents」という論文は、大型言語モデル（LLM）が長い文章を処理するのに苦労するという問題に取り組んでいます。従来の手法として、chain-of-thought promptingなどが長い文章の理解において精度向上に貢献してきましたが、モデルの入力トークン数の制限などの制約がありました。

この研究では、長い文章を理解するための複雑な推論タスクにおいて、入力を改善するために中間ステップに分解する「PEARL」というフレームワークが提案されています。中間ステップは、アクションマイニング（要約や検索など）、プラン生成（アクションの実行プランの生成）、プラン実行（生成されたプランの実行）の3つの要素から構成されています。

研究では、QuALITYというデータセットを用いてPEARLの評価が行われました。その結果、PEARLはゼロショットやchain-of-thought promptingを上回る性能を示しました。さらに、アブレーション実験により、PEARLの各ステージが性能において重要であることが明らかになりました。

【こんな方におすすめです】

以下は対象者とどんな情報を取捨選択すると良いかを記載しています。