タグ: LLM

PDFTriage

  • PDFTriage: Question Answering over Long, Structured Documents [64.6]
    構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 本実験は,既存の検索拡張LPMが失敗する問題に対して,提案したPDFTriage-augmentedモデルの有効性を実証するものである。
    論文  参考訳（メタデータ）   (Sat, 16 Sep 2023 04:29:05 GMT)
  • 構造化文書へについて分析し、PDFTriage（Generate document metadata → LLM-based triage → Answer using retrieved content）を提案、効果を確認。2 step目がfetch_pages, fetch_sections, fetch_table, fetch_figure, retrieveをAPI経由で呼び出す設計になっているのが面白い。
  • 「We identify a gap in question answering over structured documents with current LLM approaches, namely treating documents as plain text rather than structured objects;」はまさにその通りだと思う。PDF Triageのような手法ではなくRAGに近年のDocument understanding関連の成果を取り込むような方向性もあると思うが、早めに進化してほしいところ。

Document Understanding関連でもLLMの活用が進む

  • LMDX: Language Model-based Document Information Extraction and Localization [15.7]
    大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらした 本稿では,文書情報の抽出に任意の LLM を適用する手法である LMDX を紹介する。
    論文  参考訳（メタデータ）   (Tue, 19 Sep 2023 22:32:56 GMT)
  • LLMを用いた文書からの情報抽出（OCRが起点）、LayoutLMv3を超えているのが凄い。

CoVe: Chain-of-Verification

  • Chain-of-Verification Reduces Hallucination in Large Language Models [81.0]
    言語モデルが与える反応を考慮し、誤りを訂正する能力について検討する。 モデルが最初に初期応答をドラフトするChain-of-Verification (CoVe) 法を開発した。 ウィキデータからクローズドブックMultiSpanQAまで,さまざまなタスクにおける幻覚の減少を示す。
    論文  参考訳（メタデータ）   (Wed, 20 Sep 2023 17:50:55 GMT)
  • 初期回答を作成→検証計画（検証用の質問）を作成→検証（回答・合意確認）→最終回答とすることでHallucinationを防ぐ取り組み
  • 近しい報告は多いので効果的であろうとは思うが、Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation? – arXiv最新論文の紹介 (devneko.jp)の件もあり多言語で動作するかも興味がある。

OpenBA

Baichuan 2, phi-1.5

  • Baichuan 2: Open Large-scale Language Models [50.4]
    我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
    論文  参考訳（メタデータ）   (Tue, 19 Sep 2023 04:13:22 GMT)
  • GitHub – baichuan-inc/Baichuan2: A series of large language models developed by Baichuan Intelligent Technology　のテクニカルレポート
  • ソースコードはApache-2だが、モデルは独自ライセンスとなっている。
  • Textbooks Are All You Need II: phi-1.5 technical report [55.7]
    我々は、新しい13億のパラメータモデルphi-1.5を作成し、5倍のモデルに匹敵する自然言語タスクのパフォーマンスを実現した。 textbfphi-1.5はより大きな言語モデルの特徴の多くを示している。 我々はこれらの緊急トピックに関するさらなる研究を促進するために textbfphi-1.5 をオープンソース化した。
    論文  参考訳（メタデータ）   (Mon, 11 Sep 2023 14:01:45 GMT)
  • 高品質データの重要性が分かるPhi-1.5のテクニカルレポート
  • モデルはmicrosoft/phi-1_5 · Hugging Face

DePT: Decoupled Prompt Tuning

  • DePT: Decoupled Prompt Tuning [133.7]
    この作業は、即時チューニングにおいてBase-New Tradeoff (BNT)ジレンマを突破する。 チューニングされたモデルがベースタスクに一般化されるほど、それが新しいタスクに一般化される。 提案するDecoupled Prompt Tuning (DePT) フレームワークは,プロンプトチューニング中に特徴チャネルから独立した特徴空間へベース固有の知識を分離する。
    論文  参考訳（メタデータ）   (Thu, 14 Sep 2023 05:45:40 GMT)
  • GitHub – Koorye/DePT: Offical implemention of paper “Decoupled Prompt Tuning”

Large Language Models for Compiler Optimization

  • Large Language Models for Compiler Optimization [22.5]
    コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。 最適化前後の命令数と最適化コード自体を予測する。 提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
    論文  参考訳（メタデータ）   (Mon, 11 Sep 2023 22:11:46 GMT)
  • コードの最適化にLLMを使う報告。コンパイオプションを生成し他の手法に比べても有望な結果とのこと。
  • 「We present a 7B-parameter transformer model trained from scratch to optimize LLVM assembly for code size.」というのはLLMと言えるのか・・・？

LLMのAgents

  • Agents: An Open-source Framework for Autonomous Language Agents [97.0]
    我々は、言語エージェントを人工知能への有望な方向と見なしている。 Agentsはオープンソースライブラリで、これらの進歩を広く非専門的な聴衆に開放することを目的としています。
    論文  参考訳（メタデータ）   (Thu, 14 Sep 2023 17:18:25 GMT)
  • オープンソースの言語エージェントフレームワーク
  • リポジトリはGitHub – aiwaves-cn/agents: An Open-source Framework for Autonomous Language Agents、The Agent Hubなる取り組みも予定しているようで期待大

When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale

  • When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale [12.9]
    大量のテキストデータが大きな言語モデルの開発に大きく貢献している。 これまで、データセットを高品質なサブセットまで掘り下げる努力は、ルールベースのフィルタとしてエンコードされた手作りのものに依存してきた。 より広い視点で、事前学習データの品質を測定するために使用できる、スケーラブルなデータ品質の推定を探求します。
    論文  参考訳（メタデータ）   (Fri, 8 Sep 2023 19:34:05 GMT)
  • Cohere for AIによるデータ品質向上に関する報告
  • パープレキシティを用いるシンプル（？）な手法が高性能とのこと

Simultaneous Machine Translation with Large Language Models 

  • Simultaneous Machine Translation with Large Language Models [51.5]
    大規模言語モデル(LLM)は、様々な自然言語処理タスクを解く能力を示した。 我々は,LSMが追加の訓練を必要とせずにSimulMTに参加することができる簡易かつ効果的な混合政策を導入する。 Llama2-7B-chatでMUST-Cデータセットから9つの言語ペアを用いて行った実験は、LLMが専用のSimulMTモデルに匹敵する翻訳品質とレイテンシを実現できることを示した。
    論文  参考訳（メタデータ）   (Wed, 13 Sep 2023 04:06:47 GMT)
  •  simultaneous machine translationにLLMを用いる研究。Reading Policy、Writing Policyは既存研究のものがベース、Finetuningを行うことで優れた性能を出せるとのこと。

Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation?

  • Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation? [20.5]
    大規模言語モデル(LLM)は、自然言語処理(NLP)タスクにおいて素晴らしいパフォーマンスを示している。 現在の評価技術では、適切なベンチマーク、メトリクス、コスト、人間のアノテーションへのアクセスが欠如している。 本稿では,LLMに基づく評価器が多言語評価のスケールアップに有効かどうかを検討する。
    論文  参考訳（メタデータ）   (Thu, 14 Sep 2023 06:41:58 GMT)
  • LLMがNLPの評価器として多言語設定でうまくいくか評価した論文。「We see that the PA between the annotators and GPT is lowest compared to the PA between the human annotators for Japanese and Czech」（PA: Percentage Agreement ）「Our work indicates that LLMbased evaluators need to be used cautiously in the multilingual setting, particularly on languages on which LLMs are known to perform poorly.」とのこと。
  • GPT-4とかだと英語で有効だった手法が日本語でも動く（ように見える）わけだが、正しく動作しているかどうか検証する必要がある、という当然と言えば当然の結果。