タグ: LLM

Time-LLM

  • Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.2]
    時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
    論文  参考訳（メタデータ）   (Mon, 29 Jan 2024 06:27:53 GMT)
  • 時系列予測にLLMを活用していこうという報告。「TIME-LLM shows promise in adapting frozen large language models for time series forecasting by reprogramming time series data into text prototypes more natural for LLMs and providing natural language guidance via Prompt-as-Prefix to augment reasoning.」とのことだが、なんでこんなことができるんだろう。。。
  • リポジトリはKimMeen/Time-LLM: [ICLR 2024] Official implementation of “Time-LLM: Time Series Forecasting by Reprogramming Large Language Models” (github.com)

Self-Discover

  • Self-Discover: Large Language Models Self-Compose Reasoning Structures [136.5]
    タスク固有の推論構造を自己発見するフレームワークであるSELF-DISCOVERを紹介する。 SELF-DISCOVERは、挑戦的推論ベンチマークにおいて、GPT-4とPaLM 2の性能を大幅に改善する。 自己発見推論構造は、モデルファミリー全体にわたって普遍的に適用可能であることを示す。
    論文  参考訳（メタデータ）   (Tue, 6 Feb 2024 01:13:53 GMT)
  • 各タスクでとるべき推論構造を自己判断させて問題を解く手法の提案、CoTなどと比べて高性能
  • 他の手法と比べて整合的な比較になっているのかはやや疑問。（実用上は問題ない気もするが。）

AgentBoard

Navigating the OverKill in Large Language Models

  • Navigating the OverKill in Large Language Models [84.6]
    モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,”キル”のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
    論文  参考訳（メタデータ）   (Wed, 31 Jan 2024 07:26:47 GMT)
  • LLMは「kill」のような単語に過剰反応し性能を落とすことがあり、その対策方法の提案。安全性を高める取り組みが過剰反応を引き起こすことはありそうで面白い。
  • リポジトリはInvokerStark/OverKill (github.com)

DolmaとOLMo

オープンなコーパスとそれを用いたLLMの提案。コーパスは3T tokensと極めて大きい（CommonCrawlがデータの多くを占めている）。それ用いてApache-2のLLMがリリースされている。

OLMo-7Bのベンチマーク結果はLlama-2 7Bを超えており非常に高い。OSSライセンスで公開されているのは凄く、トレーニングデータが公開されているのが特徴的。

データ・モデル・コードのリポジトリはallenai/dolma · Datasets at Hugging Face、allenai/OLMo-7B · Hugging Face、allenai/OLMo: Modeling, training, eval, and inference code for OLMo (github.com)

  • Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research [140.6]
    われわれは、Webコンテンツ、科学論文、コード、パブリックドメインの書籍、ソーシャルメディア、百科事典の素材を多種に混ぜて構築した3兆の英語コーパスであるDolmaをリリースする。 本報告では、Dolmaの設計原則、構築の詳細、内容の要約を含む、Dolmaについて述べる。 Dolmaは、言語モデリングの科学を構築し研究するために設計された、最先端のオープン言語モデルとフレームワークであるOLMoのトレーニングに使用されている。
    論文  参考訳（メタデータ）   (Wed, 31 Jan 2024 20:29:50 GMT)
  • OLMo: Accelerating the Science of Language Models [166.1]
    言語モデル(LM)は、NLP研究と商用製品製品の両方で広く普及している。 我々は、研究コミュニティが強力で真にオープンなLMにアクセスできることが不可欠であると信じている。 このテクニカルレポートは、最先端の真にオープンな言語モデルであるOLMoの最初のリリースを詳述している。
    論文  参考訳（メタデータ）   (Thu, 1 Feb 2024 18:28:55 GMT)

H2O-Danube-1.8B Technical Report

Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate

  • Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.1]
    エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
    論文  参考訳（メタデータ）   (Tue, 30 Jan 2024 07:03:32 GMT)
  • 評価のためにLLMエージェントを多数使い、かつ、人間の評価を取り入れるフレームワークの提案。GPT-4が一強という時代は終わりつつあり、このようなフレームワークでないと正しい性能評価が難しくなってきているのだろうと思う。
  • リポジトリはGAIR-NLP/scaleeval: Scalable Meta-Evaluation of LLMs as Evaluators (github.com)

Adapting Large Language Models for Document-Level Machine Translation

  • Adapting Large Language Models for Document-Level Machine Translation [49.7]
    大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。 近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
    論文  参考訳（メタデータ）   (Fri, 12 Jan 2024 09:29:13 GMT)
  • LLMの機械翻訳への応用。fine tuningの効果など実験結果が多く参考になる。
  • 「We find that the PEFT approach yields superior overall performance compared to the FFT approach」（ただしFFTのほうがデータ効率は高いとのこと）がとても興味深い

Leveraging Large Language Models for NLG Evaluation: A Survey

  • Leveraging Large Language Models for NLG Evaluation: A Survey [56.2]
    LLM(Large Language Models)の導入は、生成されたコンテンツ品質を評価するための新たな道を開いた。 既存のLCMに基づく評価指標を整理するためのコヒーレントな分類法を提案する。 この調査は、研究者に洞察を提供し、より公平で高度なNLG評価手法を提唱することを目的としている。
    論文  参考訳（メタデータ）   (Sat, 13 Jan 2024 15:59:09 GMT)
  • LLMを用いた評価手法のサーベイ
  • 「Taxonomy of research in NLG evaluation with large language models」の図がとても参考になる。

DeepEdit: Depth-first Search based Progressive Decoding for Knowledge Editing

  • DeepEdit: Knowledge Editing as Decoding with Constraints [129.8]
    我々は,制約付き復号化として,大規模言語モデル(LLM)の知識編集の新しい視点を開発する。 DeepEditは、知識編集を改善するニューラルシンボリックな方法であり、推論の一貫性、質問への関連性、更新された知識の認識を改善する。
    論文  参考訳（メタデータ）   (Fri, 19 Jan 2024 03:48:27 GMT)
  • デコード時に対応するタイプのKnowledge editing、出力を直接コントロールできるためプロンプトによる対応よりも強制力が強い。そしてブラックボックスモデルに対しても適用可能とのこと。リアルタイム性には課題を抱えそうだが、面白い方法だと思う。
  • リポジトリはwangywUST/DeepEdit: Repository for our paper “DeepEdit: Knowledge Editing as Decoding with Constraints”. https://arxiv.org/abs/2401.10471 (github.com)