Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate

  • Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.1]
    エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
    論文  参考訳（メタデータ）   (Tue, 30 Jan 2024 07:03:32 GMT)
  • 評価のためにLLMエージェントを多数使い、かつ、人間の評価を取り入れるフレームワークの提案。GPT-4が一強という時代は終わりつつあり、このようなフレームワークでないと正しい性能評価が難しくなってきているのだろうと思う。
  • リポジトリはGAIR-NLP/scaleeval: Scalable Meta-Evaluation of LLMs as Evaluators (github.com)

Weak-to-Strong Jailbreaking on Large Language Models 

  • Weak-to-Strong Jailbreaking on Large Language Models [96.5]
    Red-teamingのレポートによると、大きな言語モデル(LLM)は、敵のプロンプト、チューニング、デコードによってジェイルブレイクされる可能性がある。 本稿では,より小型で安全でないLDMを用いてジェイルブレイクを誘導する,弱強のジェイルブレイク攻撃を提案する。
    論文  参考訳（メタデータ）   (Tue, 30 Jan 2024 18:48:37 GMT)
  • 弱く（小さい）モデルの挙動を分析することで強く（大きい）モデルをjailbreakできるとの報告。下記のように通常のfine tuningでも有効性が指摘されているので、jailbreakに応用できるというのも納得感がある。
  • リポジトリはXuandongZhao/weak-to-strong: Weak-to-Strong Jailbreaking on Large Language Models (github.com)
  • Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision [55.2]
    超人的モデルは、人間が確実に評価することが難しい複雑な方法で振る舞う。 弱いモデルの監督は、より強力なモデルの完全な能力を引き出すことができるか? 弱いモデルが生成したラベルに強い事前訓練されたモデルを微調整すると、弱いスーパーバイザーよりも一貫して性能が向上することがわかった。
    論文  参考訳（メタデータ）   (Thu, 14 Dec 2023 23:07:33 GMT)

Adapting Large Language Models for Document-Level Machine Translation

  • Adapting Large Language Models for Document-Level Machine Translation [49.7]
    大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。 近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
    論文  参考訳（メタデータ）   (Fri, 12 Jan 2024 09:29:13 GMT)
  • LLMの機械翻訳への応用。fine tuningの効果など実験結果が多く参考になる。
  • 「We find that the PEFT approach yields superior overall performance compared to the FFT approach」（ただしFFTのほうがデータ効率は高いとのこと）がとても興味深い

DoraemonGPT

  • DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models [78.4]
    DoraemonGPTは、大規模言語モデル(LLM)によって駆動される、動的ビデオタスクを処理する包括的なシステムである。 DoraemonGPTは、質問/タスクのあるビデオが与えられたら、入力されたビデオを大量のコンテンツで変換し、シンボリックメモリに変換して、textittask関連の属性を格納する。 特殊なドメインに関しては,LLMには内部知識が限られていることを認識し,外部知識を評価し,異なるドメインにわたるタスクに対処するためのプラグイン・アンド・プレイ・ツールが組み込まれている。
    論文  参考訳（メタデータ）   (Tue, 16 Jan 2024 14:33:09 GMT)
  • どうやって略称にしたのかもよくわからない名前のモデル。タイトルの鈴や図がかわいい。（研究はまじめで実用性も高い）
  • z-x-yang/DoraemonGPT: Official repository of DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language Models (github.com)

Machine Translation Models are Zero-Shot Detectors of Translation Direction

  • Machine Translation Models are Zero-Shot Detectors of Translation Direction [52.2]
    平行テキストの翻訳方向を検出することは、機械翻訳訓練や評価に応用できるが、盗作や偽造の主張を解消するといった法医学的応用もある。 本研究では,翻訳文や機械翻訳文でよく知られた単純化効果によって動機付けられた,p(texttranslation|text Origin)>p(textgenic|texttranslation)という単純な仮説に基づいて,翻訳方向検出のための教師なしアプローチを検討する。
    論文  参考訳（メタデータ）   (Fri, 12 Jan 2024 18:59:02 GMT)
  • ある言語の文とそこからある言語に翻訳されれた文があったとき、翻訳の方向を検出する手法の提案。とてもシンプルな仮定だがうまくいくよう。（言語的に遠い場合でも大丈夫なのかは興味がある）
  • リポジトリはZurichNLP/translation-direction-detection: Unsupervised translation direction detection using NMT systems (github.com)

Leveraging Large Language Models for NLG Evaluation: A Survey

  • Leveraging Large Language Models for NLG Evaluation: A Survey [56.2]
    LLM(Large Language Models)の導入は、生成されたコンテンツ品質を評価するための新たな道を開いた。 既存のLCMに基づく評価指標を整理するためのコヒーレントな分類法を提案する。 この調査は、研究者に洞察を提供し、より公平で高度なNLG評価手法を提唱することを目的としている。
    論文  参考訳（メタデータ）   (Sat, 13 Jan 2024 15:59:09 GMT)
  • LLMを用いた評価手法のサーベイ
  • 「Taxonomy of research in NLG evaluation with large language models」の図がとても参考になる。

Vlogger

  • Vlogger: Make Your Dream A Vlog [67.5]
    Vloggerは、ユーザ記述のミニレベルビデオブログ(vlog)を生成する汎用AIシステムである。 Script, (2) Actor, (3) ShowMaker, (4) Voicer など,vlog のプロフェッショナルにとって重要な役割を果たすために,様々な基礎モデルを実行します。 Vloggerは、スクリプトとアクターのビデオコヒーレンスを失うことなく、オープンワールドの説明から5分以上のvlogを生成することができる。
    論文  参考訳（メタデータ）   (Wed, 17 Jan 2024 18:55:12 GMT)
  • ビデオ生成、デモもすごい
  • リポジトリはzhuangshaobin/Vlogger: Make Your Dream A Vlog (github.com)

DeepEdit: Depth-first Search based Progressive Decoding for Knowledge Editing

  • DeepEdit: Knowledge Editing as Decoding with Constraints [129.8]
    我々は,制約付き復号化として,大規模言語モデル(LLM)の知識編集の新しい視点を開発する。 DeepEditは、知識編集を改善するニューラルシンボリックな方法であり、推論の一貫性、質問への関連性、更新された知識の認識を改善する。
    論文  参考訳（メタデータ）   (Fri, 19 Jan 2024 03:48:27 GMT)
  • デコード時に対応するタイプのKnowledge editing、出力を直接コントロールできるためプロンプトによる対応よりも強制力が強い。そしてブラックボックスモデルに対しても適用可能とのこと。リアルタイム性には課題を抱えそうだが、面白い方法だと思う。
  • リポジトリはwangywUST/DeepEdit: Repository for our paper “DeepEdit: Knowledge Editing as Decoding with Constraints”. https://arxiv.org/abs/2401.10471 (github.com)

MaLA-500

CivRealm

  • CivRealm: A Learning and Reasoning Odyssey in Civilization for Decision-Making Agents [63.8]
    文明ゲームに触発された環境であるCivRealmを紹介する。 CivRealmは、意思決定エージェントにとってユニークな学習と推論の課題である。
    論文  参考訳（メタデータ）   (Fri, 19 Jan 2024 09:14:11 GMT)
  • AIがプレイするFreeciv ベースの環境の提案、当然だが現状で解くのは簡単ではない。AutoGPTを階層的に束ねた手法でも海賊への対策に失敗するとのこと。「The performance contrast between Mastaba and BaseLang highlights the necessity of a hierarchical decision architecture for tackling the complex scenarios presented by CivRealm.」というのはとても興味深い（人間の社会を見ているよう・・・）
  • リポジトリはbigai-ai/civrealm: CivRealm is an interactive environment for the open-source strategy game Freeciv-web based on Freeciv, a Civilization-inspired game. (github.com)