タグ: LLM

LLM-Rec

  • LLM-Rec: Personalized Recommendation via Prompting Large Language Models [64.6]
    LLM-Recと呼ばれる提案手法は,4つの異なるプロンプト戦略を包含する。 実験により, 追加入力テキストを組み込むことで, 推薦性能が向上することが示された。
    論文  参考訳（メタデータ）   (Wed, 16 Aug 2023 17:59:07 GMT)
  • LLMを用いたレコメンデーションシステムの提案。直接的にLLMを利用するのではなく入力テキストを拡張するためにLLMを用いるアプローチ
  • 複数のプロンプト戦略を試しておりその結果も面白い。

Platypus

  • Platypus: Quick, Cheap, and Powerful Refinement of LLMs [10.2]
    プラティパス(英: Platypus)は、大規模言語モデル(Large Language Models)のファミリーである。 13B Platypusモデルは、$textita single$ A100 GPUで5時間で25kの質問を使ってトレーニングできる。
    論文  参考訳（メタデータ）   (Mon, 14 Aug 2023 17:59:56 GMT)
  • HuggingFaceのOpen LLM Leaderboardで現状トップのLLMに関する論文。fine-tuned variant of LLaMa-2であるが、13B modelがA100(80GB)×1で5時間、70B model もA100(80GB)×4で22 時間でfine tuningできたというのは興味深い。非常に効率的。
  • プロジェクトサイトはPlatypus (platypus-llm.github.io)

先週はアリババのQwen-7B/README_JA.md at main · QwenLM/Qwen-7B · GitHub（ライセンスはLlama2似ていて一定ユーザ数を超える商用利用は別途の扱うとなる）や松尾研の東京大学松尾研究室 100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”をオープンソースで公開 ―オープンソースの日本語大規模言語モデルで最高水準―｜プレスリリース | UTokyo-Eng (u-tokyo.ac.jp)（ライセンスはCC BY-NC）など日本語が使用可能なLLMの公開がされた。ライセンスは様々であるが少なくとも研究用途であればかなり自由に使えるため非常にありがたい。

Trustworthy LLMs

  • Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models’ Alignment [15.7]
    本稿では,大規模言語モデル(LLM)の評価において考慮すべき重要な要素について,包括的に調査する。 この調査は、信頼性、安全性、公正性、誤用に対する抵抗性、説明可能性と推論、社会的規範への固執、堅牢性の7つの主要なカテゴリーをカバーしている。 結果は、一般に、より整合したモデルは、全体的な信頼性の観点から、より良いパフォーマンスを示す傾向があることを示している。
    論文  参考訳（メタデータ）   (Thu, 10 Aug 2023 06:43:44 GMT)
  • LLMの社会実装に関する包括的なサーベイ。reliability, safety, fairness, resistance to misuse, explainability and reasoning, adherence to social norms, robustnessが対象で大規模。

Follow Anything

  • Follow Anything: Open-set detection, tracking, and following in real-time [69.4]
    我々は,物体をリアルタイムで検出,追跡,追跡するロボットシステムを提案する。 私たちのアプローチは、何でも従う”(FAn)と呼ばれ、オープンな語彙とマルチモーダルモデルです。 FAnは軽量(6～8GB)グラフィックカードでラップトップにデプロイでき、毎秒6～20フレームのスループットを実現する。
    論文  参考訳（メタデータ）   (Thu, 10 Aug 2023 17:57:06 GMT)
  • 物体検出と追跡のフレームワーク。LLMが組み合わせっているのも面白い。
  • リポジトリはGitHub – alaamaalouf/FollowAnything

Empowering Vision-Language Models to Follow Interleaved Vision-Language Instructions

  • Empowering Vision-Language Models to Follow Interleaved Vision-Language Instructions [122.4]
    最近、MLLM(Multimodal Large Language Models)が大きな関心を集め、様々な視覚言語タスクの汎用モデルとして機能する創発的な能力を示している。 既存の手法は主に、1つのイメージを視覚的コンテキストとする限られたタイプの命令に焦点を当てており、MLLMの普及を妨げている。 本稿では,トランスフォーマーをベースとしたMLLMであるCheetorについて述べる。
    論文  参考訳（メタデータ）   (Thu, 10 Aug 2023 07:02:13 GMT)
  • 包括的なVision-Language instruction followingベンチマークる I4 (Interconnected, Interleaved Image-Text Instruction-Following)ベンチマークの構築と、CLORI（controllable knowledge re-injection）フレームワークの提案。これらを適用したCheetorは他のVLモデルと比べても優れた性能とのこと。
  • リポジトリはGitHub – DCDmllm/Cheetah

LLM As DBA / D-Bot

  • LLM As DBA [25.9]
    大規模言語モデル(LLM)は、価値あるドキュメントを理解し、合理的な回答を生成する大きな可能性を示している。 本稿では (i)文書及びツールからのデータベース保守知識検出 (ii)根本原因分析のための思考推論の木、及び (iii)複数のllm間の協調診断 D-Botが根本原因を効果的かつ効果的に診断できるという予備実験結果が公開されている。
    論文  参考訳（メタデータ）   (Thu, 10 Aug 2023 10:12:43 GMT)
  • データベース管理者としてLLMを利用する取り組み。「 LLM-centric database maintenance framework」というのが熱い
  • リポジトリはGitHub – TsinghuaDatabaseGroup/DB-GPT

SILO

  • SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore [125.1]
    推論中にこのリスクパフォーマンストレードオフを管理する新しい言語モデルであるSILOを提案する。 SILOは(1)オープンライセンスコーパス(OLC)上でパラメトリックLMをトレーニングすることで構築されます。 データストアへのアクセスはドメインのパフォーマンスを大幅に改善し、PileでトレーニングされたLMでパフォーマンスギャップの90%を閉じる。
    論文  参考訳（メタデータ）   (Tue, 8 Aug 2023 17:58:15 GMT)
  • 著作権違反リスクの少ないOPEN LICENSE CORPUS (OLC)を用いてLLMを構築、そうでないデータセットと組み合わせて一定の性能が出るフレームワークの提案。リスクの低いデータと高いデータを分離できることが特徴的。
  • 興味深い考え方であると同時に、 kNN-LMがRIC-LMより効果的なのが意外だった。諸条件でも変わるかもしれないが、機械翻訳用途だとシンプルにkNN-LM的な方針でLLMと併用した方がよかったりするんだろうか。
  • リポジトリはGitHub – kernelmachine/silo-lm: Silo Language Models code repository

x-LLaMA

  • Extrapolating Large Language Models to Non-English by Aligning Languages [56.9]
    我々は,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習された大規模言語モデル(LLM)を強化することを提案する。 実験の結果、x-LLaMAモデルは6つの非英語言語で平均42.50%上回った。
    論文  参考訳（メタデータ）   (Wed, 9 Aug 2023 13:32:06 GMT)
  • 一般的に英語に偏っているマルチリンガルなLLMを英語以外の言語に対応させていく手法の提案。「we perform instruction-tuning on LLM with mixed cross-lingual general task instruction data and translation task instruction data.」で作ったx-LLaMA-7Bが Chinese-Alpaca-7Bと同等というのは興味深い結果。
  • 日英バイリンガル大規模言語モデルではrinna/bilingual-gpt-neox-4b · Hugging Faceやstabilityai/japanese-stablelm-base-alpha-7b · Hugging Faceが出ているが、Llama2をこのような手法で強化したモデルとどちらが優れているかは気になるところ。
  • リポジトリはOwenNJU/x-LLM · GitHub

Shepherd

  • Shepherd: A Critic for Language Model Generation [72.2]
    Shepherdは、応答を批判し、改善を提案するために特別に調整された言語モデルである。 このアプローチのコアとなるのは、コミュニティからのフィードバックと人間のアノテーションからキュレートした、高品質なフィードバックデータセットです。 人間の評価では、Shepherdは他のモデルを厳密に上回り、ChatGPTと密接な関係にある。
    論文  参考訳（メタデータ）   (Tue, 8 Aug 2023 21:23:23 GMT)
  • LLMからの出力を批評するモデルの提案。Arithmetic、Coherence and deduction、Consistency with context、Veracity、Redundancy、Commonsense + NoErrorのデータをキュレーションしているとのこと。LLMの出力をLLMに批評させて改善していくのは魅力的で使うデータやモデルが異なるとダブルチェック的な意味合いでも興味深い。
  • リポジトリはGitHub – facebookresearch/Shepherd: This is the repo for the paper Shepherd — A Critic for Language Model Generation

TPTU: Task Planning and Tool Usage of Large Language Model-based AI Agents

  • TPTU: Task Planning and Tool Usage of Large Language Model-based AI Agents [17.2]
    大規模言語モデル(LLM)は、様々な現実世界のアプリケーションのための強力なツールとして登場した。 LLMの本質的な生成能力は、その長所にもかかわらず、複雑なタスクを扱うには不十分である。 本稿では,LLMベースのAIエージェントに適した構造化フレームワークを提案する。
    論文  参考訳（メタデータ）   (Mon, 7 Aug 2023 09:22:03 GMT)
  • LLM-based AI AgentsのTPTU（Task Planning and Tool Usage）能力を測るフレームワークの提案。実務上も有用で未来を感じる能力。現状では商用製品（ChatGPT、Claude）が強い。