- Language Models Meet World Models: Embodied Experiences Enhance Language Models [33.2]
大規模言語モデル(LM)は、物理的環境における単純な推論と計画にしばしば苦労する。 我々は、世界モデルでそれらを微調整することで、LMを強化する新しいパラダイムを提案する。
論文 参考訳(メタデータ) (Thu, 18 May 2023 00:35:38 GMT) - 世界モデルを用いてLLMを強化しようという取り組み、 Embodied Experiences from World Models (E2WM)というフレームワークを提案している。シミュレータ(VirtualHome)を用いてより広い情報を集めるアプローチで大変興味深い。
- 重要なパラメータの保護などシミュレータから得た経験を反映する部分でもlow-rank adaptors & elastic weight consolidationのEWC-LoRAという手法を用いているそう。
タグ: LLM
SearChain: Search-in-the-Chain
- Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks [108.2]
本稿では,マルチホップ質問応答のためのLLM生成コンテンツの正確性,信頼性,トレーサビリティを向上させるために,検索・イン・ザ・チェイン(SearChain)と呼ばれる新しいフレームワークを提案する。 SearChainは大規模言語モデル(LLM)と情報検索(IR)を深く統合したフレームワークである
論文 参考訳(メタデータ) (Fri, 5 May 2023 02:35:48 GMT) - LLM + information retrievalでマルチホップな問題を解くフレームワークの提案、複数のベンチマークで優れた性能
- プロンプト自体・使い方・複数回の問い合わせを工夫していくのはまだまだ続きそうで、LLMの鉱脈は深そう
Chain-of-Dictionary Prompting Elicits Translation in Large Language Models
- Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [91.6]
大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
論文 参考訳(メタデータ) (Thu, 11 May 2023 05:19:47 GMT) - LLMが機械翻訳出も優れた性能を出すことは知られており(というか初期のモチベーションの1つでもあり)、その性能を引き出すため辞書的な情報をプロンプトに入れる手法の提案
- 多くの言語でテストしており非常に有望な結果。日本語では効果がなさそうな理由を知りたいところ。
Learning to Reason and Memorize with Self-Notes
- Learning to Reason and Memorize with Self-Notes [41.7]
大規模言語モデルは、限られた文脈記憶と多段階推論に苦しむことが示されている。 本稿では,これらの問題を解決するための簡単な手法を提案する。
論文 参考訳(メタデータ) (Mon, 1 May 2023 14:02:48 GMT) - Self-Noteというスクラッチパッドとして機能する部分をプロンプトに入れてモデル自体がそこをメモとして利用可能とする研究
- LLMを使っていると長さ制限に苦しむことが多く非常に欲しい機能
LLMの拡張、テーブルデータを併用した推論への応用
GPT-#で大規模言語モデルが話題になっているが、その拡張を行う研究も非常に盛ん。
- mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality [55.7]
mPLUG-Owlは、大規模言語モデル(LLM)にマルチモーダル能力を持たせる訓練パラダイムである。 トレーニングパラダイムは、LLMの助けを借りて視覚知識を学ぶ、画像とテキストの整列のための2段階の手法を含む。 実験の結果,本モデルは既存のマルチモーダルモデルよりも優れていた。
論文 参考訳(メタデータ) (Thu, 27 Apr 2023 13:27:01 GMT) - LLMのマルチモーダル化、まずVisual Encoder/Visual AbstractorをLLMを凍結して事前学習、その後LoRAを用いてLLMのInstruction tuning
- リポジトリはGitHub – X-PLUG/mPLUG-Owl: mPLUG-Owl🦉: Modularization Empowers Large Language Models with Multimodality
- Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning [45.0]
大規模言語モデル(LLM)を効率的なテーブルベースの推論のためのデコンパイラとして活用する。 巨大な証拠(巨大な表)をサブエビデンス(小さな表)に分解し、無駄な情報の干渉を軽減する。 我々は,思考連鎖のジレンマを軽減するために,「パーシング・エグゼクティオン・フィリング」戦略を提案する。
論文 参考訳(メタデータ) (Thu, 27 Apr 2023 11:24:10 GMT) - Table データを併用した推論へのLLM適用、 Decompose evidence And questions for effective Table-basEd Reasoning (DATER)提案、優れた性能を達成。初めてTabFactで人間のパフォーマンスを超えたとのこと。
- テーブルデータの分解、質問の分解、SQLクエリへの変換・実行、 in-context prompting とLLM関連のテクニックが高度に使われている印象で問題の解き方がとても参考になる
Sabi\’a: Portuguese Large Language Models
- Sabi\’a: Portuguese Large Language Models [5.0]
対象言語における単言語事前学習は,すでに多種多様なコーパスで訓練されているモデルを大幅に改善することを示した。 ポルトガルの14のデータセットからなるスイートであるPoetaに関するわずかな評価によると、我々のモデルは、英語と多言語で比較すると、かなり差がある。
論文 参考訳(メタデータ) (Sun, 16 Apr 2023 20:11:19 GMT) - マルチリンガルモデルを単言語コーパスで継続的に事前学習することで当該言語での性能を大幅に向上できるという報告
- ベースラインモデルの計算量の3%程度で相当の性能向上、LLaMA 65Bを使った場合はgpt-3.5-turboに匹敵ととても効果的に見える。
- 日本語でも同じようなことができるのか興味津々(もっとも個人で再現させるにはちょっと高いが)
AdaTest++
- Supporting Human-AI Collaboration in Auditing LLMs with LLMs [10.1]
大きな言語モデルは偏見があり、無責任に振る舞うことが示されている。 これらの言語モデルを厳格に監査することは重要である。 既存の監査ツールは、人間とAIの両方を活用して失敗を見つける。
論文 参考訳(メタデータ) (Wed, 19 Apr 2023 21:59:04 GMT) - LLMの監査ツール、
- リポジトリはGitHub – microsoft/adatest at AdaTest++
LLM as A Robotic Brain
- LLM as A Robotic Brain: Unifying Egocentric Memory and Control [77.1]
Embodied AIは、物理的または仮想的なエンボディメント(つまりロボット)を持つインテリジェントシステムの研究と開発に焦点を当てている。 メモリとコントロールは、具体化されたシステムの2つの不可欠な部分であり、通常、それぞれをモデル化するために別々のフレームワークを必要とします。 ロボット脳として大規模言語モデルを用いて,エゴセントリックな記憶と制御を統一するLLM-Brainという新しいフレームワークを提案する。
論文 参考訳(メタデータ) (Wed, 19 Apr 2023 00:08:48 GMT) - LLMのゼロショット性能を活用したロボットの行動計画&制御
- 記憶と世界モデル的な部分をLLMに担当させているとのこと
Toolを使うFoundation Model、Tool-AugmentedなLLM
- Tool Learning with Foundation Models [114.3]
基礎モデルの出現により、AIシステムは、人間としてのツールの使用に等しく適応できる可能性がある。 その大きな可能性にもかかわらず、この分野における重要な課題、機会、そして将来の取り組みに関する包括的な理解はいまだに欠けている。
論文 参考訳(メタデータ) (Mon, 17 Apr 2023 15:16:10 GMT) - ツールを使用する基盤モデルに関するサーベイ
- 外部知識活用からの自然な拡張な気はしつつ、すごく世界が広がる感覚がありとても興味深い
- リポジトリはGitHub – OpenBMB/BMTools: Tool Learning for Big Models, Open-Source Solutions of ChatGPT-Plugins
- API-Bank: A Benchmark for Tool-Augmented LLMs [48.7]
本稿では,Tool-Augmented LLM向けに開発された最初のベンチマークであるAPI-Bankを紹介する。 API-Bankには、53の一般的なAPIツール、完全なツール拡張LLMワークフロー、264の注釈付き対話が含まれている。 実験の結果, GPT-3.5はGPT3に対してツールを使用できるが, GPT-4はプランニング性能が優れていた。
論文 参考訳(メタデータ) (Fri, 14 Apr 2023 14:05:32 GMT) - LLMのためのAPI利用ベンチマーク
- データやコードは公開されているのだろうか?論文中にはリンクがなさそう。
大規模言語モデルのサーベイ
- A Survey of Large Language Models [81.1]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (Fri, 31 Mar 2023 17:28:46 GMT) - 大規模言語モデルのサーベイ
- 有名なモデルの開発時期や(公開されている範囲での)データ、規模、計算リソースなどがまとまっているのが非常にありがたい。数多くのモデルが作られていることと近年のLLMのアーキテクチャは概ね同じであることが分かる。
- リポジトリはGitHub – RUCAIBox/LLMSurvey: A collection of papers and resources related to Large Language Models. 、図がとても良い