- FLM-101B: An Open LLM and How to Train It with $100K Budget [64.8]
大規模言語モデル(LLM)は、NLPおよびマルチモーダルタスクにおいて顕著な成功を収めた。 LLMは違法に高価であり、少数のメジャープレイヤーだけがトレーニングを受けることが可能である。 101B パラメータと 0.31TB トークンを持つ LLM が 1K の予算でトレーニング可能であることを示す。
論文 参考訳(メタデータ) (Thu, 7 Sep 2023 17:07:36 GMT) - 限られた予算での大規模言語モデル構築を扱った論文。100B+パラメータのモデルを100,000 USDで作り、他の主要モデルと競合的な性能とのこと。モデル構築戦略が非常に興味深い。(データ側の話が少ないような。。。)
- モデルはCofeAI/FLM-101B · Hugging Faceで公開され、Apache-2、英語・中国語のバイリンガル
月: 2023年9月
Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models
- Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.0]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。本稿では, 幻覚の検出, 説明, 緩和に関する最近の取り組みを, LLMがもたらすユニークな課題に焦点をあてて調査する。
論文 参考訳(メタデータ) (Sun, 3 Sep 2023 16:56:48 GMT) - LLMにおけるHallucinationに関するサーベイ
- HallucinationをInput-conflicting hallucination、Context-conflicting hallucination、Fact-conflicting hallucinationに分け、対応もPre train、SFT、RLHF、Inferenceとステージ別に分けて整理されており大変わかりやすい。
CoALA: Cognitive Architectures for Language Agents
- Cognitive Architectures for Language Agents [47.0]
本研究では,言語エージェントのための認知的アーキテクチャ (CoALA) を提案し,推論,基礎化,学習,意思決定の多様な手法を体系化する。
論文 参考訳(メタデータ) (Tue, 5 Sep 2023 17:56:20 GMT) - 言語エージェントの観点からLLMに関する様々なテクニック・研究を整理しフレームワーク化した論文
- 「Zero-shot, Few-shot, Zero-shot Chain-of-Thought, Retrieval Augmented Generation, Socratic Models, Self-Critique」のようなテクニックの整理や「SayCan, ReAct, Voyager, Generative Agents, Tree of Thoughts」との比較などLLM周りの様々な取り組みを整理するうえでも参考になる。
- リポジトリはGitHub – ysymyth/awesome-language-agents: List of language agents based on paper “Cognitive Architectures for Language Agents”
XGen-7B Technical Report
- XGen-7B Technical Report [138.7]
XGenは、最大1.5Tトークンに対して最大8Kのシーケンス長を持つ7Bパラメータの一連のモデルである。 研究の進歩と商用アプリケーションのためのモデルをオープンソースにしています。
論文 参考訳(メタデータ) (Thu, 7 Sep 2023 02:20:03 GMT) - オープンソースかつ長いシーケンス長を入力可能なLLM。XGen-7Bの論文。パラメータサイズに比べて性能が高い。
- リポジトリはGitHub – salesforce/xgen: Salesforce open-source LLMs with 8k sequence length.、いくつかのバリエーションがあるが、Salesforce/xgen-7b-8k-base · Hugging FaceはApache-2ライセンスと非常に使いやすいライセンスである。
先週、tiiuae/falcon-180B · Hugging Faceが公開されるなどLLM関連のニュースは多く、様々な研究機関がしのぎを削っている。
Explainability for Large Language Models: A Survey
- Explainability for Large Language Models: A Survey [59.7]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳(メタデータ) (Sat, 2 Sep 2023 22:14:26 GMT) - LLMの説明可能性に関するサーベイ
- Traditional Fine-tuning Paradigm、Prompting Paradigmという分け方がLLM的
OPRO: Optimization by PROmpting
- Large Language Models as Optimizers [111.9]
本研究では,最適化タスクを自然言語で記述する大規模言語モデル(llms)を最適化器として活用するための,単純かつ効果的な手法であるoproを提案する。 OPROによって最適化された最良のプロンプトは、GSM8Kでは最大8%、Big-Bench Hardタスクでは最大50%性能が向上することを示した。
論文 参考訳(メタデータ) (Thu, 7 Sep 2023 00:07:15 GMT) - LLMを用いて最適化を行う手法の提案。テキスト入力、テキスト出力なLLM利用におけるプロンプト自体も最適化していけるのが興味深い。
- 見つかったトップインストラクションの事例「Take a deep breath and work on this problem step-by-step.」や「A little bit of arithmetic and a logical approach will help us quickly arrive at the solution to this problem(GPT-3.5向け)」「Let’s combine our numerical command and clear thinking to quickly and accurately decipher the answer(GPT-4向け)」はベースラインである「Let’s think step by step.」よりかなり良いスコアだが、人間へのアドバイスのようで非常に面白い。
LLASM: Large Language and Speech Model
- LLaSM: Large Language and Speech Model [11.9]
大言語・音声モデル(Large Language and Speech Model, LLaSM)は、多モーダル言語モデルである。 初期の実験では、LLaSMは人間が人工知能と対話するより便利で自然な方法を示している。
論文 参考訳(メタデータ) (Wed, 30 Aug 2023 10:12:39 GMT) - LLM+音声なマルチモーダルモデルの提案
- Whisper で分散表現に変換Modal Adaptorを通したものをテキストとともに扱う形式、ベースのLLMは Chinese-LLAMA2-7Bとのこと。fine tuning用データはtext-to-speech APIで作成。性能評価が無いような気がするが、この方針でうまくいくのだろうか・・・?
- リポジトリはGitHub – LinkSoul-AI/LLaSM: 第一个支持中英文双语语音-文本多模态对话的开源可商用对话模型。便捷的语音输入将大幅改善以文本为输入的大模型的使用体验,同时避免了基于 ASR 解决方案的繁琐流程以及可能引入的错误。、HuggingFaceはLinkSoul/LLaSM-Cllama2 · Hugging Face
Computation-efficient Deep Learning for Computer Vision: A Survey
- Computation-efficient Deep Learning for Computer Vision: A Survey [121.8]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳(メタデータ) (Sun, 27 Aug 2023 03:55:28 GMT) - 効率的な画像処理モデルに関するサーベイ
- 「Efficient Backbone Models / Dynamic Deep Networks」→「Task-specialized Efficient Models」→「Model Compression Techniques」→「Efficient Deployment on Hardware」と様々なレイヤで調査がされている。
Mental-LLM
- Mental-LLM: Leveraging Large Language Models for Mental Health Prediction via Online Text Data [38.9]
オンラインテキストデータを用いて,様々なメンタルヘルス予測タスクにおける多言語モデル(LLM)の総合評価を行った。 その結果、ゼロショットプロンプト、少数ショットプロンプト、命令微調整によるLLMの有望な性能が示された。 我々の最も精巧なモデルであるMental-AlpacaとMental-FLAN-T5は、バランスの取れた精度でGPT-3.5を10.9%上回り、GPT-4(250倍、150倍)を4.8%上回りました。
論文 参考訳(メタデータ) (Wed, 16 Aug 2023 06:04:48 GMT) - メンタルヘルス予測タスクへのLLM活用に関する報告。zero shot, few shot, instruction finetuningといった様々な方法&Alpaca, FLAN, GPT-3.5, GPT-4など様々なモデルで評価されており興味深い。
- 「Instruction finetuning on multiple mental health datasets can significantly boost the performance of LLMs on various mental health prediction tasks.」や「Although task-solving-focused LLMs may have better performance in the zero-shot setting for mental health prediction tasks, dialogue-focused LLMs have a stronger capability of learning from human natural language and can improve more significantly after finetuning.」など興味深い結果となっている。メンタルヘルスというドメインに依存した話なのか一般的な傾向なのかはよくわからないが、様々なアプローチの結果を比較するのは重要であるとの感想。
The Belebele Benchmark
- The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [82.6]
私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
論文 参考訳(メタデータ) (Thu, 31 Aug 2023 17:43:08 GMT) - 「multiple-choice machine reading comprehension (MRC) dataset spanning 122 language variants.」ということで非常に多言語のMRCデータセット。機械翻訳におけるFLORES-200のような立ち位置で非常に貴重なデータセット
- 「GPT3.5-TURBO performs the best on the top 20 languages, but after 40-50, its performance falls far behind INFOXLM and XLM-V.」というベンチマーク結果が興味深い。商業システムはある程度ターゲットとなる言語を絞っているよう。
- リポジトリはGitHub – facebookresearch/belebele: Repo for the Belebele dataset, a massively multilingual reading comprehension dataset.