- Causal Evaluation of Language Models [33.3]
言語モデルの因果的推論能力を評価するための総合的なベンチマークとして,CaLM(Causal Evaluation of Language Models)がある。 CaLMは4つのモジュールからなる分類法であり、因果的対象(評価対象)、適応(結果の取得方法)、メートル法(結果の測定方法)、エラー(悪い結果の分析方法)である。
論文 参考訳（メタデータ） (Wed, 01 May 2024 16:43:21 GMT) - LLMの因果的な推論を評価するためのベンチマーク、Causal Evaluation of Language Models (CaLM)の提案、GPT-4がLeaderboardトップだが、最新のモデルでの検証結果を知りたいところ
- プロジェクトサイトはCausal Evaluation of Language Models (opencausalab.github.io)
LLM
28 / 62 ページ
The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights
- The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.4]
本稿では,大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメント手法を提案する。 実験結果から,質問アライメント手法は多様な推論シナリオにおける多言語のパフォーマンス向上に有効であることが示唆された。 その成功のメカニズムを理解するために、表現空間、チェーン・オブ・シンク、翻訳データスケールを分析する。
論文 参考訳（メタデータ） (Thu, 02 May 2024 14:49:50 GMT) - 多言語性能を上げるための２段階のアライメント手法（ question alignment and response alignment）の提案。さらに「En-X translation training can implicitly bias LLM to generate non-English chain-of-thought and increase the question-response language consistency.」とのこと。分析や解釈も面白い。
- リポジトリはGitHub - NJUNLP/QAlign
Plan-Seq-Learn: Language Model Guided RL for Solving Long Horizon Robotics Tasks
- Plan-Seq-Learn: Language Model Guided RL for Solving Long Horizon Robotics Tasks [50.3]
Plan-Seq-Learn (PSL) は、抽象言語と学習した低レベル制御の間のギャップを埋めるためにモーションプランニングを使用するモジュラーアプローチである。 PSLは85%以上の成功率、言語ベース、古典的、エンドツーエンドのアプローチを達成している。
論文 参考訳（メタデータ） (Thu, 02 May 2024 17:59:31 GMT) - 今なお難しい長期計画のためのフレームワークの提案。自然言語による高レベルな計画と、それを実現するための「Sequencing Module 」「Learning Module」からなる。
- リポジトリはPlan-Seq-Learn (mihdalal.github.io)
CRISPR-GPT: An LLM Agent for Automated Design of Gene-Editing Experiments
- CRISPR-GPT: An LLM Agent for Automated Design of Gene-Editing Experiments [51.4]
大規模言語モデル(LLM)は様々なタスクにおいて有望であるが、しばしば特定の知識が欠如し、生物学的設計の問題を正確に解くのに苦労する。 本研究では,CRISPRに基づく遺伝子編集実験の設計プロセスを自動化するために,ドメイン知識と外部ツールを付加したLLMエージェントであるCRISPR-GPTを紹介する。
論文 参考訳（メタデータ） (Sat, 27 Apr 2024 22:59:17 GMT) - 遺伝子編集を対象としたLLMエージェントの提案。
- 確かに親和性は高そうだし、NLPの応用もやられてきた分野ではあるが、この分野にもLLMがという驚き。本件では対象としていないようだが、遺伝子というモダリティが直接扱えるようになる日も近いのだろうか。
Capabilities of Gemini Models in Medicine
- Capabilities of Gemini Models in Medicine [100.6]
医療専門のマルチモーダルモデルであるMed-Geminiを紹介する。 メドジェニーニを14の医療ベンチマークで評価し,その内10に新たな最先端(SoTA)性能を確立した。 我々の結果は、Med-Geminiの可能性を示唆する証拠を提供するが、より厳密な評価は実世界の展開に先立って重要である。
論文 参考訳（メタデータ） (Mon, 29 Apr 2024 04:11:28 GMT) - 医療特化のGemini、Med-Geminiに関する報告。GPT-4を上回る性能。かつ、「Finally, Med-Gemini’s performance suggests real-world utility by surpassing human experts on tasks such as medical text summarization and referral letter generation, alongside demonstrations of promising potential for multimodal medical dialogue, medical research and education.」
- 医療用にfine tuningすればこうなるだろうとは思いつつ、進化が速い。
A Careful Examination of Large Language Model Performance on Grade School Arithmetic
- A Careful Examination of Large Language Model Performance on Grade School Arithmetic [4.7]
大規模言語モデル (LLM) は、数学的推論のための多くのベンチマークで驚くべき成功を収めた。 このパフォーマンスの一部は、実際にデータセットの汚染を反映している、という懸念が高まっている。
論文 参考訳（メタデータ） (Thu, 02 May 2024 17:18:51 GMT) - 「Figure 1: Notable models arranged by their drop in performance between GSM8k and GSM1k (lower is worse).We notice that Mistral and Phi top the list of overfit models, with almost 10% drops on GSM1k compared to GSM8k, while models such as Gemini, GPT, and Claude show little to no signs of overfitting.」が衝撃的な論文で、ベンチマークデータの潜在的なLeakが問題になっていることを示している。
- Fugu-MT 論文翻訳(概要): Pretraining on the Test Set Is All You Need (fugumt.com)や商用利用可能な130億パラメータの日本語LLM「Tanuki-ZeRo」を一般公開 【代表的な日本語ベンチマークで世界6位: オープンモデルで1位相当､GPT3.5やClaude v2を一部凌駕, 23｜Kan Hatakeyama (note.com)など意図的に良くもできるが、そうでなくとも根深い問題で対策は簡単ではない。
- 個人の検証でもPhi-3もベンチマーク結果程よくはないのではないかと思う。
Better & Faster Large Language Models via Multi-token Prediction
- Better & Faster Large Language Models via Multi-token Prediction [29.1]
GPTやLlamaのような大規模言語モデルは、次のトーケン予測損失で訓練される。 複数の未来のトークンを同時に予測するための言語モデルをトレーニングすることで、より高いサンプル効率が得られることを提案する。
論文 参考訳（メタデータ） (Tue, 30 Apr 2024 17:33:57 GMT) - 正直アイデアとしてはよく聞く予測対象の複線化、「Our experiments (up to 7B parameters and 1T tokens) show that this is increasingly useful for larger models and in particular show strong improvements for code tasks.」とのこと。実験的に示したのは重要な成果であると思う。
- 結果の解釈も参考になる。
Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models
- Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models [92.7]
プロメテウス2は、人間とGPT-4の判断を密接に反映するより強力な評価器である。 ユーザ定義評価基準でグループ化された、直接評価とペアのランキングフォーマットの両方を処理できる。 4つの直接評価ベンチマークと4つのペアのランキングベンチマークで、Prometheus 2は人間と独自のLM判事との相関と合意を最も高く評価している。
論文 参考訳（メタデータ） (Thu, 02 May 2024 17:59:35 GMT) - 評価のためのLMの提案。GPT-4を使ってデータを構築、「We choose Mistral-7B (Jiang et al , 2023a) and Mixtral8x7B (Jiang et al , 2024) as our base models, and merge the weights of evaluator LMs separately trained on the FEEDBACK COLLECTION and the PREFERENCE COLLECTION to obtain our resulting models, PROMETHEUS 2 (7B & 8x7B).」とのこと。
- リポジトリはGitHub - prometheus-eval/prometheus-eval: Evaluate your LLM's response with Prometheus 💯
SCORE: Self-COrrection ability in REasoning tasks
- Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.9]
大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 本研究は,より小さい (= 13B) 言語モデル (LM) が,より強い LM から最小限の入力で推論タスクを自己補正できるかどうかを考察する。
論文 参考訳（メタデータ） (Fri, 26 Apr 2024 03:41:28 GMT) - 自己補正を強化するためのfine tuningプロセスの提案。学習用データをモデルに作らせるアプローチで自分自身を強化している感がある。
- リポジトリはhttps://github.com/yunx-z/SCOREとのことだが、現在はNotFound
Weak-to-Strong Extrapolation Expedites Alignment
- Weak-to-Strong Extrapolation Expedites Alignment [135.1]
人間の嗜好とLLMの整合性を高めるための簡単なExPO法を提案する。 AlpacaEval 2.0ベンチマークでは、ExPOがトレーニングされたモデルに、より好みの少ないデータで到達し、完全にトレーニングされたデータを超えていることが示されています。 本研究は,LLMの能力を利用したモデル外挿の有効性を実証する。
論文 参考訳（メタデータ） (Thu, 25 Apr 2024 17:39:50 GMT) - 「By extrapolating from the weights of an SFT model Mw and a further trained one M, EXPO enables directly obtaining a better-aligned model without any additional training.」という手法の提案。とてもシンプルに外装しているように見え、なんでこんなんでうごくんや。
- リポジトリはGitHub - chujiezheng/LLM-Extrapolation: Official repository for paper "Weak-to-Strong Extrapolation Expedites Alignment"