- Multimodal Foundation Models: From Specialists to General-Purpose Assistants [187.7]
専門モデルから汎用アシスタントへの移行に焦点をあて,視覚と視覚言語能力を示すマルチモーダル基礎モデルの分類と進化に関する包括的調査を行う。 対象読者は、コンピュータビジョンの研究者、大学院生、およびビジョン言語によるマルチモーダルコミュニティの専門家である。
論文 参考訳（メタデータ） (Mon, 18 Sep 2023 17:56:28 GMT) - 特化型モデル → 汎用アシスタントという最近の潮流に関するサーベイ。100ページ近くの分量であり教科書に近い
- 研究の進展が非常に速い分野でもありとても重要な論文
月: 2023年9月
OpenBA
- OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch [41.5]
OpenBAは、オープンソースの15Bバイリンガルな非対称seq2seqモデルである。 OpenBAを効果的かつ効率的な技術で強化し、3段階のトレーニング戦略を採用します。 私たちのソリューションは、380Bトークンだけで非常に競争力のあるパフォーマンスを実現できます。
論文 参考訳（メタデータ） (Tue, 19 Sep 2023 15:46:40 GMT) - 非対称encoder-decoderアーキテクチャのLLM、薄いとはいえencoder部分を持つのは珍しい気がする。サイズに比べて性能が高い。
- リポジトリはGitHub – OpenNLG/OpenBA: OpenBA: An Open-Sourced 15B Bilingual Asymmetric Seq2Seq Model Pre-trained from Scratch、HuggingFaceサイトはOpenBA (OpenBA) (huggingface.co)
Baichuan 2, phi-1.5
- Baichuan 2: Open Large-scale Language Models [50.4]
我々は、70億と13億のパラメータを含む大規模な多言語言語モデルであるBaichuan 2を、2.6兆のトークン上でスクラッチからトレーニングする。 Baichuan 2は、MMLU、CMMLU、GSM8K、HumanEvalなどの公開ベンチマークで、同様のサイズの他のオープンソースモデルにマッチするか、より優れています。
論文 参考訳（メタデータ） (Tue, 19 Sep 2023 04:13:22 GMT) - GitHub – baichuan-inc/Baichuan2: A series of large language models developed by Baichuan Intelligent Technology のテクニカルレポート
- ソースコードはApache-2だが、モデルは独自ライセンスとなっている。
- Textbooks Are All You Need II: phi-1.5 technical report [55.7]
我々は、新しい13億のパラメータモデルphi-1.5を作成し、5倍のモデルに匹敵する自然言語タスクのパフォーマンスを実現した。 textbfphi-1.5はより大きな言語モデルの特徴の多くを示している。 我々はこれらの緊急トピックに関するさらなる研究を促進するために textbfphi-1.5 をオープンソース化した。
論文 参考訳（メタデータ） (Mon, 11 Sep 2023 14:01:45 GMT) - 高品質データの重要性が分かるPhi-1.5のテクニカルレポート
- モデルはmicrosoft/phi-1_5 · Hugging Face
DePT: Decoupled Prompt Tuning
- DePT: Decoupled Prompt Tuning [133.7]
この作業は、即時チューニングにおいてBase-New Tradeoff (BNT)ジレンマを突破する。 チューニングされたモデルがベースタスクに一般化されるほど、それが新しいタスクに一般化される。 提案するDecoupled Prompt Tuning (DePT) フレームワークは,プロンプトチューニング中に特徴チャネルから独立した特徴空間へベース固有の知識を分離する。
論文 参考訳（メタデータ） (Thu, 14 Sep 2023 05:45:40 GMT) - GitHub – Koorye/DePT: Offical implemention of paper “Decoupled Prompt Tuning”
ELBERT: Equal Long-term BEnefit RaTe
- Equal Long-term Benefit Rate: Adapting Static Fairness Notions to Sequential Decision Making [43.6]
ELBERT(Equal Long-term Benefit Rate)と呼ばれる長期公正性の概念を導入する。 長期利益率の政策勾配は分析的に標準政策勾配に還元できることを示す。 3つの逐次意思決定環境の実験により,ELBERT-POはバイアスを著しく低減し,高い有効性を維持することが示された。
論文 参考訳（メタデータ） (Thu, 7 Sep 2023 01:10:01 GMT) - 長期的な公平性の概念を提案。時間の概念は重要で面白い取り組み。
- リポジトリはGitHub – Yuancheng-Xu/ELBERT: Official Implementation of the paper “Equal Long-term Benefit Rate: Adapting Static Fairness Notions to Sequential Decision Making” by Yuancheng Xu, Chenghao Deng, Yanchao Sun, Ruijie Zheng, Xiyao Wang, Jieyu Zhao and Furong Huang
Large Language Models for Compiler Optimization
- Large Language Models for Compiler Optimization [22.5]
コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。 最適化前後の命令数と最適化コード自体を予測する。 提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
論文 参考訳（メタデータ） (Mon, 11 Sep 2023 22:11:46 GMT) - コードの最適化にLLMを使う報告。コンパイオプションを生成し他の手法に比べても有望な結果とのこと。
- 「We present a 7B-parameter transformer model trained from scratch to optimize LLVM assembly for code size.」というのはLLMと言えるのか・・・？
LLMのAgents
- Agents: An Open-source Framework for Autonomous Language Agents [97.0]
我々は、言語エージェントを人工知能への有望な方向と見なしている。 Agentsはオープンソースライブラリで、これらの進歩を広く非専門的な聴衆に開放することを目的としています。
論文 参考訳（メタデータ） (Thu, 14 Sep 2023 17:18:25 GMT) - オープンソースの言語エージェントフレームワーク
- リポジトリはGitHub – aiwaves-cn/agents: An Open-source Framework for Autonomous Language Agents、The Agent Hubなる取り組みも予定しているようで期待大
When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale
- When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale [12.9]
大量のテキストデータが大きな言語モデルの開発に大きく貢献している。 これまで、データセットを高品質なサブセットまで掘り下げる努力は、ルールベースのフィルタとしてエンコードされた手作りのものに依存してきた。 より広い視点で、事前学習データの品質を測定するために使用できる、スケーラブルなデータ品質の推定を探求します。
論文 参考訳（メタデータ） (Fri, 8 Sep 2023 19:34:05 GMT) - Cohere for AIによるデータ品質向上に関する報告
- パープレキシティを用いるシンプル（？）な手法が高性能とのこと
Simultaneous Machine Translation with Large Language Models
- Simultaneous Machine Translation with Large Language Models [51.5]
大規模言語モデル(LLM)は、様々な自然言語処理タスクを解く能力を示した。 我々は,LSMが追加の訓練を必要とせずにSimulMTに参加することができる簡易かつ効果的な混合政策を導入する。 Llama2-7B-chatでMUST-Cデータセットから9つの言語ペアを用いて行った実験は、LLMが専用のSimulMTモデルに匹敵する翻訳品質とレイテンシを実現できることを示した。
論文 参考訳（メタデータ） (Wed, 13 Sep 2023 04:06:47 GMT) - simultaneous machine translationにLLMを用いる研究。Reading Policy、Writing Policyは既存研究のものがベース、Finetuningを行うことで優れた性能を出せるとのこと。
RGB: Retrieval-Augmented Generation Benchmark
- Benchmarking Large Language Models in Retrieval-Augmented Generation [53.5]
大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
論文 参考訳（メタデータ） (Mon, 4 Sep 2023 08:28:44 GMT) - LLM活用に欠かせないRAG能力をnoise robustness, negative rejection, information integration, counterfactual robustnessと整理、ベンチマークを構築。英語と中国語が対象。
- リポジトリはGitHub – chen700564/RGB