2023.12.25

Gemini: A Family of Highly Capable Multimodal Models 

  • Gemini: A Family of Highly Capable Multimodal Models [517.1]
    マルチモーダルモデルの新たなファミリーであるGeminiは、画像、オーディオ、ビデオ、テキスト理解にまたがる優れた機能を示している。 ファミリーはUltra、Pro、Nanoサイズで構成されており、複雑な推論タスクからオンデバイスメモリに制約のあるユースケースまで幅広い用途に適している。
    論文  参考訳(メタデータ)   (Tue, 19 Dec 2023 02:39:27 GMT)
  • Gemini – arXiv最新論文の紹介 (devneko.jp) の論文、arXiv版。改めて驚きの著者数。
2023.12.25

ReST meets ReAct

  • ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent [50.5]
    外部知識に基づいて推論と行動を行うReAct-style LLMエージェントを開発した。 エージェントをReSTライクな手法で改良し,従来の軌道上で反復的に訓練する。 引き起こされた大きなモデルから始まり、アルゴリズムのたった2イテレーションの後に、微調整された小さなモデルを生成することができる。
    論文  参考訳(メタデータ)   (Fri, 15 Dec 2023 18:20:15 GMT)
  •  Reinforced Self-Training (ReST) を適用したReAct-style LLM agentの提案。ReAct的な動くで作ったtrajectoryのうち良いものを使ってfull fine-tuningとかなりの計算量が必要そうな手法。 少ない回数のイテレーションで良い性能を出せるとのこと。
  • 「employing growing-batch reinforcement learning with AI feedback for continuous self-improvement and self-distillation.」とあるが、自分で学んでいけるAIがてきつつあるんじゃないかという気もする。
2023.12.22

Using Large Language Models for Hyperparameter Optimization

  • Using Large Language Models for Hyperparameter Optimization [31.5]
    本稿では,高パラメータ最適化(HPO)において,基礎的大言語モデル(LLM)を用いて決定を行う。 実験的な評価により,LLMは従来のHPO法と同等あるいは同等に動作可能であることが示された。
    論文  参考訳(メタデータ)   (Thu, 7 Dec 2023 18:46:50 GMT)
  • LLMを用いたハイパーパラメータのチューニング、「LLMs provide useful feedback for the error messages, which is infeasible with traditional approaches. 」というのはLLMの利点(直後に「However, this can suffer from the challenges that affect current language models, such as hallucinations」ともあるが。。。)。
2023.12.22

LLM360

  • LLM360: Towards Fully Transparent Open-Source LLMs [89.1]
    LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
    論文  参考訳(メタデータ)   (Mon, 11 Dec 2023 17:39:00 GMT)
  • オープンなLLMを作ろうという取り組み。AMBER: 7B English LLM pretrained on 1.3T tokens CRYSTALCODER: 7B English and code LLM pretrained on 1.4T tokensをリリース
  • プロジェクトサイトはLLM360 | Open-source LLMs for Transparency, Trust, and Collaborative Research 🚀
2023.12.21

Efficient Large Language Models: A Survey

  • Efficient Large Language Models: A Survey [37.9]
    この調査は、効率的なLarge Language Models (LLMs) 研究の体系的で包括的なレビューを提供する。 文献を3つの主要なカテゴリからなる分類学で整理し、異なるが相互に相互に繋がる効率的なLLMのトピックを網羅する。 この調査で紹介された論文をコンパイルするGitHubリポジトリも作成しました。
    論文  参考訳(メタデータ)   (Wed, 6 Dec 2023 19:18:42 GMT)
  • LLMの効率化に関するサーベイ、手法開発が盛んでとても参考になる。
  • リポジトリはGitHub - AIoT-MLSys-Lab/Efficient-LLMs-Survey: Efficient Large Language Models: A Survey
2023.12.21

Open-sourced Data Ecosystem in Autonomous Driving: the Present and Future

  • Open-sourced Data Ecosystem in Autonomous Driving: the Present and Future [118.0]
    このレビューは、70以上のオープンソースの自動運転データセットを体系的に評価する。 高品質なデータセットの作成の基礎となる原則など、さまざまな側面に関する洞察を提供する。 また、解決を保障する科学的、技術的課題も検討している。
    論文  参考訳(メタデータ)   (Wed, 6 Dec 2023 10:46:53 GMT)
  • 自動運転データセットのサーベイ。センサータイプが色々あるのが興味深い。オープンなものが多く出ていることに驚き。
  • リポジトリはGitHub - OpenDriveLab/DriveAGI: Embracing Foundation Models into Autonomous Agent and System
2023.12.20

Scaling Laws of Synthetic Images for Model Training

  • Scaling Laws of Synthetic Images for Model Training ... for Now [54.4]
    本研究では, 合成画像のスケーリング法則について, テクスト・ツー・イメージ・モデルの現状から検討した。 合成画像は、CLIPトレーニングの実際の画像と似ているが、やや効果の低いスケーリング傾向を示す。
    論文  参考訳(メタデータ)   (Thu, 7 Dec 2023 18:59:59 GMT)
  • 合成データを用いた時のスケーリング則の検証。合成データの利用は有望なアプローチである一方で不明点も多く、大規模検証はありがたい。「In supervised settings, synthetic data does not scale as effectively as real data.」というのはまぁそうだろうと思うが、「However, our study also highlights several scenarios where synthetic data proves advantageous: (1) In certain classes, synthetic data demonstrates better scaling behavior compared to real data; (2) Synthetic data is particularly effective when real data is scarce, for instance, in CLIP training with limited datasets; (3) Models trained on synthetic data may exhibit superior generalization to out-of-distribution data.」とのFindingsは重要。
  • リポジトリはGitHub - google-research/syn-rep-learn: Learning from synthetic data - code and models
2023.12.20

Efficient Online Data Mixing For Language Model Pre-Training 

  • Efficient Online Data Mixing For Language Model Pre-Training [101.5]
    既存のデータ選択方法は、遅くて計算コストのかかるプロセスに悩まされる。 一方、データミキシングは、データポイントをまとめることで、データ選択の複雑さを低減する。 我々は,データ選択とデータ混合の両要素を組み合わせたオンラインデータ混合(ODM)の効率的なアルゴリズムを開発した。
    論文  参考訳(メタデータ)   (Tue, 5 Dec 2023 00:42:35 GMT)
  • 下流タスクに最適な事前学習用データを作るための効率的なアルゴリズムの提案、名前の通りオンラインなアプローチ。DoReMi: Domain Reweighting with Minimax Optimization – arXiv最新論文の紹介 (devneko.jp)からの改善を主張(というか一部は再現できていない?)
2023.12.20

Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks

  • Comparing Humans, GPT-4, and GPT-4V On Abstraction and Reasoning Tasks [53.9]
    GPT-4のテキストのみおよびマルチモーダル版による推論能力の評価を行った。 実験結果から,GPT-4のどちらのバージョンも人間に近いレベルで頑健な抽象化能力を開発していないという結論が得られた。
    論文  参考訳(メタデータ)   (Mon, 11 Dec 2023 23:57:17 GMT)
  • GPT-4Vの抽象化能力の検証、GitHub - victorvikram/ConceptARC: Materials for ConceptARC paperを利用したもので非常に難しいデータセット
2023.12.19

Beyond Human Data

  • Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [105.5]
    人為的なデータに基づく微調整言語モデル(LM)が普及している。 我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
    論文  参考訳(メタデータ)   (Tue, 12 Dec 2023 23:16:16 GMT)
  • LLMへの合成データ適用が有効か検証した論文。生成→フィルタ→finetune→生成→・・・という自己学習形式。
  • 数学やコード生成で有効なのはそうなのかなと思う。limitationとして挙がっていた「Second, ReST𝐸𝑀 also requires access to a manually-designed or learned reward function, ideally one that can be computed automatically.」は重要。