日: 2024年10月17日

MatMamba: A Matryoshka State Space Model

  • MatMamba: A Matryoshka State Space Model [24.9]
    MatMambaはMatryoshkaスタイルの学習とMamba2を組み合わせた状態空間モデルである。 MatMambaは、様々なモデルサイズにまたがる効率的で適応的なデプロイメントを可能にする。 言語モデルと画像モデルは,35Mから1.4Bまでのパラメータサイズで訓練する。
    論文  参考訳（メタデータ）   (Wed, 09 Oct 2024 09:41:34 GMT)
  • マトリョーシカ構造のMamba、「We train a single large MatMamba model and are able to get a number of smaller nested models for free – while maintaining or improving upon the performance of a baseline smaller model trained from scratch.」という利点がある。加えて（Mambaだから）高解像度ではViTより優れているとのこと。
  • リポジトリはGitHub – ScaledFoundations/MatMamba: Code and pretrained models for the paper: “MatMamba: A Matryoshka State Space Model”

BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data

  • BabelBench: An Omni Benchmark for Code-Driven Analysis of Multimodal and Multistructured Data [61.9]
    大規模言語モデル(LLM)は、様々な領域でますます重要になっている。 BabelBenchは、コード実行によるマルチモーダルなマルチ構造化データ管理におけるLLMの熟練度を評価する革新的なベンチマークフレームワークである。 BabelBenchの実験結果から,ChatGPT 4のような最先端モデルでさえ,大幅な改善の余地があることが示唆された。
    論文  参考訳（メタデータ）   (Tue, 01 Oct 2024 15:11:24 GMT)
  • マルチモーダル、かつ、マルチストラクチャなデータを取り扱うタスクに対するベンチマークの提案。GPT-4oでもスコアは相当低いが、OpenAI o1に向くタスクな気もしていてo1を含むシステムで試してみたいところ。
  • リポジトリはGitHub – FFD8FFE/babelbench

DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life

  • DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life [46.1]
    日常生活で遭遇した1,360の道徳的ジレンマのデータセットであるDailyDilemmasを提示する。 それぞれのジレンマは2つの可能なアクションを含み、それぞれのアクションでは、影響を受ける当事者と人間の価値が呼び出される。 我々は、社会学、心理学、哲学に触発された5つの一般的な理論のレンズを通して、これらの価値を分析した。
    論文  参考訳（メタデータ）   (Thu, 03 Oct 2024 17:08:52 GMT)
  • 道徳的ジレンマのデータセット
  • リポジトリはhttps://github.com/kellycyy/daily_dilemmas