注目

このサイトについて

「Fugu-MT: arxivの論文翻訳」から論文を紹介します。と言いつつ実際はほぼ個人の備忘録です。要約・翻訳ともに自動化しているためたまに問題のある投稿が発生します。技術的な詳細はBlogをご参照ください。

記載されている内容は個人(Satoshi Takahashi)の見解であり、会社・所属機関の意見を代表するものではありません。

最近はBlog作成中に筆者のTwitter（@staka1982）でつぶやいています。

DecoPrompt

  • DecoPrompt : Decoding Prompts Reduces Hallucinations when Large Language Models Meet False Premises [28.7]
    幻覚を緩和する新しいプロンプトアルゴリズムDecoPromptを提案する。 DecoPrompt は LLM を利用して偽前提のプロンプトを “デコード” する。 2つのデータセットで実験を行い、DecoPromptは異なるLLMから出力された幻覚を効果的に低減できることを示した。
    論文  参考訳（メタデータ）   (Tue, 12 Nov 2024 00:48:01 GMT)
  • 「Inspired by the observation that entropy of the false-premise prompt is closely related to its likelihood to elicit hallucination generation, we propose a new prompting algorithm, named DecoPrompt, to mitigate hallucination.」をうけて「1) first paraphrases the user’s prompt to obtain several semantically similar candidates, then 2) decodes them with the LLM, and 3) selects the lowest-entropy candidate as the new prompt.」という手法の提案。シンプルな手法に見えるが、効果があるのは興味深い。
  • リポジトリはGitHub – xunannancy/DecoPrompt: Code for paper DecoPrompt : Decoding Prompts Reduces Hallucinations when Large Language Models Meet False Premises

Beyond Model Adaptation at Test Time: A Survey

  • Beyond Model Adaptation at Test Time: A Survey [43.0]
    機械学習アルゴリズムは、テストディストリビューションのサンプルがトレーニング中に観察されるものから逸脱し始めたときに苦労する。 テスト時間適応は、ソースデータのみに基づくトレーニングモデルによるドメイン適応とドメイン一般化の利点を組み合わせる。 テスト時間適応に関する総合的かつ体系的なレビューを行い、400以上の最近の論文を取り上げている。
    論文  参考訳（メタデータ）   (Wed, 06 Nov 2024 06:13:57 GMT)
  • Test-time adaptationのサーベイ、400以上の論文があるのに驚き。。
  • リポジトリはGitHub – zzzx1224/Beyond-model-adaptation-at-test-time-Papers

Survey of Cultural Awareness in Language Models: Text and Beyond

  • Survey of Cultural Awareness in Language Models: Text and Beyond [39.8]
    大規模言語モデル(LLM)を様々なアプリケーションに大規模に展開するには、LCMはインクリビティを確保するために、ユーザに文化的に敏感である必要がある。 文化は心理学や人類学で広く研究され、近年、LLMをより文化的に包括的にする研究が急増している。
    論文  参考訳（メタデータ）   (Wed, 30 Oct 2024 16:37:50 GMT)
  • 「Culture has been widely studied in psychology and anthropology, and there has been a recent surge in research on making LLMs more culturally inclusive in LLMs that goes beyond multilinguality and builds on findings from psychology and anthropology.」という近年重要性が増しているLLMと文化についてのサーベイ。
  • リポジトリはGitHub – siddheshih/culture-awareness-llms

Retrieval Augmented Recipe Generation

  • Retrieval Augmented Recipe Generation [96.4]
    本稿では,レシピ生成のための拡張型大規模マルチモーダルモデルを提案する。 既存のデータストアからサプリメントとして、イメージにセマンティックに関連付けられたレシピを検索する。 生成したレシピ候補間の一貫性を計算し、異なる検索レシピを生成のコンテキストとして使用する。
    論文  参考訳（メタデータ）   (Wed, 13 Nov 2024 15:58:50 GMT)
  • レシピ生成でもRAG、RetrieverとしてStochastic Diversified Retrieval Augmentation (SDRA)、最終ステージで Self consistency Ensemble Votingを採用。ingredients と instructionを検索したうえでレシピ化、複数作成したうえで投票により最終レシピを決定と、レシピの特性に沿った凝ったパイプライン構成に見える。

Constrained Human-AI Cooperation: An Inclusive Embodied Social Intelligence Challenge 

  • Constrained Human-AI Cooperation: An Inclusive Embodied Social Intelligence Challenge [47.7]
    CHAICは、インボディードエージェントの社会的知覚と協力をテストするために設計された包括的インボディード・ソーシャル・インテリジェンス・チャレンジである。 CHAICの目標は、身体的制約の下で活動している可能性がある人間を支援するために、自我中心の観察装置を備えたエンボディエージェントである。
    論文  参考訳（メタデータ）   (Mon, 04 Nov 2024 04:41:12 GMT)
  • 「In CHAIC, the goal is for an embodied agent equipped with egocentric observations to assist a human who may be operating under physical constraints—e g , unable to reach high places or confined to a wheelchair—in performing common household or outdoor tasks as efficiently as possible.」というタスク・ベンチマークの提案。このようなチャレンジが現実的になってきたことにAIの急速な進化を感じる。
  • リポジトリはGitHub – UMass-Foundation-Model/CHAIC: [NeurIPS D&B Track 2024] Source code for the paper “Constrained Human-AI Cooperation: An Inclusive Embodied Social Intelligence Challenge”

On the Surprising Effectiveness of Attention Transfer for Vision Transformers

  • On the Surprising Effectiveness of Attention Transfer for Vision Transformers [118.8]
    従来の知恵は、事前学習型視覚変換器(ViT)が有用な表現を学習することで、下流のパフォーマンスを向上させることを示唆している。 予備学習で学んだ特徴や表現は必須ではない。
    論文  参考訳（メタデータ）   (Thu, 14 Nov 2024 18:59:40 GMT)
  • 「Surprisingly, using only the attention patterns from pre-training (i.e., guiding how information flows between tokens) is sufficient for models to learn high quality features from scratch and achieve comparable downstream performance.」というほんまかいなという報告。「Our key finding is that the attention patterns (inter-token operations) are the key factor behind much of the effectiveness of pre-training – our Attention Distillation method completely matches fine-tuning on ImageNet-1K.」という結果とのことで面白い。
  • リポジトリはalexlioralexli/attention-transfer · GitHub（現状ではコードはアップロードされていない）

Gemini-Exp-1114, Alpha Fold 3, Frontier Math

先週の大きなニュースは業界標準になりつつあるhttps://lmarena.ai/?leaderboardで、Geminiの最新バージョン（試験運用版モデル  |  Gemini API  |  Google AI for Developers）が一位をとったこと、Alpha Fold 3が公開されたこと（AlphaFold – Google DeepMind、GitHub – google-deepmind/alphafold3: AlphaFold 3 inference pipeline.）だったと思う。やはり、Google, DeepMindは凄い。

そのほか。極めて難しい数学的問題を集めたFrontierMathベンチマークの登場も興味深かった。もはや人でも相当の専門家以外は扱えない問題になっているがこれらをLeakなく解くモデルが現れるのはいつになるのだろうか。（意外と近い将来な気もしていて期待と不安がある）

  • FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI [2.1]
    FrontierMath(フロンティアマス、フロンティアマス、FrontierMath)は、数学者が考案し検証した何百もの数学問題のベンチマークである。 現在の最先端のAIモデルは、問題の2%未満を解決し、AI能力と数学的コミュニティの長所との間に大きなギャップが浮かび上がっている。 AIシステムが専門家レベルの数学的能力に向かって進むにつれ、FrontierMathは彼らの進歩を定量化する厳格なテストベッドを提供する。
    論文  参考訳（メタデータ）   (Thu, 14 Nov 2024 16:26:03 GMT)
  • 「Current state-of-the-art AI models solve under 2% of problems」という極めてチャレンジングな問題。

SPARTAN: SPARse TrANsformer World model

  • SPARTAN: A Sparse Transformer Learning Local Causation [63.3]
    因果構造は、環境の変化に柔軟に適応する世界モデルにおいて中心的な役割を果たす。 本研究では,SPARse TrANsformer World Model(SPARTAN)を提案する。 オブジェクト指向トークン間の注意パターンに空間規則を適用することで、SPARTANは、将来のオブジェクト状態を正確に予測するスパース局所因果モデルを特定する。
    論文  参考訳（メタデータ）   (Mon, 11 Nov 2024 11:42:48 GMT)
  • 「Conceptually, we argue that in order to perform efficient adaptation, world models should be structured to reflect the underlying sparse causal structure of the observed dynamics, and that these structures should be local.」のもと、「we propose SPARTAN, a structured world model that jointly performs dynamics model learning and causal discovery.」とのこと。
  • Language Models as Causal Effect Generators [44.8]
    制御可能な因果構造を持つ大規模言語モデル(LLM)に基づくデータ生成のためのフレームワークを提案する。 我々は、任意の言語モデルと有向非巡回グラフ(DAG)をシーケンス駆動構造因果モデル(SD-SCM)に変換する手順を定義する。
    論文  参考訳（メタデータ）   (Tue, 12 Nov 2024 18:50:35 GMT)
  • こちらはLLM＋DAGでsequence-driven structural causal modelを作るアプローチ

因果グラフ＋LLMという話はとても興味深い。

Tree-of-Table: Unleashing the Power of LLMs for Enhanced Large-Scale Table Understanding 

  • Tree-of-Table: Unleashing the Power of LLMs for Enhanced Large-Scale Table Understanding [42.8]
    トレー・オブ・タブル(Tree-of-Table)は、LLMが大規模で複雑なテーブル上での推論能力を高めるために設計された新しいアプローチである。 Tree-of-Tableは優れた性能を持つ新しいベンチマークをセットし、大規模テーブル推論における顕著な効率性と一般化能力を示す。
    論文  参考訳（メタデータ）   (Wed, 13 Nov 2024 11:02:04 GMT)
  • 大規模なテーブルデータを推論するために木構造を用いるアプローチの提案
  • 「Starting with a large-scale input table, the process selectively condenses the data, emphasizing task-relevant information. Subsequently, the decomposed elements are methodically reorganized into a Table-Tree, a hierarchical structure designed to streamline and guide the subsequent reasoning process.」ということがプロンプトベースで可能なのも凄いなと思う。効果はありそう。

WorkflowLLM

  • WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.5]
    ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。 最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。 LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
    論文  参考訳（メタデータ）   (Fri, 08 Nov 2024 09:58:02 GMT)
  • エージェント開発において重要となるワークフロー生成に関するベンチマークの提案とLLMの構築。
  • (1) Data Collection、(2) Query Expansion、(3) Workflow Generation、合成データを用いたWorkflowBenchの作成、fine-tuneによる WorkflowLlamaの構築と合成データを併用する一般的な手順ではあるが、GPT-4o w/ICLを完全にoutperformしているのが興味深い。
  • リポジトリはGitHub – OpenBMB/WorkflowLLM