コンテンツへスキップ
- BLUR: A Bi-Level Optimization Approach for LLM Unlearning [106.0]
大規模言語モデル（LLMs）が訓練によって得た知識や能力を上手く忘れさせることは、データ規制の遵守や倫理的なAI使用に不可欠である。従来の忘却と保持の損失を重み付けした手法は性能低下を招きやすいため、著者らは忘却を優先させた階層的アプローチを提案し、新しいアルゴリズム「Bi-Level UnleaRning（BLUR）」を開発した。この手法は理論的保証を持ちながら、様々な課題において他の最先端アルゴリズムを上回る性能を示している。
論文 参考訳（メタデータ） (Mon, 09 Jun 2025 19:23:05 GMT)
- 「Should we aim to forget and retain simultaneously? In many cases, the answer is no.」、「Instead of treating unlearning as a binary process of simply forgetting specific information while retaining the rest, we argue that we should prioritize and structure these tasks hierarchically.」を軸とした新たなunlearning手法の提案。
- リポジトリはGitHub – OptimAI-Lab/BLURLLMUnlearning
- Domain2Vec: Vectorizing Datasets to Find the Optimal Data Mixture without Training [53.1]
DOMAIN2VECは、データセットを複数のメタドメインの線形結合に分解する新しいアプローチです。この手法は、ドメインベクターを生成し、トレーニングなしでデータミクスチャーの最適化を可能にします。実験では、この方法が計算コストを抑えながら、下流タスクのパフォーマンスを平均2.83%向上させることが示されています。
論文 参考訳（メタデータ） (Thu, 12 Jun 2025 17:53:51 GMT)
- 色々な動きがあって興味深い2vec系の報告
- 「DOMAIN2VEC seamlessly integrates with existing methods, greatly improving their efficiency and scalability by establishing a direct relationship between model performance and domain vectors, without requiring retraining when training datasets change. Our experimental results demonstrate that both DOMAIN2VEC+DA2 and DOMAIN2VEC+RegMix achieve comparable text generation and downstream task performance with reduced computational overhead com- pared to existing approaches.」
- SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation [46.5]
SVGeniusは3つのプログレッシブディメンション(理解、編集、生成)にわたる2,377のクエリからなる総合ベンチマークである。 SVGeniusは、システマティックな複雑性層を持つ24のアプリケーションドメインの実際のデータに基づいて、8つのタスクカテゴリと18のメトリクスでモデルを評価する。
論文 参考訳（メタデータ） (Tue, 03 Jun 2025 17:58:57 GMT)
- SVGを対象としたベンチマーク、「Evaluation of 22 models reveals that while proprietary models outperform open-source counterparts, all models degrade with increasing complexity, and reasoning- enhanced training proves more effective than pure scaling.」とのこと。
- リポジトリはSVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation