MUSE: Machine Unlearning Six-Way Evaluation for Language Models

  • MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.8]
    言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。 総合的な機械学習評価ベンチマークであるMUSEを提案する。 人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
    論文  参考訳(メタデータ)   (Mon, 08 Jul 2024 23:47:29 GMT)
  • Machine unlearningに関するベンチマーク、「(1) no verbatim memorization, (2) no knowledge memorization, (3) no privacy leakage, (4) utility preservation on data not intended for removal, (5) scalability with respect to the size of removal requests, and (6) sustainability over sequential unlearning requests.」と多様なクライテリアを持つ。
  • リポジトリはMUSE (muse-bench.github.io)

TALENT: A Tabular Analytics and Learning Toolbox

  • TALENT: A Tabular Analytics and Learning Toolbox [24.9]
    本稿では,表型手法の活用,分析,比較を行うためにTALENT (Tabular Analytics and LEarNing Toolbox) という汎用的なディープラーニングツールボックスを提案する。 TALENTは、様々なエンコーディングおよび正規化モジュールに関連する、20以上の深い表層予測手法の広範なコレクションを含んでいる。 本稿では,ツールボックスの設計と機能について述べるとともに,その実践的応用をいくつかのケーススタディを通じて説明し,ツールボックスをベースとした各種手法の性能について検討する。
    論文  参考訳(メタデータ)   (Thu, 04 Jul 2024 16:57:14 GMT)
  • テーブルデータ分析のためのツールボックスでDeep系の手法が豊富に含まれている。
  • リポジトリはGitHub – qile2000/LAMDA-TALENT: A comprehensive toolkit and benchmark for tabular data learning, featuring over 20 deep methods, more than 10 classical methods, and 300 diverse tabular datasets.
  • やはりCatBoostやXGBはかなり優秀なのでは・・・

BioKGBench: A Knowledge Graph Checking Benchmark of AI Agent for Biomedical Science

  • BioKGBench: A Knowledge Graph Checking Benchmark of AI Agent for Biomedical Science [43.6]
    BioKGBenchはAI駆動型バイオメディカルエージェントの評価ベンチマークである。 私たちはまず『Understanding Literature』を2つの原子能力に分解した。 次に、KGQAとドメインベースのRetrieval-Augmented Generationを用いて、KGCheckと呼ばれる新しいエージェントタスクを定式化する。 2つのアトミックなタスクに対して2万以上のデータを集め、225の高品質なアノテートされたデータをエージェントタスクに対して収集する。
    論文  参考訳(メタデータ)   (Sat, 29 Jun 2024 15:23:28 GMT)
  • biomedical分野向けのAIエージェントベンチマーク。「Knowledge Graph Question Answering」、「Scientific Claim Verification」を基礎的能力としてKGCheckという総合的なタスクを提案
  • リポジトリはGitHub – westlake-autolab/Agent4S-BioKG: Agent4S-BioKG: A Knowledge Graph Checking Benchmark of AI Agent for Biomedical Science