Causal Machine Learning

  • Causal Machine Learning: A Survey and Open Problems [33.8]
    Causal Machine Learning (CausalML)は、データ生成過程を構造因果モデル(Structure causal model, SCM)として定式化する機械学習手法の略称である。 1) 因果関係の学習, (2) 因果関係の生成モデル, (3) 因果関係の説明, (4) 因果関係の公正性,(5) 因果関係の強化学習。
    論文  参考訳（メタデータ）   (Thu, 30 Jun 2022 17:59:15 GMT)
    • CausalMLのサーベイ。非常に詳しくサーベイというより教科書的な内容。
    • このレベルのものがCC BYで読めてしまうのはすごいと思う。

Transfer Learningとバイアス

  • When does Bias Transfer in Transfer Learning? [89.2]
    トランスファーラーニングを使用して、トレーニング済みの”ソースモデル”を下流の”ターゲットタスク”に適応させることで、ダウンサイドのないように見えるパフォーマンスを劇的に向上させることができる。 結局のところ、バイアス伝達や、モデルがターゲットクラスに適応した後でも、ソースモデルのバイアスが持続する傾向というマイナス面が存在することを実証する。
    論文  参考訳（メタデータ）   (Wed, 6 Jul 2022 17:58:07 GMT)
    • バイアスがかかった事前学習モデルをTransfer Learningで利用した場合、データセットにバイアスが無くても、最終的なモデルにバイアスが発生するとの報告。危険性を認識しておく必要がある。
    • リポジトリはGitHub – MadryLab/bias-transfer

長文要約のサーベイ

  • An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics [33.7]
    本稿では,長い文書要約研究の概要について概説する。 我々は、現在の研究の進展に対する視点を広げるために、実証分析を行う。
    論文  参考訳（メタデータ）   (Sun, 3 Jul 2022 02:57:22 GMT)

医療分野の機械学習における公平性のサーベイ

  • Fair Machine Learning in Healthcare: A Review [53.9]
    医療のための機械学習において公平性の問題が特定されており、特定のグループに対して限られた医療資源を不公平に割り当てたり、過剰な健康リスクを負ったりしている。 公平な問題を露呈し、バイアスを要約し、緩和方法を整理し、将来の機会とともに課題を指摘することで橋を架けます。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 29 Jun 2022 04:32:10 GMT)
    • ヘルスケア分野でAI活用が進んでいるが、そのなかに含まれかねないバイアスの特定と公正性に関するサーベイ。

Trial2Vec

  • Trial2Vec: Zero-Shot Clinical Trial Document Similarity Search using Self-Supervision [42.9]
    同様の臨床試験に注釈を付けずに自己監督を通じて学習するTrial2Vecを提案する。 臨床試験文書(タイトル、資格基準、対象疾患など)のメタ構造と臨床知識を活用して、コントラスト的なサンプルを自動生成する。 本手法は, 可視化により医療的に解釈可能な埋め込みを実現し, 試行錯誤における最良基準値に対して平均15%の精度向上が得られることを示す。
    論文  参考訳（メタデータ）  参考訳（全文）  (Wed, 29 Jun 2022 15:37:11 GMT)
    • 臨床試験文書のベクトル化、to vecシリーズでもかなり特殊な例

BackdoorBench

  • BackdoorBench: A Comprehensive Benchmark of Backdoor Learning [57.9]
    バックドア学習は、ディープニューラルネットワーク(DNN)の脆弱性を研究する上で、新しく重要なトピックである 多くの先駆的なバックドア攻撃と防衛手法が、素早い武器競争の状況において、連続的または同時に提案されている。 BackdoorBenchというバックドア学習の総合的なベンチマークを構築しています。
    論文  参考訳（メタデータ）   (Sat, 25 Jun 2022 13:48:04 GMT)
    • バックドア攻撃と防御のためのベンチマーク。攻撃手法、防御手法の組み合わせで表現されたリーダーボードが面白い。
    • プロジェクトサイトはBackdoorBench

Benchopt: 最適化ベンチマーク

  • Benchopt: Reproducible, efficient and collaborative optimization benchmarks [66.3]
    Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
    論文  参考訳（メタデータ）   (Mon, 27 Jun 2022 16:19:24 GMT)

機械学習とAutomated test generation

  • The Integration of Machine Learning into Automated Test Generation: A Systematic Literature Review [15.0]
    機械学習(ML)は効果的な自動テスト生成を可能にする。 新たな研究、テストプラクティスの検証、研究者の目標、適用されたMLテクニック、評価、課題を特徴付ける。
    論文  参考訳（メタデータ）   (Thu, 23 Jun 2022 13:42:02 GMT)
    • 自動テスト生成に対して機械学習を用いる研究のサーベイ。
    • 教師有り学習、教師無し、半教師有り、強化学習など様々なアプローチがあるよう

PLATON(Pruning LArge TransfOrmer with uNcertainty)

  • PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.2]
    本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
    論文  参考訳（メタデータ）   (Sat, 25 Jun 2022 05:38:39 GMT)
    • 重要性と不確実性の両方を考慮しながらPruningを行う手法の提案。BERT、ViT-B16を用いて有効性を検証、既存手法を上回る性能を出したとのこと。
    • リポジトリはQingruZhang/PLATON · GitHubとのことだが、現時点ではソースなどは公開されていない。

Minerva: 定量的な推論を改善した大規模言語モデル

  • Solving Quantitative Reasoning Problems with Language Models [53.5]
    我々は、一般的な自然言語データに基づいて事前訓練された大規模言語モデルであるMinervaを紹介し、さらに技術的な内容について訓練する。 このモデルは、外部ツールを使わずに、技術的ベンチマークで最先端のパフォーマンスを達成する。 我々はまた、物理学、生物学、化学、経済学、その他の科学における200以上の学部レベルの問題に対して、我々のモデルを評価した。
    論文  参考訳（メタデータ）   (Wed, 29 Jun 2022 18:54:49 GMT)
    • 従来難しいとされてきた定量的な推論（いわゆる理系っぽいテストで出てくる問題）を含む問題を解けるモデルの提案。PaLMやOpenAIのdavinti-002（GPT-3）に比べて大幅にパフォーマンスを改善。
      • 通常の問題同様、パラメータサイズの増加による改善もみられる。
      • 従来難しいとされていた問題が解けていくのは素晴らしいが、最近のスピード感が凄くて驚き。
      • 推論時の工夫もやっているが、conclusionでは「high quality mathematical dataset」が最初に挙げられていた。
    • BlogはGoogle AI Blog: Minerva: Solving Quantitative Reasoning Problems with Language Models (googleblog.com)