MEDFAIR: 医療画像処理の公平性ベンチマーク

  • MEDFAIR: Benchmarking Fairness for Medical Imaging [44.7]
    MEDFAIRは、医療画像のための機械学習モデルの公正性をベンチマークするフレームワークである。 モデル選択基準の未検討の問題は、公正な結果に重大な影響を及ぼす可能性がある。 異なる倫理的原則を必要とするさまざまな医療応用シナリオを推奨する。
    論文  参考訳(メタデータ)   (Tue, 4 Oct 2022 16:30:47 GMT)

MuRAG: マルチモーダルなRAG

  • MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text [58.7]
    我々は,Multimodal Retrieval-Augmented Transformer (MuRAG)を提案する。 MuRAGは外部の非パラメトリックマルチモーダルメモリにアクセスして言語生成を増強する。 以上の結果から, MuRAGは最先端の精度を達成し, 既存のモデルよりも10~20%精度が高いことがわかった。
    論文  参考訳(メタデータ)   (Thu, 6 Oct 2022 13:58:03 GMT)
    • マルチモーダルなRAG、モダリティを追加することで性能も相応に向上している。

GLM-130B

  • GLM-130B: An Open Bilingual Pre-trained Model [40.6]
    我々は,130億のパラメータを持つバイリンガル(英語と中国語)事前学習言語モデルであるGLM-130Bを紹介する。 100Bスケールのモデルを少なくともGPT-3と同程度にオープンソース化する試みである。 本稿では, GLM-130Bの設計選択, 効率と安定性の両面でのトレーニング戦略, エンジニアリングの取り組みを含む, GLM-130B のトレーニングプロセスを紹介する。
    論文  参考訳(メタデータ)   (Wed, 5 Oct 2022 17:34:44 GMT)

XDoc: Unified Pre-training for Cross-Format Document Understanding

  • XDoc: Unified Pre-training for Cross-Format Document Understanding [84.6]
    XDocは、単一のモデルで異なるドキュメントフォーマットを扱う、統合された事前訓練されたモデルである。 XDocは、トレーニング済みの個々のモデルと比較して、さまざまなダウンストリームタスクで同等またはそれ以上のパフォーマンスを達成する。
    論文  参考訳(メタデータ)   (Thu, 6 Oct 2022 12:07:18 GMT)
    • ドキュメント理解のため異なる文書フォーマットを単一のモデルで扱う統一事前学習モデルXdocを提案。
      • 省パラメータで様々な文章形式に対応できるのはありがたいが、(当たり前かもだが?)現時点ではそれぞれのSoTAには及んでいないよう。
    • リポジトリはunilm/xdoc at master · microsoft/unilm (github.com)

機械学習における要求工学

  • Requirements Engineering for Machine Learning: A Review and Reflection [39.0]
    本稿では,機械学習アプリケーションにおける要件工学プロセスの概要について述べる。 産業データ駆動インテリジェンスアプリケーションの例も、前述のステップに関連して議論されている。
    論文  参考訳(メタデータ)   (Mon, 3 Oct 2022 12:24:39 GMT)
    • 機械学習アプリケーションにおける要求をレビューした論文。CRISP-DM と CRISP-ML(Q)の差のようにデータ分析とは異なる点が面白い。
    • 「Fig 1: General collaborations of Stakeholders involved in ML Application Development」は役割分担(興味)を整理するうえでも面白い。

Imagen Video

  • Imagen Video: High Definition Video Generation with Diffusion Models [64.1]
    Imagen Videoは、ビデオ拡散モデルのカスケードに基づくテキスト条件付きビデオ生成システムである。  imagen videoは忠実度の高い動画を生成するだけでなく、さまざまな芸術スタイルで多様なビデオやテキストアニメーションを生成できる機能や、3dオブジェクト理解機能など、高度な制御性と世界の知識も備えている。
    論文  参考訳(メタデータ)   (Wed, 5 Oct 2022 14:41:38 GMT)
    • Imagenの動画版、低解像度・低フレームレートの動画から画像方向・時間方向の両面で超解像度化を行っている
    • プロジェクトサイトはImagen Video (research.google)

Binding Language Models in Symbolic Languages

  • Binding Language Models in Symbolic Languages [146.3]
    Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。 解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。 実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
    論文  参考訳(メタデータ)   (Thu, 6 Oct 2022 12:55:17 GMT)

WikiDes: Wikipediaベースの概要データセット

  • WikiDes: A Wikipedia-Based Dataset for Generating Short Descriptions from Paragraphs [66.9]
    ウィキデックスはウィキペディアの記事の短い記述を生成するデータセットである。 データセットは、6987のトピックに関する80K以上の英語サンプルで構成されている。 本論文は,ウィキペディアとウィキデータに多くの記述が欠落していることから,実際的な影響を示すものである。
    論文  参考訳(メタデータ)   (Tue, 27 Sep 2022 01:28:02 GMT)
    • Wikipediaの最初の段落とWikidataの説明を関連付けしたデータセット。平均的なドキュメントサイズが小さめで段落をさらに短く説明するようなデータになっている。

TabMWP: Tabular Math Word Problem

  • Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning [150.2]
    数学的な推論を必要とする38,431のグレードレベルの問題を含む新しいデータセットであるTabular Math Word Problems (TabMWP)を提案する。 我々は,GPT-3モデルを含む,TabMWP上での事前学習モデルの評価を行った。 本稿では、ポリシー勾配を利用して、少量のトレーニングデータからコンテキスト内サンプルを選択する新しいアプローチ、PromptPGを提案する。
    論文  参考訳(メタデータ)   (Thu, 29 Sep 2022 08:01:04 GMT)
    • 表形式のデータに対して数学的な推論を必要とするデータセットの提案。38Kと規模も大きい。GPT-3+強化学習により一般的な手法よりも高い性能を達成とのこと。

GPT-3時代の要約

  • News Summarization and Evaluation in the Era of GPT-3 [73.5]
    我々は,0ショットGPT-3が,大規模な要約データセット上で訓練された微調整モデルと比較した。 我々は,人間はGPT-3要約を圧倒的に好んでいるだけでなく,現実性に乏しいようなデータセット固有の問題に悩まされていることも示している。
    論文  参考訳(メタデータ)   (Mon, 26 Sep 2022 01:04:52 GMT)
    • 機械要約において(機械的評価とは乖離して)人間はGPT-3による要約を好むという報告。通常の要約だけでなくCTRLSumが行うようなキーワードベースの手法でもGPT-3の方が好まれるとのこと。
      • 特化系のモデルが(Promptがあるとはいえ)汎用のモデルに勝てない時代…
    • リポジトリはtagoyal/factuality-datasets (github.com)