月: 2022年12月

数学的推論とDeep Learningのサーベイ

Biomedical image analysis competitions: The state of current participation practice

  • Biomedical image analysis competitions: The state of current participation practice [125.2]
    我々は,バイオメディカルイメージング分析の特定の分野におけるアルゴリズム開発の現状を明らかにするための調査を設計した。 この調査は、参加者の専門知識と作業環境、選択した戦略、およびアルゴリズムの特徴をカバーした。 全体として、すべてのソリューションの94%はディープラーニングベースのものだ。そのうち84%は標準アーキテクチャに基づいていた。
    論文  参考訳（メタデータ）   (Fri, 16 Dec 2022 16:44:46 GMT)
  • バイオメディカルな画像分析コンペティションを分析した論文

DIONYSUS: dynamic input optimization in pre-training for dialogue summarization

  • DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.7]
    DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
    論文  参考訳（メタデータ）   (Tue, 20 Dec 2022 06:21:21 GMT)
  • 対話要約のための事前学習モデル。特にトレーニング例が少ない場合の性能が高く、PEGASUSを上回る。また、10例の学習で1000例でfine tuningしたT5を上回るとのこと。

Learned Systems Security

  • Learned Systems Security [30.4]
    学習システムは内部で機械学習(ML)を使用してパフォーマンスを向上させる。 このようなシステムは、いくつかの敵対的ML攻撃に対して脆弱であることが期待できる。 MLの使用に起因した脆弱性を識別するフレームワークを開発する。
    論文  参考訳（メタデータ）   (Tue, 20 Dec 2022 15:09:30 GMT)
  • （機械）学習モデルを含むシステムのセキュリティについて扱った論文
  • 学習機構を悪用することで攻撃ができるとの内容で、この手の考慮が必要と再認識できる。

Privacy Adhering Machine Un-learning in NLP

  • Privacy Adhering Machine Un-learning in NLP [66.2]
    現実の業界では、機械学習を使ってユーザデータに基づくモデルを構築します。 このような委任事項には、データだけでなく、モデルの再トレーニングにも労力が要る。 データの継続的な削除と モデル再訓練のステップはスケールしません この課題に対処するために、Machine Unlearningを提案する。
    論文  参考訳（メタデータ）   (Mon, 19 Dec 2022 16:06:45 GMT)
  • 規制対応等で重要な自然言語処理におけるMachine Unlearning手法（というかUnlearningを可能とする学習フレームワーク）の提案
  • 学習データをシャードに分けて取り扱い、Unlearningの必要が生じた場合は影響を受ける部分のみに対処するというシンプルな方針

Social recommender systems (SocialRS)のサーベイ

  • A Survey of Graph Neural Networks for Social Recommender Systems [15.6]
    ソーシャルレコメンデーションシステム(Social Recommer System)は、ユーザ間インタラクションとユーザ間ソーシャルリレーションを同時に活用する。 グラフニューラルネットワーク(GNN)の進歩により、近年多くのGNNベースのSocialRS手法が開発されている。 我々は,GNNに基づくSocialRS手法に関する文献を包括的かつ体系的にレビューする。
    論文  参考訳（メタデータ）   (Mon, 12 Dec 2022 18:30:49 GMT)
  • GNNベースのソーシャルレコメンデーションのサーベイ
  • グラフ構造の利用も含めて参考になる

Understanding Translationese in Cross-Lingual Summarization

  • Understanding Translationese in Cross-Lingual Summarization [45.0]
    言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。 大規模なCRSサンプルを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。 本研究では,翻訳文がCLSモデルの評価と性能にどのような影響を及ぼすかを検討する。
    論文  参考訳（メタデータ）   (Wed, 14 Dec 2022 13:41:49 GMT)
  • 翻訳を介する要約生成における翻訳処理の影響をまとめた論文
  • 影響があるのは直感的にも間違いなく、少なくともテストでは機械翻訳の採用を避ける、学習時には機械翻訳を一部使う場合は品質差があることを前提とする・semi-supervisedの採用を検討するなど良い示唆がある。

Language Models as Inductive Reasoners

  • Language Models as Inductive Reasoners [141.3]
    本稿では,自然言語の事実から自然言語規則を誘導するタスクを提案する。 自然言語を論理言語ではなく知識の表現として使用し、事前学習した言語モデルを「推論者」として使用します。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
    論文  参考訳（メタデータ）   (Wed, 21 Dec 2022 11:12:14 GMT)
  • 言語モデルにより帰納法を実現できるかの研究。モデル構築も評価も難しい問題。
  • 本件のために12K規模のデータセットを作成、chain-of-language-models (CoLM)というフレームワークを提案、ベースラインを超えたと主張。
    （ただし性能は高くなさそう…）
  • コードなどは公開予定とのこと

X-Decoder

  • Generalized Decoding for Pixel, Image, and Language [197.9]
    画素レベルのセグメンテーションと言語トークンをシームレスに予測できる一般化デコードモデルであるX-Decoderを提案する。 X-Decoderは、すべてのタイプのイメージセグメンテーションと様々な視覚言語(VL)タスクをサポートする統一された方法を提供する最初の作品である。
    論文  参考訳（メタデータ）   (Wed, 21 Dec 2022 18:58:41 GMT)
  • 多様なセグメンテーションタスクに対応可能な視覚・言語モデル
  • X-Decoder: Generalized Decoding for Pixel, Image and Language (x-decoder-vl.github.io)

Robust Summarization Evaluation (RoSE)とAtomic Content Units (ACUs)

  • Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.2]
    既存の人間の評価プロトコルと要約のためのベンチマークは、アノテーション間の合意が低いか、統計的に重要な結論を導くのに必要な尺度が欠如している。 本稿では,微粒なセマンティック・ユニットに依存し,アノテータ間のアノテータ・アグリーメントを高い精度で実現する,改良された要約サリエンス・プロトコルであるAtomic Content Units(ACUs)を提案する。
    論文  参考訳（メタデータ）   (Thu, 15 Dec 2022 17:26:05 GMT)
  • 評価が難しい要約の評価について、新たなメトリクスとベンチマークの提案。どのくらい事実を含んでいるかという観点を入れているよう。
  • Yale-LILY/ROSE (github.com)