EfficientZero: 高効率な強化学習

  • Mastering Atari Games with Limited Data [73.6]
    我々は,MuZero上に構築したモデルベースビジュアルRLアルゴリズムのサンプルを提案し,これをEfficientZeroと呼ぶ。 提案手法は,Atari 100kベンチマークで平均190.4%の人的パフォーマンスを達成し,実戦経験は2時間に過ぎなかった。 アルゴリズムがそのような小さなデータでアタリゲーム上で超人的パフォーマンスを達成するのは、これが初めてである。
    論文  参考訳（メタデータ）   (Sat, 30 Oct 2021 09:13:39 GMT)
  • DQNが2億フレームで到達する性能を、その500分の1のフレーム数で達成できる強化学習のアルゴリズム。
  • リポジトリはhttps://github.com/YeWR/EfficientZero/

人間の注意を併用する学習

  • Human Attention in Fine-grained Classification [38.7]
    我々は,人間の注意が分類などの意思決定プロセスに有用な情報を含んでいることを検証した。まずデータセットCUBに対して人間の視線データを収集し,CUB-GHA(Gaze-based Human Attention)を構築する。次に人間の視線を分類モデルに統合するために、GAT(Gaze Augmentation Training)とKFN(Knowledge Fusion Network)を提案する。
    論文  参考訳（メタデータ）   (Tue, 2 Nov 2021 14:41:11 GMT)

事前学習モデルへのバックドアと下流タスクでの有効性

  • Backdoor Pre-trained Models Can Transfer to All [33.7]
    そこで本研究では,トリガを含む入力を事前学習したNLPモデルの出力表現に直接マッピングする手法を提案する。 NLPにおけるトリガのユニークな特性を考慮して,バックドア攻撃の性能を測定するための2つの新しい指標を提案する。
    論文  参考訳（メタデータ）   (Sat, 30 Oct 2021 07:11:24 GMT)
    • 幅広い下流タスクで有効なバックドア攻撃。事前学習モデルを外部に依存することが多い状況下では脅威となる結果。

文書スタイルの転送に関するサーベイ

  • From Theories on Styles to their Transfer in Text: Bridging the Gap with a Hierarchical Survey [10.8]
    スタイル転送は、既存のテキストを書き換え、望ましいスタイル特性を示すパラフレーズを作成することを目的としている。 少数の調査では、この分野の方法論的な概要が示されているが、研究者が特定のスタイルにフォーカスするのを支援していない。 それらを階層に整理し、それぞれの定義の課題を強調し、現在の研究状況のギャップを指摘します。
    論文  参考訳（メタデータ）   (Fri, 29 Oct 2021 15:53:06 GMT)
    • 文体の転送に関するサーベイで58ページと大規模。整理軸や分野の状況を概観するのに役立つ。

Masked Language Modelを用いたタンパク質表現学習

  • Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [94.0]
    タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。 提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
    論文  参考訳（メタデータ）   (Fri, 29 Oct 2021 04:01:32 GMT)
    • 自然言語処理の論文のような論文だが扱っている対象はタンパク質。LSTMも有効だったとのことでMLMに効果がありそうなのはわかるが、この手の構造が汎用的に有効なのか、バイオ系に特化した構造というのがあるのかないのかは興味がある。

金融分野における倫理的なAI

  • On the Current and Emerging Challenges of Developing Fair and Ethical AI Solutions in Financial Services [1.9]
    我々は、高レベルの原則と具体的なデプロイされたAIアプリケーションとのギャップについて、実践的な考察をいかに示すかを示す。 我々は、高レベルの原則と具体的なデプロイされたAIアプリケーションとのギャップについて、実践的な考察をいかに示すかを示す。
    論文  参考訳（メタデータ）   (Tue, 2 Nov 2021 00:15:04 GMT)
    • 金融分野のAI活用で考えるべき倫理などをまとめた論文。ガイドラインの整理などが参考になるとともに現実とのギャップが理解できる内容。
    • 解決策が提示されているわけではないが「Without regulations it is really difficult to reach any ethics goals in the financial services industry.」はその通りだと思う。

FACT-AIの教育課程

  • Teaching Fairness, Accountability, Confidentiality, and Transparency in Artificial Intelligence through the Lens of Reproducibility [38.9]
    本稿では,アムステルダム大学における,公正性,説明責任性,信頼度,人工知能の透明性(FACT-AI)に関する技術的,大学院レベルのコースのセットアップについて説明する。 コースの焦点は、トップAIカンファレンスの既存のFACT-AIアルゴリズムに基づいたグループプロジェクトであり、彼らの経験に関するレポートを書くことである。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 1 Nov 2021 10:58:35 GMT)
    • AIの社会実装に重要なFACT(Fairness, Accountability, Confidentiality, Transparency)の教育課程に関する報告。1ヶ月のフルタイムコースとして設計されているとのこと。（特に日本だと）この手のコースは多くなく、実践事例は参考になる。

マルチモーダル性を活用した電子健康記録データの分析

  • How to Leverage Multimodal EHR Data for Better Medical Predictions? [13.4]
    電子健康記録(EHR)データの複雑さは、ディープラーニングの適用の課題である。 本稿では,まずEHRから臨床ノートを抽出し,これらのデータを統合する方法を提案する。 2つの医療予測タスクの結果、異なるデータを持つ融合モデルが最先端の手法より優れていることが示された。
    論文  参考訳（メタデータ）   (Fri, 29 Oct 2021 13:26:05 GMT)
    • EHR （Electronic Health Record）のデータ分析において時間に影響されないデータ、時系列性のあるデータ（離散/連続）、臨床ノートの情報という複数種類のデータを統合した結果性能向上に有効だったとの報告。

Self-Supervised Learningに対する10個の課題

  • 10 Security and Privacy Problems in Self-Supervised Learning [31.0]
    自己教師付き学習は、大量のラベルのないデータを使用してエンコーダを事前訓練することを目的としている。 本章では,自己教師型学習における学習済みエンコーダのセキュリティとプライバシに関する10の基本的な問題について論じる。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 28 Oct 2021 21:45:53 GMT)
    • 様々なドメインの自己教師有り学習の概要と10個の攻撃やプライバシーへの問題に関する報告。概要を把握するのによい資料。取り上げられている問題、攻撃、課題は下記の通り。
      • Confidentialityの課題
        • Data Tracing/Auditing
        • Membership Inference Attack
        • Reconstruction Attack
        • Attribute/Property Inference Attack
        • Encoder Hyperparameter Stealing Attack
        • Encoder Parameter Stealing Attack
      • Integrityへの攻撃
        • Backdoor Attacks
        • Poisoning Attack
        • Evasion Attack
      • Availabilityの課題
        •  Resource Depletion Attack

シェアバイクの軌道を用いた違法駐車検出

  • Crowd-sensing Enhanced Parking Patrol using Sharing Bikes’ Trajectories [20.7]
    違法な自動車駐車は、大気汚染や交通事故につながる交通渋滞を引き起こすため、世界中の主要都市が直面する一般的な都市問題である。 Mobikeの巨大で高品質なシェアリングバイクは、ユビキタスで違法な駐車検知アプローチを設計するユニークな機会を提供する。 検出結果は、パトロールスケジュール、すなわち、違法な駐車リスクの高い地域へパトロール警官を派遣し、パトロール効率をさらに向上させることができる。
    論文  参考訳（メタデータ）   (Fri, 29 Oct 2021 05:48:51 GMT)
    • シェアバイクの軌道情報から違法駐車を検出する取り組み、これに加えて効果的なパトロール戦略を提案している。
    • 言われてみるとシェアバイクの軌道と違法駐車は関係していそうではあるけど面白いアプローチ