月: 2022年3月

Delta Tuning: 事前学習モデルの効率的なチューニング

  • Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models [90.2]
    標準の微調整とは対照的に、デルタチューニングはモデルパラメータのごく一部を微調整するだけであり、残りは触れないままである。 近年の研究では、パラメータ選択の異なる一連のデルタチューニング手法が、フルパラメータの微調整と同等の性能を達成できることが示されている。
    論文  参考訳（メタデータ）   (Mon, 14 Mar 2022 07:56:32 GMT)

Lexiconを用いた事前学習モデルの拡張

Multi-hopや回答可能性を考慮したQuestion Generation

Question Generationを扱った論文が2日続けて出ていた。

  • Ask to Understand: Question Generation for Multi-hop Question Answering [11.6]
    マルチホップ質問回答 (Multi-hop Question Answering, QA) は、複数の文書から散乱した手がかりを見つけ、推論することで複雑な質問に答えることを要求する。 質問生成(QG)の観点から,マルチホップQAを補完する新しい手法を提案する。
    論文  参考訳（メタデータ）   (Thu, 17 Mar 2022 04:02:29 GMT)
    • マルチホップなQAを作るための手法の提案。sub questionを介するパイプラインになっているようだが、Multi-hop Question Answering自体が挑戦的なタスクなのでうまくいくならすごいと思う。

ELLE(Efficient Lifelong Pre-training for Emerging Data): 新たなデータの発生を考慮したPLM

  • ELLE: Efficient Lifelong Pre-training for Emerging Data [91.5]
    現在の訓練済み言語モデル(PLM)は、静的なデータでトレーニングされるが、現実のシナリオでは、様々なソースのストリーミングデータが継続的に成長する可能性がある。 新興データに対する効率的な生涯事前学習を目的としたELLEを提案する。 ELLEは,(1)既存のPLMの幅と深さを柔軟に拡張して知識獲得の効率を向上する機能保持モデル展開と,(2)事前学習時に学習した多目的知識を混乱させ,下流タスクの適切な知識を刺激する事前学習ドメインプロンプトから構成される。
    論文  参考訳（メタデータ）   (Sat, 12 Mar 2022 01:53:53 GMT)
    • 特に言語モデルで問題となる新たなデータに対する継続的な学習（ここではLifelong learning）に関する論文。計算コスト等を下げる効率的な枠組みを提案。既存の言語モデルの幅や深さ（パラメータ数）を拡大する際に効率化が可能とのこと。
      • 新たなデータを獲得するたびにモデルサイズも拡張していく設定がリアル。。。

Chart-to-Text：グラフを自然言語で表現するためのデータセット

  • Chart-to-Text: A Large-Scale Benchmark for Chart Summarization [9.6]
    2つのデータセットと44,096のチャートを持つ大規模ベンチマークであるChart-to-textを提示する。 データセット構築プロセスを説明し、データセットを解析する。
    論文  参考訳（メタデータ）   (Sat, 12 Mar 2022 17:01:38 GMT)
    • グラフの説明をするモデル構築のためのデータセットとベースラインの提案。比較を含むためテキスト生成の中でも難しいタスクのように感じる。
    • リポジトリはGitHub – vis-nlp/Chart-to-textとのこと。（現状ではアップロードされていない）

音声CAPTCHAの攻撃と防御

  • Attacks as Defenses: Designing Robust Audio CAPTCHAs Using Attacks on Automatic Speech Recognition Systems [10.8]
    近年,ロバストで原理駆動型オーディオディフェンスの構築にインスピレーションを与えるために,音声・テキストシステムに対する攻撃について検討している。 本稿では,比較的知的な(ユーザスタディを通じて評価)かつ,自動書き起こしが難しい新しいメカニズムを提案する。 音声サンプルは,音声合成システムにおいてCAPTCHAとして検出される確率が高い。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 10 Mar 2022 15:04:15 GMT)
    • 音声のCAPTCHAに対する攻撃と防御を整理し堅牢な音声CAPTCHA、Yeehaw Junctionを提案。

Data Smells: データ品質の問題を示唆する特徴

  • Data Smells in Public Datasets [7.1]
    我々は、機械学習システムにおける問題の早期兆候を示すために使用できる、新しいデータ臭いのカタログを紹介する。 データセットにおけるデータ品質の問題の頻度を理解するために、25の公開データセットを分析し、14のデータ臭いを特定します。
    論文  参考訳（メタデータ）   (Tue, 15 Mar 2022 15:44:20 GMT)
    • Code smellのデータ版。ローデータ（前処理前）と考えると納得しかねる指摘もあるが、面白い研究であり重要であるとも思う。

自動運転におけるSemantic AI Securityのサーベイ

  • SoK: On the Semantic AI Security in Autonomous Driving [34.5]
    自律運転システムは、安全と運転判断の正しさをAIコンポーネントに依存している。 このようなAIコンポーネントレベルの脆弱性がシステムレベルでセマンティックに影響を及ぼすためには、非自明なセマンティックギャップに対処する必要がある。 本稿では,このような研究領域を汎用AIセキュリティとは対照的にセマンティックAIセキュリティと定義しsemantic ad aiセキュリティ研究分野における知識の体系化を初めて実施する。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 10 Mar 2022 12:00:34 GMT)
    • 単一コンポーネントの脆弱性がシステム全体に影響を及ぼすかは自明ではなく、System-to-AIとAI-to-Systemの2つのギャップがある。このような研究をsemantic AI securityと呼び、そのサーベイを実施したとのこと。
    • 自動運転のセキュリティに関する良いサーベイでもあり非常に参考になる。
    • プロジェクトサイトはAD & CV Systems Security – PASS (google.com)

DeepAA(Deep AutoAugment): データ拡張の自動化

  • Deep AutoAugment [22.3]
    我々はDeep AutoAugment(DeepAA)というデータ拡張検索のための完全自動化手法を提案する。 DeepAAは、収束に到達するまで、一度に1つの増層レイヤを積み重ねることで、スクラッチから多層データ拡張パイプラインを構築する。 実験の結果, 既定の増補がなくても, 従来よりも高い性能を達成した増補政策を学習できることが判明した。
    論文  参考訳（メタデータ）   (Fri, 11 Mar 2022 18:57:27 GMT)
    • 多層アーキテクチャによるデータ拡張の自動化。他手法に比べて優れた性能を達成したとのこと。

UFO (Unified Framework for Co-Object Segmentation)