XMOD(Cross-lingual Modular): 多言語モデルの転移性能の向上

  • Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.5]
    多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
    論文  参考訳（メタデータ）   (Thu, 12 May 2022 17:59:56 GMT)

CoCoA-MT: フォーマルさを考慮した機械翻訳データセット

  • CoCoA-MT: A Dataset and Benchmark for Contrastive Controlled MT with Application to Formality [22.4]
    敬語を扱う際には、特定の問題が生じる。 間違った音や不整合音を使用するのは不適切とみなされることがある。 ラベル付きコントラストデータを微調整することで,フォーマルさを制御するモデルが訓練できることを示す。
    論文  参考訳（メタデータ）   (Mon, 9 May 2022 04:05:36 GMT)

AIのSustainabilityに関するサーベイ

  • A Survey on AI Sustainability: Emerging Trends on Learning Algorithms and Research Challenges [35.3]
    我々は、AIの持続可能性問題に対処できる機械学習アプローチの大きなトレンドについてレビューする。 我々は、既存の研究の大きな限界を強調し、次世代の持続可能なAI技術を開発するための潜在的研究課題と方向性を提案する。
    論文  参考訳（メタデータ）   (Sun, 8 May 2022 09:38:35 GMT)
    • 環境を軸とした持続可能性（Computitaion-Efficient, Data-Efficient）、社会を軸とした持続可能性（Responsible,  Rationalizable & Resilient）という2つの側面からAIの持続可能性を整理したサーベイ。興味深い整理軸。

小さなシードデータを用いたデータ構築

  • Few-shot Mining of Naturally Occurring Inputs and Outputs [83.4]
    我々は,100個の小さなSeedセットを用いて訓練した教師付き鉱業関数を用いて,大規模コーパスからの入力出力例をマイニングした。 モデル生成データ拡張とは違って,本手法では,複数のタスクを対象としたシードセットのスタイルを模倣するために,自然に発生する高品質な入力出力ペアをマイニングする。 SQuAD型読解では, 採取したデータでシードセットを増強すると, シードセットのみを微調整したBART-largeベースラインよりも13F1の精度が向上した。
    論文  参考訳（メタデータ）  参考訳（全文）  (Mon, 9 May 2022 05:40:52 GMT)
    • 最初に小規模データを準備、その知識を用いて大規模コーパスから学習データを構築しようという報告。XSumとSQuADで有効性を確認とのこと。

AFK(Asking for Knowledge): 質問をする強化学習

  • Asking for Knowledge: Training RL Agents to Query External Knowledge Using Language [121.6]
    グリッドワールドベースのQ-BabyAIとテキストベースのQ-TextWorldの2つの新しい環境を紹介した。 本稿では,意味のある知識を問うための言語コマンドを生成する「知識の探索(AFK)」エージェントを提案する。
    論文  参考訳（メタデータ）   (Thu, 12 May 2022 14:20:31 GMT)
    • 外部知識にクエリーが可能な強化学習エージェントの提案。実行環境を作ったうえで有効性を確認している。
      • エージェントと環境を仲介するのが自然言語であるのが興味深い。
    • プロジェクトサイトはAFK (ioujenliu.github.io)

Number Entity Recognition

  • Number Entity Recognition [65.8]
    番号は他のワードトークンと同様に、自然言語処理(NLP)モデルを構築し、デプロイするテキストの必須コンポーネントである。 通常、ほとんどのNLPタスクでは数値は明確に説明されていないが、NLPモデルで既に示されている数値は根底にある。 本研究では,最先端nlpモデルの潜在能力を活用し,関連するタスクにおける性能向上能力の伝達を試みる。 提案した数値をエンティティに分類することで,手作りのFill-In-The-Blank (FITB)タスクやジョイント埋め込みを用いた質問応答,BERTとRoBERTaのベースライン分類よりも優れている。
    論文  参考訳（メタデータ）   (Sat, 7 May 2022 05:22:43 GMT)
    • 数字に対するNER。実用的には重要な技術で欲しい状況も多数経験している。
    • データセットを公開するようだが現時点ではリンクがない（？）

EASE(Entity-Aware contrastive learning of Sentence Embeddings)

  • EASE: Entity-Aware Contrastive Learning of Sentence Embedding [37.7]
    EASEは文とその関連エンティティ間の対照的な学習を通して文の埋め込みを学習する新しい方法である。 EASEは英語のセマンティックテキスト類似性(STS)と短いテキストクラスタリング(STC)タスクにおいて、競合的あるいはより良いパフォーマンスを示す。
    論文  参考訳（メタデータ）   (Mon, 9 May 2022 13:22:44 GMT)
    • エンティティ情報を活用した文の分散表現化。マルチリンガル設定を含むSTC/STSで優れた性能を達成とのこと。
    • リポジトリはGitHub – studio-ousia/ease

音声キャプショニングのサーベイ

  • Automated Audio Captioning: an Overview of Recent Progress and New Challenges [57.0]
    自動音声キャプションは、与えられた音声クリップの自然言語記述を生成することを目的とした、モーダル横断翻訳タスクである。 本稿では、既存の様々なアプローチから評価指標やデータセットまで、自動音声キャプションにおけるコントリビューションの総合的なレビューを行う。
    論文  参考訳（メタデータ）   (Thu, 12 May 2022 08:36:35 GMT)
    • Audio Captioningのサーベイ。とても大事なタスクである一方でimage captioningやvideo captioningに比べて歴史が浅い（2017～）というのに驚いた。

日本語特化CLIP

rinna社、日本語に特化した言語画像モデルCLIPを公開｜rinna株式会社のプレスリリース (prtimes.jp)というニュースがあった。

rinnaによる日本語版CLIPと日本語版 CLOOB: Modern Hopfield Networks with InfoLOOB Outperform CLIP (fugumt.com)で、Apache-2ライセンスでの公開。重要なモデルをOSSで公開いただけるのは非常にありがたい。

リポジトリはrinna/japanese-clip-vit-b-16 · Hugging Face、rinna/japanese-cloob-vit-b-16 · Hugging Face。

CiteSum: 論文のTLDR要約

  • CiteSum: Citation Text-guided Scientific Extreme Summarization and Low-resource Domain Adaptation [41.5]
    我々は、人間のアノテーションを使わずに新しいベンチマークCiteSumを作成し、これは前回の人間計算データセットSciTLDRの約30倍の大きさである。 科学的極端の要約では、CITESは微調整なしでSciTLDR上で完全に制御された手法よりも優れている。 ニュースの極端な要約では、CITESはベースモデルよりもXSumに大きな利益を得ている。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 12 May 2022 16:44:19 GMT)