Dynatask: ベンチマーク作成用フレームワーク

Web Phishing Detection回避とその対策

  • Towards Web Phishing Detection Limitations and Mitigation [21.7]
    フィッシングサイトが機械学習に基づく検出をバイパスする方法を示す。 100Kフィッシング・ベナンサイトを用いた実験では、有望な精度(98.8%)を示した。 本稿では,ロジスティック回帰に基づくよりレジリエントなモデルであるAnti-SubtlePhishを提案する。
    論文  参考訳(メタデータ)   (Sun, 3 Apr 2022 04:26:04 GMT)
    • フィッシングサイトがMLベースの検出をバイパスしている方法の調査とその対策の提案。13,000のフィッシングページにわたる詳細なケーススタディを行っているとのことで面白い内容。
    • 提案されているAnti-SubtlePhishは主として特徴量の強化を行っている。最終的なレンダリング結果を使うことが重要そう。

ロボットへの自然言語によるフィードバック

  • Correcting Robot Plans with Natural Language Feedback [88.9]
     既存の補正方法(例えばジョイスティックの使用やエンドエフェクターの直接操作など)は完全な遠隔操作やリアルタイム操作を必要とする。 本稿では,ロボット訂正のための表現的かつ柔軟なツールとして自然言語を探索する。これらの変換により、ユーザは目標を正し、ロボットの動きを更新し、計画上のエラーから回復できる。 本手法により,シミュレーション環境や実環境において,複数の制約を合成し,未知のシーン,オブジェクト,文に一般化することが可能となる。
    論文  参考訳(メタデータ)  参考訳(全文)  (Mon, 11 Apr 2022 15:22:43 GMT)
    • 自然言語でロボットにフィードバックするという未来を感じる研究。

CoCoSoDa: Code search with multimodal Contrastive learning and Soft Data augmentation

  • Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.1]
    コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
    論文  参考訳(メタデータ)   (Fri, 8 Apr 2022 03:03:48 GMT)
    • コードスニペットの検索タスクにおいて優れた性能を達成、とのことだがマルチモーダルの意味は自然言語とソースコードということなのだろうか。。

マルチリンガルな検索におけるベストプラクティスに向けて

  • Towards Best Practices for Training Multilingual Dense Retrieval Models [54.9]
    我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。 本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
    論文  参考訳(メタデータ)   (Tue, 5 Apr 2022 17:12:53 GMT)
    • (1) マルチリンガルな事前学習モデルはあるがデータはない、(2) マルチリンガルな事前学習モデルとデータの両方がある(データの言語でいくつかのバリエーションが存在)、(3) データはあるが事前学習モデルがない、のパターンでどのような対応がありえるかまとめた論文。
    • 結果は参考にはなるのだが、機械翻訳を挟むアプローチが検討されていないのはなぜなんだろう・・・?

PERFECT: Prompt-free and Efficient paRadigm for FEw-shot Cloze-based fine-Tuning

  • PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.4]
    PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
    論文  参考訳(メタデータ)  参考訳(全文)  (Sun, 3 Apr 2022 22:31:25 GMT)
    • 手作業のプロンプト作成を排除するため、タスクを表すAdaptor層をチューニング可能なアーキテクチャ。手作業無しで優れた性能を達成とのこと。
    • リポジトリはGitHub – rabeehk/perfect

ELECRec: Sequential Recommenders

  • ELECRec: Training Sequential Recommenders as Discriminators [94.9]
    シーケンシャルレコメンデーションは、しばしば生成タスク、すなわち、ユーザの関心事の次の項目を生成するためにシーケンシャルエンコーダを訓練すると考えられる。 我々は、ジェネレータではなく、識別器としてシーケンシャルレコメンデータを訓練することを提案する。 本手法は,サンプル項目が「現実の」対象項目であるか否かを識別するために識別器を訓練する。
    論文  参考訳(メタデータ)   (Tue, 5 Apr 2022 06:19:45 GMT)
    • シーケンシャルレコメンダを識別器として訓練することで優れた性能を達成とのこと(生成器は補助的に使用)。S^3-RecやBERT4Recからかなりの改善幅があるように見えて驚き。
    • リポジトリはhttps://github.com/salesforce/ELECRecとのことだが現時点では404

Saycan: 言語モデルの知識を用いたタスク分解

  • Do As I Can, Not As I Say: Grounding Language in Robotic Affordances [119.3]
    大規模な言語モデルは、世界に関する豊富な意味知識を符号化することができる。 このような知識は、自然言語で表現された高レベルで時間的に拡張された命令を動作させようとするロボットにとって極めて有用である。 低レベルのスキルを大規模言語モデルと組み合わせることで,言語モデルが複雑かつ時間的に拡張された命令を実行する手順について高いレベルの知識を提供することを示す。
    論文  参考訳(メタデータ)   (Mon, 4 Apr 2022 17:57:11 GMT)
    • 言語モデルが持つ知識から大きなタスクを複数の小さなタスクに分解することは可能だが、実施不可能なタスク分解が行われることもある。ある領域で実施可能なことを評価関数とすることで変なタスク分解が起きないようにできるとのこと。
      • いろいろなところで自然言語を介した取り組みがあるなーと思う。
    • プロジェクトサイトはSayCan (say-can.github.io)

VQGAN & Transformerによるビデオ生成

  • Long Video Generation with Time-Agnostic VQGAN and Time-Sensitive Transformer [66.6]
    本稿では3D-VQGANとトランスフォーマーを使って数千フレームのビデオを生成する手法を提案する。 評価の結果,16フレームのビデオクリップでトレーニングしたモデルでは,多種多様でコヒーレントで高品質な長編ビデオが生成できることがわかった。 また,テキストと音声に時間情報を組み込むことで,有意義な長ビデオを生成するための条件付き拡張についても紹介する。
    論文  参考訳(メタデータ)  参考訳(全文)  (Thu, 7 Apr 2022 17:59:02 GMT)

言語モデルは説明文から学べるか?

  • Can language models learn from explanations in context? [21.7]
    大規模言語モデルは、いくつかのコンテキスト内例に適応することで、新しいタスクを実行することができる。 人間にとって、例からの素早い学習は、例とタスク原則を結びつける説明の恩恵を受けることができる。 少数例の説明によって言語モデルがより効果的に適応できるかどうかを考察する。
    論文  参考訳(メタデータ)   (Tue, 5 Apr 2022 16:33:44 GMT)
    • few-shot設定で例示される内容に説明を付与すると性能を向上可能という論文。大規模モデルにおいて効果的とのこと。近年の大規模モデルが例と説明の何らかの対応付けができる規模になっているのだとすると面白い。