Understanding and Mitigating the Threat of Vec2Text to Dense Retrieval Systems

Img2Vec

  • Img2Vec: A Teacher of High Token-Diversity Helps Masked AutoEncoders [17.6]
    我々は、深い特徴を持つマスク画像モデリング(MIM)のためのイメージ・トゥ・ベクター(Img2Vec)のパイプラインを提示する。 Img2Vecは、MIM学習を深く特徴付けるのに適した、シンプルで効果的なフレームワークである。
    論文  参考訳(メタデータ)   (Tue, 25 Apr 2023 03:01:37 GMT)
  • 2vec系、Img2Vec

Point2Vec

  • Point2Vec for Self-Supervised Representation Learning on Point Clouds [81.7]
    Data2vecをポイントクラウド領域に拡張し、いくつかのダウンストリームタスクで推奨される結果を報告します。 我々は、ポイントクラウド上でData2vecライクな事前トレーニングの可能性を解放するpoint2vecを提案する。
    論文  参考訳(メタデータ)   (Wed, 29 Mar 2023 10:08:29 GMT)
  • 2vecシリーズの点群版
  • リポジトリはpoint2vec (ka.codes)

AV-data2vec

  • AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations [57.4]
    AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。 LRS3の結果は、AV-data2vecがほとんどの設定で既存のメソッドよりも一貫して優れていることを示している。
    論文  参考訳(メタデータ)   (Fri, 10 Feb 2023 02:55:52 GMT)
  • 音声・画像をマスクして構築するマルチモーダルな2vec
  • ASR, VSR, AVSRで統合的に優れた性能、既存モデルをアウトパフォームとのこと

task vectors

  • Editing Models with Task Arithmetic [70.0]
    事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
    論文  参考訳(メタデータ)   (Thu, 8 Dec 2022 05:50:53 GMT)
  • タスクを表すベクトルを作る・使うまでは理解できるとして、演算ができるって本当か?という研究。とても興味深い。
  • リポジトリはmlfoundations/task_vectors (github.com)

TOKEN2VEC / DyG2Vec

  • 音声認識等で用いられる音素トークンの分離、動的グラフの表現学習に関する2vecシリーズ
  • token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.0]
    token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。 実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
    論文  参考訳(メタデータ)   (Sun, 30 Oct 2022 06:38:19 GMT)
  • DyG2Vec: Representation Learning for Dynamic Graphs with Self-Supervision [30.7]
    動的グラフ上での表現学習のための効率的なモデルであるDyG2Vecを提案する。 DyG2Vecはウィンドウベースのメカニズムを使用してタスクに依存しないノード埋め込みを生成し、将来のインタラクションを予測する。 2つのSSL評価機構を適用して動的グラフに適用し、SSL事前トレーニングがより堅牢な時間ノード表現の学習に役立つことを示す。
    論文  参考訳(メタデータ)   (Sun, 30 Oct 2022 18:13:04 GMT)

Dial2vec

vec2text

  • vec2text with Round-Trip Translations [31.0]
    本研究では,任意の自然言語テキストを生成することができるモデルについて検討する。 それらは普遍的なvec2textモデルと呼ばれます。 普遍性,多様性,流布性,意味的構造という,4つの望ましい特性を提案する。
    論文  参考訳(メタデータ)   (Wed, 14 Sep 2022 17:20:18 GMT)
    • 2vecの逆でベクトルからのテキスト生成。面白い研究であるし、今も今後も機械翻訳や要約などテキスト生成系の技術は近しい動きをしているのだろうが、自然言語って何なんだろうと思わなくもない。

EEG2Vec

  • EEG2Vec: Learning Affective EEG Representations via Variational Autoencoders [27.3]
    我々は、感情的な刺激に反応して、潜在ベクトル空間におけるニューラルデータを表現することが、両方の感情状態を予測するのに役立つかどうかを考察する。 脳波データから生成的識別的表現を学習するための条件付き変分オートエンコーダベースのフレームワークであるEEG2Vecを提案する。
    論文  参考訳(メタデータ)   (Sat, 16 Jul 2022 19:25:29 GMT)
    • 2vec系、脳波版

Trial2Vec

  • Trial2Vec: Zero-Shot Clinical Trial Document Similarity Search using Self-Supervision [42.9]
    同様の臨床試験に注釈を付けずに自己監督を通じて学習するTrial2Vecを提案する。 臨床試験文書(タイトル、資格基準、対象疾患など)のメタ構造と臨床知識を活用して、コントラスト的なサンプルを自動生成する。 本手法は, 可視化により医療的に解釈可能な埋め込みを実現し, 試行錯誤における最良基準値に対して平均15%の精度向上が得られることを示す。
    論文  参考訳(メタデータ)  参考訳(全文)  (Wed, 29 Jun 2022 15:37:11 GMT)
    • 臨床試験文書のベクトル化、to vecシリーズでもかなり特殊な例