- Text Embeddings by Weakly-Supervised Contrastive Pre-training [89.5]
E5は最先端のテキスト埋め込みのファミリーであり、幅広いタスクにうまく転送される。 E5は、テキストの単一ベクトル表現を必要とするタスクに対して、汎用的な埋め込みモデルとして簡単に使用できる。
論文 参考訳（メタデータ） (Wed, 7 Dec 2022 09:25:54 GMT) - microsoft/unilm: Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities (github.com)
タグ: Embedding
テキストの分散表現
- Neural Embeddings for Text [14.1]
本稿では,意味的意味を深く表現する自然言語テキストの埋め込みについて提案する。 この方法では、言語モデルにテキストから学習させ、文字通りその脳を選択して、モデルのニューロンの実際の重みを取り、ベクトルを生成する。 ニューラルネットワークの埋め込みとGPT文の埋め込みを比較した。
論文 参考訳（メタデータ） (Wed, 17 Aug 2022 16:26:13 GMT)- 新たなテキストの埋め込み手法提案。複数のレイヤーの重みを処理することが特徴のよう。通常の手法にはない側面を捉えられていそうな雰囲気はあるが、差が大きいかは微妙なところ。
- リポジトリはprimer-research/neural_embeddings at main · PrimerAI/primer-research (github.com)