- DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.8]
DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
論文 参考訳（メタデータ） (Wed, 30 Nov 2022 15:41:24 GMT) - NLPにもDiffusion Model
- リポジトリはHzfinfdu/Diffusion-BERT: Implementation of DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models (github.com)
X-Prompt: eXtensible Prompt
- Extensible Prompts for Language Models [88.2]
我々は、自然言語(NL)を超えた大規模言語モデル(LLM)を促進するためのX-Promptを提案する。 X-Prompt は、NL だけでなく、NL の言葉がほとんど説明できないものを表す架空の単語の記述語彙も LLM に指示する。 X-Promptの有望な結果は、コミュニケーションギャップを埋めるために人間とLLMの高度な相互作用に近づく可能性を示している。
論文 参考訳（メタデータ） (Thu, 1 Dec 2022 16:11:56 GMT) - 自然言語で表現できないものを扱えるよう拡張したプロンプトの提案。
- 何かをシャープに表すことができるのは有効そう。引用されている通り、Fugu-MT 論文翻訳(概要): An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion (fugumt.com)に近そう
- プロジェクトサイトはmicrosoft/unilm: Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities (github.com)
BARTSmiles
- BARTSmiles: Generative Masked Language Models for Molecular Representations [10.0]
BARTSmilesは、従来の自己制御分子表現よりも桁違いに計算量の多いBARTライクなモデルである。 詳細な評価では、BARTSmilesは分類、回帰、生成タスクにまたがる他の自己監督的表現を一貫して上回っている。
論文 参考訳（メタデータ） (Tue, 29 Nov 2022 16:30:53 GMT) - 化学分野におけるBARTの利用、言語モデルが有効なものが面白い。
- リポジトリはYerevaNN/BARTSmiles: BARTSmiles, generative masked language model for molecular representations (github.com)
VectorFusion
- VectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models [82.9]
画像の画素表現に基づいて訓練されたテキスト条件付き拡散モデルを用いて,SVG-exportable vector graphicsを生成する。 近年のテキスト・ツー・3D研究に触発されて,Score Distillation Sampling を用いたキャプションと整合したSVGを学習した。 実験では、以前の作品よりも品質が向上し、ピクセルアートやスケッチを含む様々なスタイルが示されている。
論文 参考訳（メタデータ） (Mon, 21 Nov 2022 10:04:27 GMT) - Text-to-SVGの研究、Diffusion Modelは本当に強力。
- プロジェクトサイトはVectorFusion: Text-to-SVG by Abstracting Pixel-Based Diffusion Models (ajayj.com)
On the Security Vulnerabilities of Text-to-SQL Models
- On the Security Vulnerabilities of Text-to-SQL Models [25.3]
2つの商用ブラックボックスのText-to-sqlモジュールは悪意のあるコードを生成するために操作可能であることを示す。 これは、NLPモデルが野生における攻撃防御として利用される危険性の初めての実証である。
論文 参考訳（メタデータ） (Mon, 28 Nov 2022 14:38:45 GMT) - Text-to-SQLモデルに対する攻撃、一定の対策がなされた商用にシステムに対しても攻撃が成功できているのが興味深い。
Semantic-aware Texture-Structure Feature Collaboration for Underwater Image Enhancement
- Semantic-aware Texture-Structure Feature Collaboration for Underwater Image Enhancement [58.1]
水中画像の強調は海洋工学や水生ロボット工学において重要な技術として注目されている。 我々は,高レベルな意味認識事前学習モデルと協調して,効率的でコンパクトな拡張ネットワークを開発する。 また,提案手法を水中の有意な物体検出タスクに適用し,高レベルの視覚タスクに適した意味認識能力を明らかにする。
論文 参考訳（メタデータ） (Sat, 19 Nov 2022 07:50:34 GMT) - 水中画像の画像処理
- リポジトリはwdhudiekou/STSC: Semantic-aware Texture-Structure Feature Collaboration for Underwater Image Enhancement (github.com)
Long-Document Cross-Lingual Summarization
- Long-Document Cross-Lingual Summarization [15.8]
言語間の要約は、ある言語で与えられた文書に対して、ある言語で要約を生成することを目的としている。 長文書における CLS 研究を促進するため,最初の長文書 CLS データセットである Perseus を構築した。 ペルセウスの文書の平均の長さは2,000以上のトークンである。
論文 参考訳（メタデータ） (Thu, 1 Dec 2022 15:24:16 GMT) - 長文をクロスリンガルで要約するためのデータセット作成と様々な手法の比較。中国語を対象とした成果だが、このような問題は日本語でも重要
- ｍBART＋LEDを用いたEnd-to-Endモデルが最も高性能との結果で驚いた。日本語版を作りたくなってくる…
ChatGPTとtext-davinci-003
- ChatGPT: Optimizing Language Models for Dialogue (openai.com)
- 極めて強力な対話用の言語モデル。Google検索か！？というレベルで回答をしてくれる。（間違っている場合も多いが…）
- Reinforcement Learning from Human Feedback (RLHF)を用いており、GPT-3.5をfine tuningしているとのこと。
- 11/29に出たtext-davinci-003もGPT-3.5シリーズのモデルでInstructGPT(code-davinci-002)ベースのtext-davinci-002を改善したものとのことで、こちらも性能が高い。NLPを変える可能性を感じている。
- Model index for researchers – OpenAI API
GPT-3を使った対話による学習プロセス改善、要約
- GPT-3-driven pedagogical agents for training children’s curious question-asking skills [24.7]
学生が好奇心をそそる質問をする能力は、学習プロセスを改善する重要なスキルである。 これまでの研究では、学習中の子供の好奇心を促進するために特定の手がかりを提案する会話エージェントが用いられてきた。 本研究は,大規模言語モデル(GPT-3)を用いて,好奇心を刺激する手がかりの自動生成を行う。
論文 参考訳（メタデータ） (Tue, 29 Nov 2022 15:27:35 GMT)
- Zero-Shot Opinion Summarization with GPT-3 [116.0]
GPT-3モデルは人間の評価において非常に高い性能を示すことを示す。 我々は,標準評価指標がこれを反映していないことを論じ,忠実性,事実性,汎用性を重視したいくつかの新しい尺度に対して評価を行った。
論文 参考訳（メタデータ） (Tue, 29 Nov 2022 04:06:21 GMT)
GPT-3を使った応用的な研究。fugumt.comでも論文検索に一部利用しており、不明点が多い分野の論文を探す場合に外部知識（GPT-3.5の知識）を利用するには良いもののように思っている。
Deepfake Detectionのサーベイ
- Deepfake Detection: A Comprehensive Study from the Reliability Perspective [46.2]
Deepfake合成材料はインターネット上で流通し、社会に深刻な影響を与えている。 本稿では,Deepfake検出の3つの側面,すなわち伝達可能性,解釈可能性,信頼性について検討する。
論文 参考訳（メタデータ） (Sun, 20 Nov 2022 06:31:23 GMT) - Deepfake検出に関するサーベイ
- 生成にも検出にも近い技術が使われており、いたちごっこ感が凄い……