コンテンツへスキップ
- Weakly Supervised Text Classification using Supervision Signals from a Language Model [33.6]
我々は文書自体と「この記事は[MASK]について話している」ことを組み合わせたプロンプトを設計する。 マスク付き言語モデルは[MASK]トークンの単語を生成することができる。 文書の内容を要約した生成された単語を監視信号として利用することができる。
論文 参考訳（メタデータ） (Fri, 13 May 2022 12:57:15 GMT)- 大規模言語モデルを用いて教師信号を作り、弱教師有り学習に持ち込む研究。言語モデルで単語を生成させ、その単語とカテゴリを紐づけている。
- 大規模言語モデルからの情報抽出は結構流行っている印象
- Transformers in 3D Point Clouds: A Survey [27.8]
3Dトランスフォーマーモデルは、長距離依存モデリングの驚くべき能力があることが証明されている。 本調査は,各種タスク用に設計された3Dトランスフォーマーの概要を概観することを目的としている。
論文 参考訳（メタデータ） (Mon, 16 May 2022 01:32:18 GMT)- 3D Transformerに関するサーベイ。いたるところにトランスフォーマーが採用されている。
- Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.2]
Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
論文 参考訳（メタデータ） (Mon, 23 May 2022 17:42:53 GMT)
- How Different Groups Prioritize Ethical Values for Responsible AI [75.4]
民間企業、公共セクター組織、学術団体は、責任あるAI技術にとって重要であると考える倫理的価値観を概説している。 彼らのレコメンデーションは中央値のセットに収束するが、より代表的な大衆が、彼らが交流し、影響を受ける可能性のあるAI技術にとって重要な価値についてはほとんど知られていない。 我々は、個人が3つのグループにまたがる責任あるAIの価値観をどのように認識し、優先順位付けしているかを調査した。
論文 参考訳（メタデータ） (Mon, 16 May 2022 14:39:37 GMT)- 米国住民(n=743)、クラウドワーカー(n=755)、AI実践者(n=175)のそれぞれがResponsible AI（と関連する要素）をどの程度重視するかの調査結果。
- AI実践者は fairness, dignity, inclusivenessを重視し、米国住民とクラウドワーカーはsafety, privacy, performanceを重視する傾向にあるのは興味深い。過去の調査ではAI実践者はperfomanceを重視する傾向にあるそうだが、今回の調査ではそのような示唆は得られていないとのこと。
- どう解釈するかは悩ましいがこの手の調査結果を色々見ておくのはとても良いことのように思う。
- TransTab: Learning Transferable Tabular Transformers Across Tables [42.9]
タブラルデータ(またはテーブル)は機械学習(ML)で最も広く使われているデータ形式である 異なる列の異なるテーブルを マージするには 重いデータクリーニングが必要です TransTabは各サンプル(テーブル内の行)を一般化可能な埋め込みベクトルに変換する。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 19 May 2022 05:34:46 GMT)
- FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization [91.5]
本稿では,FactPEGASUSについて述べる。FactPEGASUSは,事前学習と微調整における現実性の問題に対処する抽象的な要約モデルである。 分析の結果,FactPEGASUSはゼロショットやスプリショットの設定において,本来の事前学習目標よりも現実的であることが示唆された。
論文 参考訳（メタデータ） (Mon, 16 May 2022 17:39:14 GMT)
- Dataset Pruning: Reducing Training Data by Examining Generalization Influence [30.3]
すべてのトレーニングデータは、モデルのパフォーマンスに寄与しますか? モデルのパフォーマンスを著しく犠牲にすることなく、プロキシトレーニングセットとして、トレーニングデータ全体から最小限のサブセットを構築するには、どうすればよいのか?
論文 参考訳（メタデータ） (Thu, 19 May 2022 05:36:35 GMT)- 学習データ（のサブセットの削除）がネットワークパラメータに与える影響を理論的に検討、サンプル選択手順を制約付き離散最適化問題としてモデル化。実際のデータでその削減が与える影響と同じであることを検証したとのこと。
- CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning [14.9]
本稿では,CTRによる広告テキスト生成手法であるCREATERを提案し,高品質なユーザレビューに基づいて広告テキストを生成する。 CTRの目的を取り入れるために、我々のモデルはコントラスト学習を伴うオンラインA/Bテストデータから学習し、より高いCTRを得る広告テキストを生成することを奨励する。 産業データセットの実験は、CREATERが現在のアプローチよりも大幅に優れていることを示している。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 18 May 2022 14:17:04 GMT)- ユーザレビューデータを用いて事前学習後、A/Bテストを利用してContrastive Fine-Tuningし click-through rateの向上を実現とのこと。
- “What makes a question inquisitive?” A Study on Type-Controlled Inquisitive Question Generation [35.9]
質問生成のためのタイプ制御フレームワークを提案する。 私たちは、ソーステキストから描画しながら、特定のタイプに固執する様々な質問を生成します。 また、生成した集合から1つの質問を選択する戦略についても検討する。
論文 参考訳（メタデータ） (Thu, 19 May 2022 12:33:35 GMT)
- Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.5]
多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
論文 参考訳（メタデータ） (Thu, 12 May 2022 17:59:56 GMT)