コンテンツへスキップ
- BASS: Boosting Abstractive Summarization with Unified Semantic Graph [49.5]
BASSは、統合されたセマンティックグラフに基づく抽象的な要約を促進するためのフレームワークである。 文書表現と要約生成の両方を改善するために,グラフベースのエンコーダデコーダモデルを提案する。 実験結果から,提案アーキテクチャは長期文書および複数文書要約タスクに大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) 参考訳(全文) (Tue, 25 May 2021 16:20:48 GMT)- グラフを用いた要約モデル。BARTなどと比べても悪くない結果。
- Neural Machine Translation with Monolingual Translation Memory [59.0]
本稿では,モノリンガルメモリを用いて学習可能なメモリ検索を行う新しいフレームワークを提案する。 実験の結果,提案手法は大幅な改善が得られた。
論文 参考訳(メタデータ) 参考訳(全文) (Mon, 24 May 2021 13:35:19 GMT)- それは翻訳メモリと呼ぶのかとは思いつつ、スコアリング、ランキングに単言語翻訳メモリを用いるのは効果的そうだなと思う。
- Visual representation of negation: Real world data analysis on comic image design [9.8]
視覚表現(写真やイラストなど)は否定を描写しないという見解が広く支持されており、例えば「列車は来ない」という文は表現できないとされてきた。一方で いくつかの漫画のイラストは背景の知識を喚起し、純粋に視覚的な要素を持つ否定を描くことができる。この画像分類は人間にとって容易であったが、すなわちディープラーニングモデル(CNN)では、同じ高い性能を達成することは困難であった。
論文 参考訳(メタデータ) (Fri, 21 May 2021 04:57:43 GMT)- 視覚表現に関する面白い結果。漫画をデータとしている点、CNNで人間の判断を再現困難だった点も面白い。自然言語処理における事前学習的な事(「常識」の推論性能強化を意図)をやれば精度は向上したりするのだろうか?
- KLUE: Korean Language Understanding Evaluation [43.9]
韓国語理解評価(KLUE)ベンチマークを紹介する。 KLUEは、韓国の8つの自然言語理解(NLU)タスクのコレクションである。 著作権を尊重しながら、さまざまなソースコーパスから、すべてのタスクをゼロから構築します。
論文 参考訳(メタデータ) (Fri, 21 May 2021 05:54:22 GMT)- GLUEの韓国語版。XTREMEとか多言語ベンチマークで代替できる可能性はあるとはいえ、英語以外の各国語版ベンチマークの重要性は変わっていないと思う。
- 日本語版も欲しい(作れという話もあるが)
- Measuring Coding Challenge Competence With APPS [54.2]
コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳(メタデータ) 参考訳(全文) (Thu, 20 May 2021 17:58:42 GMT)- プログラミングの自動化(コード自動生成)を目指した論文、ベンチマークデータセット
- GPT-NEOは一定数の問題を解いたようで今後の発展が期待される。
- Laughing Heads: Can Transformers Detect What Makes a Sentence Funny? [18.7]
我々は、最小組の文からなるデータセット上で、トランスフォーマーに基づくユーモア認識モデルを訓練し、分析する。 一致したデータセットは以前のデータセットよりもはるかに難しいが、トランスフォーマーベースのモデルは、高精度(78%)の一致したペアでユーモラスな文を認識する。 最も顕著なことは、訓練時にこの情報にアクセスしなくても、一つの注意頭がテスト文をユーモラスにする単語を認識することを学ぶという明確な証拠を見つけることである。
論文 参考訳(メタデータ) (Wed, 19 May 2021 14:02:25 GMT)- Transformerを用いたユーモアの認識。fine tuning後のモデルにユーモアを認識するためのヘッドができたという点が興味深い。
- 下ネタ認識(わいせつ/非わいせつ)は得意だが、善悪・暴力/非暴力なユーモアの認識に苦労するのも小学生のようで面白い。
- BookSum: A Collection of Datasets for Long-form Narrative Summarization [42.3]
booksumは長文要約のためのデータセットのコレクションである。 我々のデータセットは、小説、戯曲、物語などの文学分野の資料をカバーしています。
論文 参考訳(メタデータ) (Tue, 18 May 2021 00:22:46 GMT)
- SAIL-VOS 3D: A Synthetic Dataset and Baselines for Object Detection and 3D Mesh Reconstruction from Video Data [124.3]
sail-vos 3d: フレーム毎のメッシュアノテーションを備えた合成ビデオデータセット。 また,時間モデルによる映像データから3次元メッシュを再構成するための最初のベースラインを開発した。
論文 参考訳(メタデータ) (Tue, 18 May 2021 15:42:37 GMT)
- Pay Attention to MLPs [84.5]
gMLP はキー言語やアプリケーションで Transformer と同等に動作可能であることを示す。 我々の比較では、gMLPが同じ精度を達成できるため、ビジョントランスフォーマーには自己注意が重要でないことが示されている。 一般的な実験では、gMLPはデータと計算量を増やして、Transformerと同様にスケール可能である。
論文 参考訳(メタデータ) (Mon, 17 May 2021 17:55:04 GMT)- 「Are Pre-trained Convolutions Better than Pre-trained Transformers? (このBlogの記事)」と似たような話だが、一定規模・計算量があればTransformerだからという優位性はないのかも。
- QAConv: Question Answering on Informative Conversations [85.3]
本稿では,会話を知識源として利用するQAデータセットであるQAConvを紹介する。 ビジネスメールやパネルディスカッション,作業チャネルなど,情報的な会話に重点を置いています。 合計で、スパンベース、フリーフォーム、および回答不能な質問を含む34,204のQAペアを収集します。
論文 参考訳(メタデータ) (Fri, 14 May 2021 15:53:05 GMT)