コンテンツへスキップ
- Can Attention Enable MLPs To Catch Up With CNNs? [33.7]
多層パーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、トランスフォーマーなど、学習アーキテクチャの簡単な歴史を提供する。 新たに提案された4つのアーキテクチャの共通点について検討し、今後の研究への刺激を期待する。
論文 参考訳（メタデータ） (Mon, 31 May 2021 16:08:46 GMT)- 最近のアーキテクチャを概説する論文。Long distance interactions, Local semantic information, Residual connections, Reduced inductive biasなど重要要素の取り扱いが記載されており、新しいアーキテクチャは従来のMLPではなく大きな進歩があると結論している。
- ByT5: Towards a token-free future with pre-trained byte-to-byte models [23.5]
最も広く使われている事前訓練言語モデルは、単語またはサブワード単位に対応するトークンのシーケンスで動作する。 標準的な Transformer アーキテクチャは,バイト列の処理に最小限の修正を加えて使用できることを示す。 また、バイトレベルのモデルはノイズに対して著しく堅牢であり、スペルや発音に敏感なタスクでも性能が向上することを示した。
論文 参考訳（メタデータ） (Fri, 28 May 2021 07:03:22 GMT)
- Self-Supervised Bug Detection and Repair [27.5]
本稿では,バグ検出と修復の自己教師型学習手法であるBugLabを紹介する。 BugLabのPython実装では、2374の実際のバグのテストデータセットのベースラインメソッドで最大30%改善されている。
論文 参考訳（メタデータ） (Wed, 26 May 2021 18:41:05 GMT)- 機械学習（self-supervised learning）を使ったバグ検出。OSSのソフトウェアから新たに19個のバグを発見（偽陽性率は実用的ではないとの記載あり）したとのこと。
- Hidden Killer: Invisible Textual Backdoor Attacks with Syntactic Trigger [48.6]
本稿では,テキストバックドア攻撃の引き金として構文構造を用いることを提案する。 我々は、トリガーベースアタック法が同等のアタック性能を達成できることを示すため、広範囲な実験を行った。 また,本研究の結果から,テキストバックドア攻撃の重篤さと有害性も明らかとなった。
論文 参考訳（メタデータ） (Wed, 26 May 2021 08:54:19 GMT)
- A Survey on Complex Knowledge Base Question Answering: Methods, Challenges and Solutions [41.7]
知識ベース質問応答(KBQA)は、知識ベース(KB)に関する質問に答えることを目的としている。 複雑なKBQAの典型的な課題と解決策を精巧に要約する。
論文 参考訳（メタデータ） (Tue, 25 May 2021 03:45:30 GMT)- 知識ベースを用いたQuestion Answeringタスクのおける意味解析、情報検索などのアプローチを中心としたサーベイ。カテゴリ分けなど参考になる。
- Pretrained Language Models for Text Generation: A Survey [46.0]
本稿では、テキスト生成のための事前学習言語モデル(PLM)のトピックにおいて達成された大きな進歩について概説する。 我々は、既存のPLMを異なる入力データに適応させ、生成したテキストの特別な特性を満たす方法について論じる。
論文 参考訳（メタデータ） (Tue, 25 May 2021 01:19:47 GMT)- 事前学習モデルをテキスト生成に使うという研究のサーベイ。この分野を概観するのによい資料。実用にはControllable Generationは非常に重要だと思うのだが道半ばという印象。
- BASS: Boosting Abstractive Summarization with Unified Semantic Graph [49.5]
BASSは、統合されたセマンティックグラフに基づく抽象的な要約を促進するためのフレームワークである。 文書表現と要約生成の両方を改善するために,グラフベースのエンコーダデコーダモデルを提案する。 実験結果から,提案アーキテクチャは長期文書および複数文書要約タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） 参考訳（全文） (Tue, 25 May 2021 16:20:48 GMT)- グラフを用いた要約モデル。BARTなどと比べても悪くない結果。
- Neural Machine Translation with Monolingual Translation Memory [59.0]
本稿では,モノリンガルメモリを用いて学習可能なメモリ検索を行う新しいフレームワークを提案する。 実験の結果,提案手法は大幅な改善が得られた。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 24 May 2021 13:35:19 GMT)- それは翻訳メモリと呼ぶのかとは思いつつ、スコアリング、ランキングに単言語翻訳メモリを用いるのは効果的そうだなと思う。
- Visual representation of negation: Real world data analysis on comic image design [9.8]
視覚表現(写真やイラストなど)は否定を描写しないという見解が広く支持されており、例えば「列車は来ない」という文は表現できないとされてきた。一方で いくつかの漫画のイラストは背景の知識を喚起し、純粋に視覚的な要素を持つ否定を描くことができる。この画像分類は人間にとって容易であったが、すなわちディープラーニングモデル(CNN)では、同じ高い性能を達成することは困難であった。
論文 参考訳（メタデータ） (Fri, 21 May 2021 04:57:43 GMT)- 視覚表現に関する面白い結果。漫画をデータとしている点、CNNで人間の判断を再現困難だった点も面白い。自然言語処理における事前学習的な事（「常識」の推論性能強化を意図）をやれば精度は向上したりするのだろうか？
- KLUE: Korean Language Understanding Evaluation [43.9]
韓国語理解評価(KLUE)ベンチマークを紹介する。 KLUEは、韓国の8つの自然言語理解(NLU)タスクのコレクションである。 著作権を尊重しながら、さまざまなソースコーパスから、すべてのタスクをゼロから構築します。
論文 参考訳（メタデータ） (Fri, 21 May 2021 05:54:22 GMT)- GLUEの韓国語版。XTREMEとか多言語ベンチマークで代替できる可能性はあるとはいえ、英語以外の各国語版ベンチマークの重要性は変わっていないと思う。
- 日本語版も欲しい（作れという話もあるが）
- Measuring Coding Challenge Competence With APPS [54.2]
コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 20 May 2021 17:58:42 GMT)- プログラミングの自動化（コード自動生成）を目指した論文、ベンチマークデータセット
- GPT-NEOは一定数の問題を解いたようで今後の発展が期待される。