コンテンツへスキップ
- What Do NLP Researchers Believe? Results of the NLP Community Metasurvey [43.8]
NLP Community Metasurveyの結果を報告する。 この調査は議論を呼んだ問題に関する意見を提起した。 コミュニティの予測が現実と一致しない誤った社会学的信念を見出す。
論文 参考訳（メタデータ） (Fri, 26 Aug 2022 19:45:51 GMT)- AGIや倫理などについてNLPコミュニティで調査した論文。2022年5月に調査を行い480名から回答を得たとのこと。うち327名が2019-2022で少なくとも2つのACL publicationsを出しているそうで専門家向けの調査になっている。
- 「Recent progress is moving us toward AGI」で57%が肯定的な見解を持っている、ベンチマークに過度に依存している疑念が強い、倫理的課題がデータやカバレッジ・精度向上で解決できると思っていない、など多方面で興味深い結果になっている。
- Visual Prompting via Image Inpainting [105.0]
そこで本研究では,NLPにインスパイアされた新しいタスクの入力出力画像例と新しい入力画像の視覚的プロンプトについて検討する。 事前学習したモデルに視覚的プロンプトを適用し、様々なダウンストリームイメージ・ツー・イメージタスクで結果を示す。
論文 参考訳（メタデータ） (Thu, 1 Sep 2022 17:59:33 GMT)
- FDB: Fraud Dataset Benchmark [17.5]
フラッドデータセットベンチマーク(Fraud dataset benchmark、FDB)は、不正検出に特化した公開データセットの集大成である。 FDBは、不正なカード非表示トランザクションの識別、ボット攻撃の検出、悪意のあるURLの分類、コンテンツモデレーションへのローンのリスクの予測など、さまざまな不正関連タスクで構成されている。 FDBのPythonベースのライブラリは、標準化されたトレーニングとテストの分割を伴うデータローディングのための一貫性のあるAPIを提供する。
論文 参考訳（メタデータ） (Wed, 31 Aug 2022 22:20:42 GMT)
- The Value of Out-of-Distribution Data [28.9]
実際のデータセットは、アウト・オブ・ディストリビューション(OOD)データを含むことができる。 このような問題に対する反直観的な現象を実証する。 いずれのサンプルがOODであるかを知ると、重み付けされた目的を用いることで、一般化誤差が単調に減少することを示す。
論文 参考訳（メタデータ） (Tue, 23 Aug 2022 13:41:01 GMT)- 直感的にはOut-of-Distributionなデータは汎化のために有効であるが一定以上あると有害になりうる。その関係を調べた論文。
- Out-of-Distributionなデータの認識ができれば適切な学習が可能という（直感に反しない）結果
- すぐに使えるわけではない（実運用では未知な情報があるという現実と論文における各種定義の対比が必要）とはいえ、この手の研究は面白い
- Shortcut Learning of Large Language Models in Natural Language Understanding: A Survey [119.5]
大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは彼らのアウト・オブ・ディストリビューション(OOD)と敵の堅牢性を著しく損なう。
論文 参考訳（メタデータ） (Thu, 25 Aug 2022 03:51:39 GMT)- 大規模言語モデルにはロバストでない特徴量を学習（shortcut learning）した結果がふくまれOODなデータに対して性能劣化が著しい。このようなshortcut learning問題をサーベイした論文。
- 機械翻訳などにおいても悩ましい問題であるが緩和策へのポインタも示されていて参考になる。
- 論文でも触れられているが、まずは性能が著しく減少しているかの正しいテストが重要だと思う。
- Bugs in the Data: How ImageNet Misrepresents Biodiversity [99.0]
ImageNet-1k検証セットで野生動物を表す269のクラスから13450の画像を解析した。 多くのクラスが未定義あるいは重複しており、画像の12%が誤ってラベル付けされていることがわかった。 また,ImageNet-1kに含まれる野生生物関連ラベルと画像の両方が,地理的,文化的に有意な偏見を呈していることがわかった。
論文 参考訳（メタデータ） (Wed, 24 Aug 2022 17:55:48 GMT)- 非常に良く用いられているImageNet-1kに問題のあるクラス付けがあるという指摘。12%はモデル品質に影響を与えるレベルに思う。このような検証はとても大事。
- Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.3]
半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
論文 参考訳（メタデータ） (Wed, 24 Aug 2022 04:26:21 GMT)
- A Survey on Temporal Graph Representation Learning and Generative Modeling [21.2]
時間グラフは、実体間の動的関係を表し、ソーシャルネットワーク、eコマース、コミュニケーション、道路ネットワーク、生物学的システムなど、多くの実生活アプリケーションで発生する。 本稿では,近年提案されている時間依存グラフ表現学習と生成モデルによる時間グラフ処理手法について概観的に検討する。
論文 参考訳（メタデータ） (Thu, 25 Aug 2022 14:42:08 GMT)- 時間的グラフ表現アプローチに関するサーベイ。
- 現実的には良く遭遇する状況だが、そのままで扱うことは難しいという認識。概観を知るのに良いサーベイだが、性能関連のまとめが欲しいなという印象…
- Survey on Evolutionary Deep Learning: Principles, Algorithms, Applications and Open Issues [14.2]
本稿では、自動機械学習(AutoML)の観点から進化的深層学習(EDL)を解析することを目的とする。 DLパイプラインによると、我々は、機能工学、モデル生成、モデル展開から新しい分類法によるモデル展開まで、EDL手法を体系的に導入する。 主要なアプリケーション、オープンイシュー、将来の研究の有望なラインが提案されている。
論文 参考訳（メタデータ） (Tue, 23 Aug 2022 00:21:28 GMT)- AutoMLとEDL（Evolutionary Deep Learning）のサーベイ
- EDLはFeature engineering、モデル構築時のParameter optimizationやArchitecture optimization、デプロイにおける効率化などに用いられているとのこと。
- Training a T5 Using Lab-sized Resources [10.8]
大きなデータセットで大規模なニューラルネットワークモデルをトレーニングするのは、リソースと時間集約的です。 本稿では, 研究機関が持つであろう資源を用いて, 大規模言語モデルを訓練し, (b) 妥当な時間で学習するための様々な手法を提案する。
論文 参考訳（メタデータ） (Thu, 25 Aug 2022 13:55:16 GMT) - デンマーク語のT5モデルを普通のラボが持つ程度の環境で構築するための手法提案。使用したリソースは 「AMD EPYC 7252 8-Core CPUs×2、 128 GB of RAM、 NVIDIA A100 (40 GB RAM) ×4」のシングルノードとのことで、ノード間分散無し・複数GPUと大規模でない環境（複数ノードまでは持っていない or AWSで簡単に構築できる）として現実的なものだと思う。
- かかった時間はsmallで91時間、largeで508時間と書かれている。仮にAWSのp4d.24xlargeを使い（GPUが8個なので）半分の時間で終わるとすると、largeの学習が8300USD（100万円ちょっと）でできることになる。
- 構築結果は「strombergnlp/dant5-small · Hugging Face」と「strombergnlp/dant5-large · Hugging Face」とのこと。