コンテンツへスキップ
- A Conversational Paradigm for Program Synthesis [110.9]
本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。 私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。 本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
論文 参考訳（メタデータ） (Mon, 28 Mar 2022 17:10:30 GMT)
- Training Compute-Optimal Large Language Models [54.0]
私たちは、500億から500億のトークンに対して、7000万から160億以上のパラメータの言語モデルをトレーニングしています。 計算最適トレーニングでは、モデルのサイズとトレーニングトークンの数が等しくスケールする必要がある。 チンチラはGopher(280B)、GPT-3(175B)、Jurassic-1(178B)、Megatron-Turing NLG(530B)を均一かつ著しく上回る
論文 参考訳（メタデータ） (Tue, 29 Mar 2022 13:38:03 GMT)- 同じ計算予算で最適なパラメータ量や学習データ量を求める手法を用いて70BパラメータのChincillaを作成、Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), Megatron-Turing NLG (530B)といった他の巨大モデルを上回る結果を達成。
- 「Gopher is substantially over-sized and estimate that for the same compute budget a smaller model trained on more data will perform better.」という指摘が興味深く、モデルサイズに比べてデータが足りていない状況が多発していそう。
- M-SENA: An Integrated Platform for Multimodal Sentiment Analysis [15.2]
M-SENAはMultimodal Sentiment Analysisのオープンソースプラットフォームである。 データ管理、特徴抽出、モデルトレーニング、結果分析モジュールで構成される、完全にモジュール化されたビデオ感情分析フレームワークを備えている。
論文 参考訳（メタデータ） (Wed, 23 Mar 2022 14:28:08 GMT)
- PiDAn: A Coherence Optimization Approach for Backdoor Attack Detection and Mitigation in Deep Neural Networks [22.9]
バックドア攻撃はディープニューラルネットワーク(DNN)に新たな脅威をもたらす 汚染されたデータを浄化するコヒーレンス最適化に基づくアルゴリズムであるPiDAnを提案する。 当社のPiDAnアルゴリズムは90%以上の感染クラスを検出でき、95%の有毒サンプルを識別できる。
論文 参考訳（メタデータ） (Thu, 17 Mar 2022 12:37:21 GMT)- バックドア攻撃に対して本物のデータと有害な（有毒な）データを見分ける手法の提案。GTSRB、ILSVRC2012データセットで有効性を検証とのこと。
- How Do We Answer Complex Questions: Discourse Structure of Long-form Answers [52.0]
3つのデータセットから収集した長文回答の機能構造について検討した。 私たちの主な目標は、人間が複雑な答えを作るためにどのように情報を整理するかを理解することです。 我々の研究は、長期QAシステムの談話レベルのモデリングと評価に関する将来の研究に刺激を与えることができる。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 21 Mar 2022 15:14:10 GMT)
- Look for the Change: Learning Object States and State-Modifying Actions from Untrimmed Web Videos [55.6]
人間の行動は、しばしば「リンゴを切る」や「コーヒーを飲む」といった対象状態の変化を引き起こす。 我々は、対応する対象状態とともに、状態修正動作を協調学習するための自己教師型モデルを開発する。 本モデルでは,ノイズ適応重み付けモジュールを少数の注釈付静止画像で教師する。
論文 参考訳（メタデータ） (Tue, 22 Mar 2022 11:45:10 GMT)
- Explainability in Graph Neural Networks: An Experimental Survey [12.4]
グラフ表現学習のためのグラフニューラルネットワーク(GNN)が広く開発されている。 GNNは、その基盤となるメカニズムを理解できないため、ブラックボックスの問題に悩まされる。 GNNによる意思決定を説明するために、いくつかのGNN説明可能性法が提案されている。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 17 Mar 2022 11:25:41 GMT)- Graph Neural Networkを対象にしたXAIのサーベイ。
- A Roadmap for Big Model [390.6]
BMの全般的な進歩を整理し、フォローアップ研究を導く研究成果の欠如がある。 本稿では,BM技術そのものだけでなく,BM訓練やBM応用の前提条件についても述べる。 データ,知識,コンピュータシステム,並列学習システム,言語モデル,ビジョンモデル,マルチモーダルモデル,理論と解釈可能性,常識推論,信頼性とセキュリティ,ガバナンス,評価,機械翻訳,テキスト生成,対話,タンパク質研究の4分野に16のBM関連トピックを紹介する。
論文 参考訳（メタデータ） (Sat, 26 Mar 2022 15:38:00 GMT)- 様々な分野での大規模モデルに関する包括的な論文（サーベイ）。100人近くの著者、本文140ページ、引用数1637と大作。全部読むのは大変だが、興味のある分野のみの参照でもとても参考になるものだと思う。
- BigDetection: A Large-scale Benchmark for Improved Object Detector Pre-training [44.3]
我々はBigDetectionと呼ばれる新しい大規模ベンチマークを構築した。 私たちのデータセットには600のオブジェクトカテゴリがあり、3.4M以上のトレーニングイメージと36Mのバウンディングボックスが含まれています。
論文 参考訳（メタデータ） (Thu, 24 Mar 2022 17:57:29 GMT)
- A Girl Has A Name, And It’s … Adversarial Authorship Attribution for Deobfuscation [9.6]
既存のオーサシップ難読化アプローチは、敵の脅威モデルを考慮していない。 このギャップを埋めるために, 難読化に対する敵対的著作者帰属の問題を検討する。 その結果,既存の難読化者の有効性を20～30%から5～10%に低下させることができた。 私たちの結果は、難読化に抵抗するより強固な難読化アプローチの必要性を強調する
論文 参考訳（メタデータ） (Tue, 22 Mar 2022 16:26:09 GMT)