コンテンツへスキップ
- Attention cannot be an Explanation [99.4]
私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 26 Jan 2022 21:34:05 GMT)- 人間の評価結果をもとにAttention（モデルが注視している部分の表示によって説明しようするタイプの手法）は説明に使用できないと結論した論文。様々な立場がありうるが一つの結果として注意すべきと思う。
- Natural Language Descriptions of Deep Visual Features [50.3]
自然言語による記述で自動的にニューロンをラベル付けする手法を提案する。 我々はMILANを用いて、視覚モデルにおける属性、カテゴリ、関係情報を選択的に選択したニューロンの分布と重要性を特徴付ける。 また、これらの特徴を曖昧にすることを目的としたデータセットでトレーニングされたモデルにおいて、人種や性別といった保護されたカテゴリに敏感な、監査用のMILANも使用しています。
論文 参考訳（メタデータ） (Wed, 26 Jan 2022 18:48:02 GMT)- ネットワーク上のニューロンの属性を言語化（自然言語での説明）でき、それを編集可能という論文。
- XAIの文脈で説明を自然言語へ帰着するのはイマイチかなと思っていたが、監査や編集という面では良いのかもしれない。
- Human-centered mechanism design with Democratic AI [9.8]
人間に好まれる社会メカニズムの設計に強化学習を用いるDemocratic AIと呼ばれるパイプラインを開発します。人間の好みを最適化することによって、民主的AIは、価値に合わせた政策革新の有望な方法になり得る。
論文 参考訳（メタデータ） (Thu, 27 Jan 2022 10:56:33 GMT)- オンライン投資ゲームにおける富の再配分メカニズムの設計に深層強化学習を利用、人間のレフェリーよりも好まれるメカニズムが作れたとの報告。
- DeepMindっぽい面白い研究だと思った。人間の介入無しの“AI government”を指示しているわけではないことも強調されている。Potential limitations of Democratic AIにあるようなAIの限界に関する議論は興味深い。
- Whose Language Counts as High Quality? Measuring Language Ideologies in Text Data Selection [83.4]
より富裕で、教育され、都会のZIPコードにある大きな学校の新聞は、質の高いものとして分類される傾向にある。 フィルタの質測定が,事実性や文学的評価といった他の感性指標と一致しないことを実証する。 高品質なコーパスを特権化することは言語イデオロギーを伴い,言語モデルのためのトレーニングコーパスの構築にはもっと注意が必要である,と我々は主張する。
論文 参考訳（メタデータ） (Wed, 26 Jan 2022 18:46:26 GMT)
- Table Pretraining: A Survey on Model Architectures, Pretraining Objectives, and Downstream Tasks [37.4]
テキストや画像の成功を受けて、テーブル事前学習フレームワークの急激な普及が提案されている。 表の事前訓練は通常、表とテキストの合同の事前訓練の形式を取る。 この調査は、異なるモデル設計の包括的なレビュー、事前学習の目的、およびテーブル事前学習のための下流タスクを提供することを目的としている。
論文 参考訳（メタデータ） (Mon, 24 Jan 2022 15:22:24 GMT)- 表やテキスト構造へのDeep Learning適用のサーベイ。table question answeringやtable type recognitionといった表を含むドメインの問題やテーブルデータへのDeep Learning適用（TabTransformerやSAINT）が対象になっている。
- この分野を概観するには良いが詳細を知るには挙げられた論文を読む必要がありそう。
- WebUAV-3M: A Benchmark Unveiling the Power of Million-Scale Deep UAV Tracking [40.8]
WebUAV-3Mは100万スケールの無人航空機(UAV)追跡ベンチマークである。 われわれは、インターネットから3Mフレーム以上の4,485本のビデオを集めている。 WebUAV-3Mは、公的なUAV追跡ベンチマークとしては最大である。
論文 参考訳（メタデータ） 参考訳（全文） (Wed, 19 Jan 2022 05:39:42 GMT)- 大規模なUAV Tracking（無人航空機から撮影された映像を使って物体を追跡するタスク）データセット・ベンチマーク。
- Video Transformers: A Survey [42.3]
ビデオデータのモデル化にトランスフォーマーを適用するための貢献とトレンドについて検討する。 具体的には、ビデオの埋め込みとトークン化の方法を掘り下げて、大きなCNNバックボーンの非常にウィドスプレッドな使用法を見つけます。 また,ビデオトランスフォーマーの訓練に使用される自己監督的損失の分析を行った。
論文 参考訳（メタデータ） (Sun, 16 Jan 2022 07:31:55 GMT)- 動画処理にもTransformerが使われていることがよくわかるサーベイ
- ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization [27.9]
ExtraPhraseは2つのステップで擬似トレーニングデータを構築する。 ROUGEスコアにおいて,ExtraPhraseは抽象的な要約タスクの性能を0.50ポイント以上向上することを示す。 また,実際のトレーニングデータの量が著しく少ない場合,ExtraPhraseは極めて有効であることを示す。
論文 参考訳（メタデータ） (Fri, 14 Jan 2022 06:14:34 GMT)- 抽出型要約と言い換えを用いて抽象型要約のための合成データを作るというアプローチ。データ数が少ない場合に特に有効とのこと。
- 抽象型要約のデータは高価なので有効そうな場面はありそう。
- Youling: an AI-Assisted Lyrics Creation System [72.0]
本稿では,AIによる歌詞作成システムである Youling について紹介する。 歌詞生成プロセスでは、Youlingは従来の1パスのフルテキスト生成モードとインタラクティブな生成モードをサポートする。 システムは、ユーザーが望まない文や歌詞の言葉を繰り返し修正できるリビジョンモジュールも提供する。
論文 参考訳（メタデータ） (Tue, 18 Jan 2022 03:57:04 GMT)- GPT-2をベースとした歌詞作成支援システムの提案。30GBの中国語書籍コーパスで学習後、300Kの歌詞コーパスでfine tuningを実施したとのこと。
- デモシステム利用する案内が論文中に存在（ID等を含むのでここには記載しなかった）
- Improving Neural Machine Translation by Denoising Training [96.0]
本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。 モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。 実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 20 Jan 2022 03:55:52 GMT)