- On the Opportunities and Risks of Foundation Models [260.2]
ファンデーションAIモデルは、大規模なデータに基づいてトレーニングされており、幅広い下流タスクに適応できる。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
論文 参考訳（メタデータ） (Mon, 16 Aug 2021 17:50:08 GMT)- StanfordのCenter for Research on Foundation Models (CRFM)による基礎モデル（≒大規模事前学習モデル）の可能性とリスクに関する論文。近年の大規模事前学習の状況と未来における課題について広範にまとまっている。114人の著者による211ページの論文であり書籍といっても良い規模。
- https://www.arxiv-vanity.com/で変換済みのようなので、ここからブラウザの翻訳等使うと読みやすいかもしれない。
MMChat: Multi-Modal Chat Dataset
- MMChat: Multi-Modal Chat Dataset on Social Media [8.9]
MMChatは大規模多モード対話コーパス(32.4Mの生対話と120.84Kのフィルタリング対話) 架空の映画からクラウドソースまたは収集された以前のコーパスとは異なり、MMChatはソーシャルメディア上の実際の会話から収集された画像付き対話を含んでいる。 画像特徴量にアテンションルーティング機構を適用することで,対話生成タスクにおけるこの問題に対処するベンチマークモデルを開発した。
論文 参考訳（メタデータ） (Mon, 16 Aug 2021 15:27:49 GMT)- マルチモーダルな対話データセット。120K対話、200K画像と大規模。
- 「コンテンツに対するURLだけが、ダウンロードスクリプトとともにリリースされる」「ユーザーは、学術的な目的以外にMMCHATを乱用しないことを約束する保証状に署名する必要がある」とのことで簡単にダウンロードできるデータでは無いよう。
時間に鋭敏なQAデータセット
- A Dataset for Answering Time-Sensitive Questions [89.0]
時間とは、我々の物理的世界において重要な次元である。多くの事実が時間に関して進化することができる。 時間次元を考慮し、既存のQAモデルに時間とともに推論する権限を与えることが重要です。 既存のQAデータセットには、時間に敏感な質問がほとんどないため、モデルの時間的推論能力の診断やベンチマークには適さない。
論文 参考訳（メタデータ） (Fri, 13 Aug 2021 16:42:25 GMT)- 時間に鋭敏なQAデータセットとのことで、「長い文書における時間情報の明示的および暗黙的な言及の両方を理解する必要がある」「比較、加算、減算のような時間的推論を行う必要がある」データセットとして設計されているとのこと。現状SOTAのモデル（BigBirdやFiD）でも全く人間に及ばない性能しか出せないとのことで難しいデータセットになっている。
- リポジトリはhttps://github.com/wenhuchen/Time-Sensitive-QAとのことだが、現時点では404
Multimodal Hierarchical Selective Transformer (mhsf) : マルチモーダルな抽象型要約
- Abstractive Sentence Summarization with Guidance of Selective Multimodal Reference [3.5]
モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。 提案したmhsfモデルの汎用性を,事前学習+微調整およびフレッシュトレーニング戦略を用いて評価した。
論文 参考訳（メタデータ） (Wed, 11 Aug 2021 09:59:34 GMT)- テキスト、画像、音声→テキストな抽象型要約に関する論文。マルチモーダル性をうまく利用することで既存手法より優れていると報告。人間による評価を併用している点、そこでも高スコアであることが興味深い。
Mobile-Former: MobileNet + Transformer
- Mobile-Former: Bridging MobileNet and Transformer [42.6]
我々はMobileNetとTransformerの並列設計であるMobile-Formerについて述べる。 Mobile-Formerは計算効率が良いだけでなく、より表現力があり、低FLOPでMobileNetV3を上回っている。
論文 参考訳（メタデータ） (Thu, 12 Aug 2021 17:59:55 GMT)- 局所的な表現ではMobileNet、大域的な部分はTransformerと2つのモデルを併用することで効率的・高速だが性能の高いモデルを構築できたとの報告。
- RELATED WORKにもある通りこのような構成は最近よく見かける。
AIモデルのFairness検証の実例
AI系手法（といっても一つはロジスティック回帰だが）の実例をFairnessの観点から分析した報告が出ていた。この手の話題はFairnessとは何か？の議論が重要で、実例をしっかりと扱った論文はとても勉強になる。
- Fair Decision-Making for Food Inspections [3.4]
本稿では,シカゴ市公衆衛生局によるレストラン検査の予測モデルの適用について再検討する。 本モデルでは,検査を行った正統性に基づいて,検査を不平等に扱うことが確認された。 我々は、オリジナルのモデルをより公平な方法で使用するためのアプローチと、公平性を達成するためのモデルのトレーニング方法の両方について検討する。
論文 参考訳（メタデータ） (Thu, 12 Aug 2021 04:17:39 GMT)
- Fairness in Algorithmic Profiling: A German Case Study [0.0]
本研究では、求職者の長期失業リスクを予測するための統計モデルを比較し、評価する。 これらのモデルは、競争力のある精度で長期失業を予測するために使用できることを示す。 異なる分類ポリシーは、非常に異なる公平性をもたらすことを強調する。
論文 参考訳（メタデータ） (Wed, 4 Aug 2021 13:43:42 GMT)
NLPにおける説明手法のサーベイ
- Post-hoc Interpretability for Neural NLP: A Survey [11.8]
本稿では,解釈可能性法がどのように説明を伝達するかを分類する。 この調査は、モデル学習後に説明を提供するポストホック手法に焦点を当てている。 このクラスのメソッドに共通する関心事は、モデルが正確に反映されているかどうかである。
論文 参考訳（メタデータ） (Tue, 10 Aug 2021 18:00:14 GMT)- 自然言語処理を対象にした説明性、解釈性を実現する手法のサーベイ。モチベーション、評価方法、手法の概要説明と非常に多くの手法を紹介している。この分野を振り返るうえで貴重な資料。
T-PTLM(Transformer-based Pretrained Language Models)のサーベイ
- AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing [0.0]
トランスフォーマーベースの事前訓練言語モデル(T-PTLM)は、ほぼすべてのNLPタスクで大きな成功を収めている。 変換されたPTLMは、自己教師付き学習を用いて大量のテキストデータから普遍的な言語表現を学習する。 これらのモデルは、下流モデルのスクラッチからのトレーニングを避けるために、下流タスクに適切なバックグラウンド知識を提供する。
論文 参考訳（メタデータ） (Thu, 12 Aug 2021 05:32:18 GMT)- 最近よく見るTransformerを用いた大規模事前学習モデルのサーベイ。42ページ、引用数304でこの分野を広範に調査、整理している。
FoodLogoDet-1500：大規模な食品ロゴのデータセット
- FoodLogoDet-1500: A Dataset for Large-Scale Food Logo Detection via Multi-Scale Feature Decoupling Network [55.5]
高度な食品ロゴ検出アルゴリズムを開発するには、大規模な食品ロゴデータセットが緊急に必要である。 FoodLogoDet-1500は、1500のカテゴリ、約10万の画像、約15万個の手動で注釈付けされた食品ロゴオブジェクトを備えた、新しい大規模一般公開の食品ロゴデータセットである。 食品のロゴを識別する手法として,MFDNet(Multi-scale Feature Decoupling Network)を提案する。
論文 参考訳（メタデータ） 参考訳（全文） (Tue, 10 Aug 2021 12:47:04 GMT)- 食品のロゴをアノテーションしたデータセット。15Kカテゴリ、100K画像、150Kオブジェクトと大規模。著者らはMFDNetというモデルを提案、他の様々な手法に比べて優れていたと報告している。
- リポジトリはhttps://github.com/hq03/FoodLogoDet-1500-Dataset、現時点ではデータはアップロードされていないよう。
摂動入力によるNLPモデル解釈への影響
- Perturbing Inputs for Fragile Interpretations in Deep Natural Language Processing [18.9]
解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。 本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
論文 参考訳（メタデータ） (Wed, 11 Aug 2021 02:07:21 GMT)- 単語をスワップすることによってLIMEやINTEGRATED GRADIENTの解釈に影響を与えることができるかを検証した論文。解釈性へ影響を与えることが可能とのこと。
- 「there has been little analysis of the reliability and robustness of the explanation techniques」という指摘は重要。