- Data Pricing in Machine Learning Pipelines [6.7]
マシンラーニングパイプラインでは,3つの重要なステップで価格設定に重点を置いています。 データ収集のトレーニング段階における価格の理解のために、原データセットとデータラベルの価格についてレビューする。 また、機械学習モデルの協調トレーニングの段階における価格についても検討する。
論文 参考訳（メタデータ） (Wed, 18 Aug 2021 00:57:06 GMT)- machine learning pipeline（生データの収集、ラベリング、（協調した）学習、モデル自体）を価格に注目して整理した論文。データの価格には様々な要素があることが示され一筋縄ではいかないことが分かる。
投稿者: staka
Program Synthesis with Large Language Models: 大規模言語モデルとプログラミング
- Program Synthesis with Large Language Models [40.4]
我々はPythonにおけるプログラム合成のための大規模言語モデルを評価する。 合成性能はモデルサイズと対数的にスケールすることがわかった。 ヒトからの自然言語フィードバックは、モデルの初期予測と比較してエラー率を半減することがわかった。 最高のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。
論文 参考訳（メタデータ） (Mon, 16 Aug 2021 03:57:30 GMT)- 244M～137Bパラメータの言語モデルでプログラム合成タスクを試した論文。合成性能はモデルサイズと対数的にスケールするという結果が興味深い。Scaling Lawが思い浮かぶ。
- 人間からの（自然言語による）フィードバックによってエラー率が減る結果はcoplilotのようなシステムが有望であることを示しているような気がする。（一方である程度コードを読める能力がないと使いづらいのは機械翻訳と同じ印象）
グラフ＋Capsule Network
- Graph Capsule Aggregation for Unaligned Multimodal Sequences [16.7]
本稿では,グラフベースのニューラルモデルとカプセルネットワークを用いた非整合マルチモーダルシーケンスをモデル化するために,Graph Capsule Aggregation(GraphCAGE)を導入する。 シーケンスデータをグラフに変換することにより、前述のRNNの問題を回避することができる。 さらに、Capsule Networkの集約機能とグラフベースの構造により、我々のモデルは解釈可能になり、長距離依存の問題をよりよく解決できる。
論文 参考訳（メタデータ） (Tue, 17 Aug 2021 10:04:23 GMT)- グラフベースニューラルモデルとカプセルネットワークを用いたGraphCAGEを提案、Multimodal Sentiment AnalysisのデータセットCMU-MOSI、CMU-MOSEIでSOTAを達成とのこと。
Foundation Models: 基礎となるモデルの可能性とリスク
- On the Opportunities and Risks of Foundation Models [260.2]
ファンデーションAIモデルは、大規模なデータに基づいてトレーニングされており、幅広い下流タスクに適応できる。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
論文 参考訳（メタデータ） (Mon, 16 Aug 2021 17:50:08 GMT)- StanfordのCenter for Research on Foundation Models (CRFM)による基礎モデル（≒大規模事前学習モデル）の可能性とリスクに関する論文。近年の大規模事前学習の状況と未来における課題について広範にまとまっている。114人の著者による211ページの論文であり書籍といっても良い規模。
- https://www.arxiv-vanity.com/で変換済みのようなので、ここからブラウザの翻訳等使うと読みやすいかもしれない。
MMChat: Multi-Modal Chat Dataset
- MMChat: Multi-Modal Chat Dataset on Social Media [8.9]
MMChatは大規模多モード対話コーパス(32.4Mの生対話と120.84Kのフィルタリング対話) 架空の映画からクラウドソースまたは収集された以前のコーパスとは異なり、MMChatはソーシャルメディア上の実際の会話から収集された画像付き対話を含んでいる。 画像特徴量にアテンションルーティング機構を適用することで,対話生成タスクにおけるこの問題に対処するベンチマークモデルを開発した。
論文 参考訳（メタデータ） (Mon, 16 Aug 2021 15:27:49 GMT)- マルチモーダルな対話データセット。120K対話、200K画像と大規模。
- 「コンテンツに対するURLだけが、ダウンロードスクリプトとともにリリースされる」「ユーザーは、学術的な目的以外にMMCHATを乱用しないことを約束する保証状に署名する必要がある」とのことで簡単にダウンロードできるデータでは無いよう。
時間に鋭敏なQAデータセット
- A Dataset for Answering Time-Sensitive Questions [89.0]
時間とは、我々の物理的世界において重要な次元である。多くの事実が時間に関して進化することができる。 時間次元を考慮し、既存のQAモデルに時間とともに推論する権限を与えることが重要です。 既存のQAデータセットには、時間に敏感な質問がほとんどないため、モデルの時間的推論能力の診断やベンチマークには適さない。
論文 参考訳（メタデータ） (Fri, 13 Aug 2021 16:42:25 GMT)- 時間に鋭敏なQAデータセットとのことで、「長い文書における時間情報の明示的および暗黙的な言及の両方を理解する必要がある」「比較、加算、減算のような時間的推論を行う必要がある」データセットとして設計されているとのこと。現状SOTAのモデル（BigBirdやFiD）でも全く人間に及ばない性能しか出せないとのことで難しいデータセットになっている。
- リポジトリはhttps://github.com/wenhuchen/Time-Sensitive-QAとのことだが、現時点では404
Multimodal Hierarchical Selective Transformer (mhsf) : マルチモーダルな抽象型要約
- Abstractive Sentence Summarization with Guidance of Selective Multimodal Reference [3.5]
モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。 提案したmhsfモデルの汎用性を,事前学習+微調整およびフレッシュトレーニング戦略を用いて評価した。
論文 参考訳（メタデータ） (Wed, 11 Aug 2021 09:59:34 GMT)- テキスト、画像、音声→テキストな抽象型要約に関する論文。マルチモーダル性をうまく利用することで既存手法より優れていると報告。人間による評価を併用している点、そこでも高スコアであることが興味深い。
Mobile-Former: MobileNet + Transformer
- Mobile-Former: Bridging MobileNet and Transformer [42.6]
我々はMobileNetとTransformerの並列設計であるMobile-Formerについて述べる。 Mobile-Formerは計算効率が良いだけでなく、より表現力があり、低FLOPでMobileNetV3を上回っている。
論文 参考訳（メタデータ） (Thu, 12 Aug 2021 17:59:55 GMT)- 局所的な表現ではMobileNet、大域的な部分はTransformerと2つのモデルを併用することで効率的・高速だが性能の高いモデルを構築できたとの報告。
- RELATED WORKにもある通りこのような構成は最近よく見かける。
AIモデルのFairness検証の実例
AI系手法（といっても一つはロジスティック回帰だが）の実例をFairnessの観点から分析した報告が出ていた。この手の話題はFairnessとは何か？の議論が重要で、実例をしっかりと扱った論文はとても勉強になる。
- Fair Decision-Making for Food Inspections [3.4]
本稿では,シカゴ市公衆衛生局によるレストラン検査の予測モデルの適用について再検討する。 本モデルでは,検査を行った正統性に基づいて,検査を不平等に扱うことが確認された。 我々は、オリジナルのモデルをより公平な方法で使用するためのアプローチと、公平性を達成するためのモデルのトレーニング方法の両方について検討する。
論文 参考訳（メタデータ） (Thu, 12 Aug 2021 04:17:39 GMT)
- Fairness in Algorithmic Profiling: A German Case Study [0.0]
本研究では、求職者の長期失業リスクを予測するための統計モデルを比較し、評価する。 これらのモデルは、競争力のある精度で長期失業を予測するために使用できることを示す。 異なる分類ポリシーは、非常に異なる公平性をもたらすことを強調する。
論文 参考訳（メタデータ） (Wed, 4 Aug 2021 13:43:42 GMT)
NLPにおける説明手法のサーベイ
- Post-hoc Interpretability for Neural NLP: A Survey [11.8]
本稿では,解釈可能性法がどのように説明を伝達するかを分類する。 この調査は、モデル学習後に説明を提供するポストホック手法に焦点を当てている。 このクラスのメソッドに共通する関心事は、モデルが正確に反映されているかどうかである。
論文 参考訳（メタデータ） (Tue, 10 Aug 2021 18:00:14 GMT)- 自然言語処理を対象にした説明性、解釈性を実現する手法のサーベイ。モチベーション、評価方法、手法の概要説明と非常に多くの手法を紹介している。この分野を振り返るうえで貴重な資料。