コンテンツへスキップ
- Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets [53.9]
トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。 私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。 私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
論文 参考訳（メタデータ） (Thu, 31 Mar 2022 18:06:28 GMT)- 学習用のデータセットに攻撃をすることで、プライバシーに関連するデータを漏洩させることができるとの報告。先行研究ではモデルの保護は困難とのこと。
- 「Untrusted data is not only a threat to integrity.」「Large neural networks are trained on massive datasets which are hard to curate.」ですよね・・・
- Improving Human-AI Partnerships in Child Welfare: Understanding Worker Practices, Challenges, and Desires for Algorithmic Decision Support [37.0]
児童福祉機関の一連のインタビューから得られた知見を,現在どのようにAI支援による児童虐待スクリーニングの意思決定を行っているかを理解するために提示する。 我々は,(1)AIモデルが捉える以上のリッチで文脈的な情報に対する労働者の信頼,(2)AIモデルの能力と限界に対する信念,(4)アルゴリズム的予測とそれ自身の意思決定目標との相違点の認識によって,労働者のADSへの信頼がいかに導かれるかを観察する。
論文 参考訳（メタデータ） (Tue, 5 Apr 2022 16:10:49 GMT)- 児童福祉機関におけるAI活用意思決定支援ツール利用者へ面接と状況調査を行い、実際にどのような活用がされているか整理した論文。対象はAllegheny Family Screening Toolで児童虐待ホットラインに来た内容の優先順位を付ける支援を行うものとのこと。
- 「判断を強化するが、臨床判断を置き換えるのではなくサポートするツール」という主張、「ツールを過信するようになる」という指摘のどちらも完全に状況を捉えられておらずより複雑であるとのこと。
- Parameter-Efficient Abstractive Question Answering over Tables or Text [60.9]
QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 7 Apr 2022 10:56:29 GMT)- 構造化表データと非構造化テキストデータの両方を扱え、パラメータ効率の高いアーキテクチャの提案。 tabular QA ではSoTA、textual QA でも競争力のあるパフォーマンスを達成とのこと。
- EntSUM: A Data Set for Entity-Centric Summarization [27.8]
制御可能な要約は、ユーザが指定した側面や好みを考慮に入れた要約を提供することを目的としている。 本稿では、制御可能な要約のための人間アノテーション付きデータセットEntSUMを紹介し、制御の側面として名前付きエンティティに焦点を当てる。
論文 参考訳（メタデータ） (Tue, 5 Apr 2022 13:45:54 GMT)
- Which Tricks are Important for Learning to Rank? [21.6]
現在、最先端のLTR(Learning-to-rank)手法は、勾配型決定木(GBDT)に基づいている。 最もよく知られているアルゴリズムは10年以上前に提案されたLambdaMARTである。本稿では,これらの手法を統一的に解析する。 その結果、学習からランクへのアプローチの洞察を得て、新しい勾配アルゴリズムを得ることができた。
論文 参考訳（メタデータ） (Mon, 4 Apr 2022 13:59:04 GMT)- 実用上重要なLearning-to-rankについて比較検討した論文。YetiRank が優れているとの結論。
- (Yandexの論文でもあり）Catboostで利用可能のよう。
- Socratic Models: Composing Zero-Shot Multimodal Reasoning with Language [49.8]
大規模な基盤モデルは、トレーニングされたデータのドメインによって、ユニークな機能を示すことができます。 このモデルの多様性は共生的であり,構造化ソクラテス対話を用いたAIシステム構築に活用可能であることを示す。
論文 参考訳（メタデータ） (Fri, 1 Apr 2022 17:43:13 GMT)
- 非常にクオリティの高い画像を生成するDALL-Eの後継モデル。guidance scaleによるが何らかの軸（写実性、テキストとの類似性、多様性）でGLIDEよりも人間の評価が優れている。下記のようなLimitationも挙げられているが、サンプル画像からは実用レベルに達しているように感じる。
- オブジェクトへの属性反映はGLIDEの方が優れている（色やサイズ、位置関係の反映がイマイチ）
- テキスト生成が弱い（画像中にテキストを入れる場合正しい出力にならないことがある）
- 複雑な画像を生成しにくい（「64×64の画像を生成、アップサンプリングしているためではないか」という記載がある）
- 技術的にはCLIP による分散表現とdiffusion model（GLIDEベース）が活用されているとのこと。
- サイトのURLはDALL·E 2 (openai.com)、論文はdall-e-2.pdf (openai.com)
- Automatic Song Translation for Tonal Languages [23.1]
歌詞翻訳のための新しいベンチマークを開発し,事前学習と3つの復号制約を組み合わせた教師なしASTシステムであるガイド付きAliGnment for Automatic Song Translation (GagaST)を開発した。 自動評価と人的評価の両方で、GagaSTはセマンティクスと歌声のバランスをとることに成功した。
論文 参考訳（メタデータ） 参考訳（全文） (Fri, 25 Mar 2022 02:25:33 GMT)
- PaLM: Scaling Language Modeling with Pathways [180.7]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文 参考訳（メタデータ） (Tue, 5 Apr 2022 16:11:45 GMT)- 540-billion parameterで780 billion tokens のデータ＆ 6144個のTPU v4 を用いて構築された大規模モデル。BIG-benchで平均的な人間のパフォーマンスを上回る。
- Discontinuous improvementsとして報告された内容が興味深く、8B→62Bパラメータへの改善と62B→540Bへの改善においてよく報告される“power law”に沿った改善ではない、非連続的な改善が見られたとのこと。
- 「First, the results presented here suggest that the improvements from scale for few-shot language understanding have not yet plateaued.」とある通りまだ発展が見込めるとのことで面白い。
- Fantastic Questions and Where to Find Them: FairytaleQA — An Authentic Dataset for Narrative Comprehension [136.8]
幼稚園児の物語理解に焦点を当てたデータセットであるFairytaleQAを8年生に紹介する。 FairytaleQAは10,580の明示的で暗黙的な質問で構成されており、278の子供フレンドリーな物語から導かれる。
論文 参考訳（メタデータ） (Sat, 26 Mar 2022 00:20:05 GMT)- 物語ドメインのQAデータセット。規模はそれなりという感じだが、セクション限定を行わない場合、長めのテキストを扱う必要がありそう。