Square One Bias in NLP

  • Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the Research Manifold [88.8]
    我々は、最近のNLP研究論文のマニュアル分類を通して、これが事実であることを示す。 NLP研究は正方形ではなく、精度だけでなく、公平性や解釈可能性にも焦点をあてる。
    論文  参考訳(メタデータ)  参考訳(全文)  (Mon, 20 Jun 2022 13:04:23 GMT)
    • NLPの研究の多くが精度、多言語性、公平性・解釈可能性の1軸に焦点を当てており、このような形式をSQUARE ONEと呼びそこから生まれるバイアスをSQUARE ONE BIASと呼んでいる。論文中のACL2021の分析結果も興味深いが、感覚的にも2軸以上を扱う論文はレアだと思う。
      • 先端研究の場合、競争激化もあって多様な軸で比較するのはしんどいんだろうと思わなくはないが、実務的には多様な評価は普通に行われる(やらないと怖くて使えない)わけで実務的な報告が増えて欲しいと思う今日この頃。
    • プロジェクトサイトはGitHub – google-research/url-nlp

AIとクラウド環境と炭素排出

  • Measuring the Carbon Intensity of AI in Cloud Instances [91.3]
    我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。 私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
    論文  参考訳(メタデータ)  参考訳(全文)  (Fri, 10 Jun 2022 17:04:04 GMT)
    • AI構築(と利用)におけるエネルギーの利用やCO2の排出は最近よく話題になる。そのようなテーマに対して整理し環境負荷を下げる方法をサジェストしている論文。
    • 本論文とは別件だが、Machine Learning CO2 Impact Calculator (mlco2.github.io)というサイトがあるくらい重要な話題になっている。

属性によるResponsible AIの受け止めの違い

  • How Different Groups Prioritize Ethical Values for Responsible AI [75.4]
    民間企業、公共セクター組織、学術団体は、責任あるAI技術にとって重要であると考える倫理的価値観を概説している。 彼らのレコメンデーションは中央値のセットに収束するが、より代表的な大衆が、彼らが交流し、影響を受ける可能性のあるAI技術にとって重要な価値についてはほとんど知られていない。 我々は、個人が3つのグループにまたがる責任あるAIの価値観をどのように認識し、優先順位付けしているかを調査した。
    論文  参考訳(メタデータ)   (Mon, 16 May 2022 14:39:37 GMT)
    • 米国住民(n=743)、クラウドワーカー(n=755)、AI実践者(n=175)のそれぞれがResponsible AI(と関連する要素)をどの程度重視するかの調査結果。
    • AI実践者は fairness, dignity, inclusivenessを重視し、米国住民とクラウドワーカーはsafety, privacy, performanceを重視する傾向にあるのは興味深い。過去の調査ではAI実践者はperfomanceを重視する傾向にあるそうだが、今回の調査ではそのような示唆は得られていないとのこと。
      • どう解釈するかは悩ましいがこの手の調査結果を色々見ておくのはとても良いことのように思う。

AIのSustainabilityに関するサーベイ

  • A Survey on AI Sustainability: Emerging Trends on Learning Algorithms and Research Challenges [35.3]
    我々は、AIの持続可能性問題に対処できる機械学習アプローチの大きなトレンドについてレビューする。 我々は、既存の研究の大きな限界を強調し、次世代の持続可能なAI技術を開発するための潜在的研究課題と方向性を提案する。
    論文  参考訳(メタデータ)   (Sun, 8 May 2022 09:38:35 GMT)
    • 環境を軸とした持続可能性(Computitaion-Efficient, Data-Efficient)、社会を軸とした持続可能性(Responsible,  Rationalizable & Resilient)という2つの側面からAIの持続可能性を整理したサーベイ。興味深い整理軸。

Designing for Responsible Trust in AI Systems

  • Designing for Responsible Trust in AI Systems: A Communication Perspective [56.8]
    我々は、MATCHと呼ばれる概念モデルを開発するために、技術に対する信頼に関するコミュニケーション理論と文献から引き出す。 私たちは、AIシステムの能力として透明性とインタラクションを強調します。 我々は、技術クリエーターが使用する適切な方法を特定するのに役立つ要件のチェックリストを提案する。
    論文  参考訳(メタデータ)   (Fri, 29 Apr 2022 00:14:33 GMT)
    • AIシステムの信頼性が伝達される過程を「model(M) attribute」「system affordances (A) to communicate trustworthiness (T) cues (C) of the AI」「users’ cognitive processing of these cues by invoking trust-related heuristics (H)」に整理、ユースケース分析を行った報告。これら要素をまとめてMATCHと呼んでいる。
    • テクノロジーそのものよりも「AIが信頼できると伝える過程」に注目しており非常に興味深い。

AIベースの意思決定支援ツール(ADS)と利用者の経験

  • Improving Human-AI Partnerships in Child Welfare: Understanding Worker Practices, Challenges, and Desires for Algorithmic Decision Support [37.0]
    児童福祉機関の一連のインタビューから得られた知見を,現在どのようにAI支援による児童虐待スクリーニングの意思決定を行っているかを理解するために提示する。 我々は,(1)AIモデルが捉える以上のリッチで文脈的な情報に対する労働者の信頼,(2)AIモデルの能力と限界に対する信念,(4)アルゴリズム的予測とそれ自身の意思決定目標との相違点の認識によって,労働者のADSへの信頼がいかに導かれるかを観察する。
    論文  参考訳(メタデータ)   (Tue, 5 Apr 2022 16:10:49 GMT)
    • 児童福祉機関におけるAI活用意思決定支援ツール利用者へ面接と状況調査を行い、実際にどのような活用がされているか整理した論文。対象はAllegheny Family Screening Toolで児童虐待ホットラインに来た内容の優先順位を付ける支援を行うものとのこと。
    • 「判断を強化するが、臨床判断を置き換えるのではなくサポートするツール」という主張、「ツールを過信するようになる」という指摘のどちらも完全に状況を捉えられておらずより複雑であるとのこと。
      • 良い内容でありぜひ読んでみるべきと思う。

A Roadmap for Big Model

  • A Roadmap for Big Model [390.6]
    BMの全般的な進歩を整理し、フォローアップ研究を導く研究成果の欠如がある。 本稿では,BM技術そのものだけでなく,BM訓練やBM応用の前提条件についても述べる。 データ,知識,コンピュータシステム,並列学習システム,言語モデル,ビジョンモデル,マルチモーダルモデル,理論と解釈可能性,常識推論,信頼性とセキュリティ,ガバナンス,評価,機械翻訳,テキスト生成,対話,タンパク質研究の4分野に16のBM関連トピックを紹介する。
    論文  参考訳(メタデータ)   (Sat, 26 Mar 2022 15:38:00 GMT)
    • 様々な分野での大規模モデルに関する包括的な論文(サーベイ)。100人近くの著者、本文140ページ、引用数1637と大作。全部読むのは大変だが、興味のある分野のみの参照でもとても参考になるものだと思う。

機械学習を用いたシステムのcode smell

  • Code Smells in Machine Learning Systems [27.8]
    本研究は,ディープラーニングソフトウェアシステムにおけるコードの臭いに関する最初の研究である。 DLシステムにおいて,保守関連変更の9つの頻度で検出された。 新たに同定されたコードの臭いが、開発者の視点でDLシステムのメンテナンスに広く影響していることがわかりました。
    論文  参考訳(メタデータ)  参考訳(全文)  (Wed, 2 Mar 2022 00:39:00 GMT)
    • 機械学習、特にDeep Learningを用いたソフトウェアに対するcode smell(ヤバそうなコード)の分析。
      • 「Scattered Use of ML Library: サードパーティーのライブラリやフレームワークを非凝縮的に使用、当該ライブラリが更新されたときに変更が多発」など身につまされる内容・・・

医療画像のAI開発における指針

  • FUTURE-AI: Guiding Principles and Consensus Recommendations for Trustworthy Artificial Intelligence in Future Medical Imaging [0.3]
    現在、医療画像における将来のAI開発を導くための具体的なガイドラインやベストプラクティスは存在しない。 本稿では、ヘルスイメージングにおけるAIに関する5つの大きなヨーロッパプロジェクトから、蓄積された経験、コンセンサス、ベストプラクティスから引き出されたガイド原則を慎重に選択する。 これらの指針はFUTURE-AIと呼ばれ、その構成要素は(i)公正性、(ii)普遍性、(iii)トレーサビリティ、(iv)ユーザビリティ、(v)ロバスト性、(vi)説明性からなる。
    論文  参考訳(メタデータ)   (Mon, 20 Sep 2021 16:22:49 GMT)
    • 5つの医療画像関係のAI開発プロジェクトの経験からベストプラクティスを設定、FUTUREという指針をまとめている。F: Fairness, U:Universality, T:Traceability, U:Usability, R:Robustness , E:Explainabilityに対応。
    • 46ページと長めだが非常に良い内容。AI一般の開発ガイドラインとしても参考になる。