タグ: 倫理

Evaluation Ethics of LLMs in Legal Domain

  • Evaluation Ethics of LLMs in Legal Domain [35.7]
    本稿では,大規模言語モデル (LLM) の基本的言語能力, 専門的法的知識, 法的堅牢性を評価するために, 真正の法的事例を利用する新規性評価手法を提案する。 包括的評価から得られた知見は,法律領域における大規模言語モデルの適合性と性能に関する学術的議論に大きく貢献する。
    論文  参考訳（メタデータ）   (Sun, 17 Mar 2024 09:05:13 GMT)
  • LLMに対する法的ドメインでの評価、社会実装を考えるうえでとても重要。「Legal Instruction Following（正しく命令に従うか）」「Legal Knowledge（ Gender Bias, Age Bias, Career Biasを持っていないか）」「 Legal Robustness（回答の一貫性と誘導されないか）」を検証。Legal Knowledgeの「 Qwen-Chat (14B/7B) demonstrates a strong ability in recognizing legal elements, while GPT4 could become more viable if it addresses sentencing biases stemming from gender.」はやや意外な結果。
  • 残念ながら「Highlight the widespread shortcomings of LLMs in fairness and robustness.」とのこと。。。

Responsible AI Pattern Catalogue

  • Responsible AI Pattern Catalogue: A Multivocal Literature Review [13.2]
    MLR(Multivocal Literature Review)の結果に基づく応答性AIパターンカタログを提案する。 原則やアルゴリズムのレベルにとどまらず、私たちは、AIシステムのステークホルダーが実際に行なえるパターンに注目して、開発済みのAIシステムがガバナンスとエンジニアリングライフサイクル全体を通して責任を負うようにします。
    論文  参考訳（メタデータ）   (Wed, 14 Sep 2022 00:00:06 GMT)
    • Responsible AIに関するサーベイ、よくまとまっており外部資料へのリンクが多いのがありがたい。

AI倫理に関するツールキットのサーベイ

  • Seeing Like a Toolkit: How Toolkits Envision the Work of AI Ethics [27.0]
    我々は27のAI倫理ツールキットの質的分析を行い、倫理の作業がどのように想像され、これらのツールキットによってどのように支援されるかを調べる。 AI倫理ツールキットは、AI倫理の作業が個々の技術実践者にとって技術的作業である、という枠組みがほとんどである。 倫理的な作業を行う上で,組織的な力のダイナミクスをナビゲートする方法に関するガイダンスの欠如を特定します。
    論文  参考訳（メタデータ）  参考訳（全文）  (Thu, 17 Feb 2022 17:55:26 GMT)
    • AI Ethicsに関するツールが27個もあることに驚きつつ、技術的でない部分のサポートが不十分であるとの指摘は「そうだよね」という感想。
    • AI倫理のツールキットは「技術的でない面をサポート」し「技術者でない人をサポートし」、「集団行動としてAI倫理活動をサポート」すべきという指摘は重要。この手の話題は視点が多岐にわたるため技術者が全てをカバーするのは無理で、様々なバックグラウンドを持つ人の協同が必須。

AIタスクのための倫理シート

  • Ethics Sheets for AI Tasks [25.3]
    私は、個々のモデルやデータセットのレベルだけでなく、AIタスクのレベルにおいても倫理的考慮事項について考えることにしました。 このような取り組みの新たな形態として、AIタスクのための倫理シート(Ethics Sheets for AI Tasks)を紹介します。
    論文  参考訳（メタデータ）  参考訳（全文）  (Fri, 2 Jul 2021 16:45:40 GMT)
    • データシートやモデルカードといったデータやモデルの理解を助ける概要的ドキュメントがあるが、その倫理版（AIタスク向け）の提案。
    • 倫理の話題は社会実装の上で避けて通れず、このような整理はとても参考になる。