コンテンツへスキップ
- LawngNLI: A Long-Premise Benchmark for In-Domain Generalization from Short to Long Contexts and for Implication-Based Retrieval [72.5]
LawngNLIは米国法的な見解から構築されており、高い精度で自動ラベルが付けられている。 短いコンテキストから長いコンテキストまでドメイン内の一般化のベンチマークを行うことができる。 LawngNLIは、含意に基づくケース検索と議論のためのシステムを訓練し、テストすることができる。
論文 参考訳（メタデータ） (Tue, 6 Dec 2022 18:42:39 GMT)
- 法律ドメインのNatural Language Inferenceデータセット、前提が非常に長いのが特徴とのことで扱うのは簡単ではない印象
- コードなどはCognitive Computation Group (upenn.edu)でリリースされる予定とのこと
- Explanations Can Reduce Overreliance on AI Systems During Decision-Making [12.7]
AIが予測のための説明を生成する場合、予測のみを提供する場合に比べて、過信は減少しない。 過度信頼は認知バイアスや未確認の信頼の結果であり、過度信頼は人間の認知の必然性に起因すると主張する者もいる。 対照的に、私たちの論文では、AIの説明に関わるかどうかを戦略的に選択し、AIの説明が過度な信頼を減少させるシナリオがあることを実証的に示す。文献で見いだされた無効効果のいくつかは、AIの予測を検証するコストを十分に削減していない説明によるものである可能性が示唆された。
論文 参考訳（メタデータ） (Tue, 13 Dec 2022 18:59:31 GMT)
- XAIの有効性に関する報告。「AIを過剰に信頼する文脈でXAIは効果が無い」という既存の報告に対して、5つの実験によって状況に依存するとの結果を出している。
- 実験のデザインをする過程が詳細で興味深い（この理由により若干長い）
- この報告自体は単純化された内容ではあるが、社会実装においてAIの使い方を設計するというのが重要になりそうなことが分かる。