コンテンツへスキップ
- Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.3]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
論文 参考訳（メタデータ） (Mon, 16 Sep 2024 09:06:44 GMT)
- 信頼できるAIに関するサーベイはよくあるがRAGを対象としたものは珍しいように思う。
- リポジトリはGitHub – smallporridge/TrustworthyRAG
- GPT-4 as a Homework Tutor can Improve Student Engagement and Learning Outcomes [80.6]
我々は,中学生が第二言語として英語を学習するための対話型宿題セッションを,GPT-4で実施できるプロンプト戦略を開発した。 従来の宿題を GPT-4 の宿題に置き換え,4つの高校生の授業でランダム化比較試験(RCT)を行った。 学習結果の大幅な改善,特に文法の増大,学生のエンゲージメントについて検討した。
論文 参考訳（メタデータ） (Tue, 24 Sep 2024 11:22:55 GMT)
- GPT-4を用いて宿題をサポートすることの効果をRCTで確認。「We observed significant improvements in learning outcomes, specifically a greater gain in grammar, and student engagement.」、「we do not find evidence of bias towards stronger students or harmful hallucinations.」とのこと。
- From MOOC to MAIC: Reshaping Online Teaching and Learning through LLM-driven Agents [78.2]
MAIC(Massive AI-empowered Course)は、LLM駆動のマルチエージェントシステムを活用して、AIが強化された教室を構築するオンライン教育の新たな形態である。 中国一の大学である清華大学で予備的な実験を行う。
論文 参考訳（メタデータ） (Thu, 05 Sep 2024 13:22:51 GMT)
- 「MOOC (Massive Open Online Course)」から「MAIC (Massive AI-empowered Course)」へ、と教育へのAI導入に関する整理と実践例、使い方など非常に参考になる。
- 「These initial findings suggest that highly personalized classrooms built with new AI-assisted learning technologies can achieve high quality, and student behavior demonstrates the effectiveness of the teaching process.」と有効性が示唆されている。（ただ、清華大学のようにリテラシーが極めて高い学生での検証結果が一般化できるかはやや謎ではある。）
- A Survey of Defenses against AI-generated Visual Media: Detection, Disruption, and Authentication [15.9]
深層生成モデルは様々なコンピュータビジョンアプリケーションで顕著な性能を示した。 これらのモデルは、誤情報、偽造、著作権侵害などの悪意ある目的のために使用されることがある。 本稿では,AI生成したビジュアルメディアに対する防衛研究の体系的かつタイムリーなレビューを行う。
論文 参考訳（メタデータ） (Mon, 15 Jul 2024 09:46:02 GMT)
- 「This survey provides a comprehensive overview of research on proactive and passive defenses against AI-generated visual media, covering the mainstream defense tasks of detection, disruption, and authentication, as well as their trustworthiness.」というサーベイ
- Open Problems in Technical AI Governance [93.9]
テクニカルAIガバナンス(Technical AI Governance)は、AIの効果的なガバナンスを支援するための技術分析とツールである。 本論文は、AIガバナンスへの貢献を目指す技術研究者や研究資金提供者のためのリソースとして意図されている。
論文 参考訳（メタデータ） (Sat, 20 Jul 2024 21:13:56 GMT)
- technical AI governance (TAIG)の紹介、「Assessment, Access, Verification, Security, Operationalization, Ecosystem Monitoring」×「Data, Compute, Model and Algorithm, Deployment」のマトリクスによる整理で技術的にはしっくりくる。
- 当然ながら、オープンな問題は多い。
- Consent in Crisis: The Rapid Decline of the AI Data Commons [74.7]
汎用人工知能(AI)システムは、大量の公開Webデータに基づいて構築されている。 我々は,AIトレーニングコーパスに基づくWebドメインに対する同意プロトコルの大規模かつ長期的監査を行う。
論文 参考訳（メタデータ） (Sat, 20 Jul 2024 16:50:18 GMT)
- 「We observe a proliferation of AIspecific clauses to limit use, acute differences in restrictions on AI developers, as well as general inconsistencies between websites’ expressed intentions in their Terms of Service and their robots.txt.」という報告。WEB検索のためのrobots.txtとAI利用のための条項が異なるのはそうだろうと思うし、AI利用だとそもそものトラフィック（や広告閲覧）がオリジナルサイトに行かないので問題が大きい。「Our longitudinal analyses show that in a single year (2023-2024) there has been a rapid crescendo of data restrictions from web sources, rendering ~5%+ of all tokens in C4, or 28%+ of the most actively maintained, critical sources in C4, fully restricted from use.」というのも驚き。
- リポジトリはGitHub – Data-Provenance-Initiative/Data-Provenance-Collection
- SearchGPT is a prototype of new AI search features | OpenAIのような動きとも関連し、この手の問題をどう解決していくかはとても重要。
- CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation [132.0]
言語モデル(LM)による著作権保護されたコンテンツの再生の度合いを評価することは、AIと法的なコミュニティにとって重要な関心事である。 LM世代におけるリテラルコピーと非リテラルコピーの両方を測定するために設計されたベンチマークであるCopyBenchを紹介する。 リテラル複写は比較的稀であるが、イベント複写と文字複写という2種類の非リテラル複写は、7Bパラメータのモデルでも発生する。
論文 参考訳（メタデータ） (Tue, 09 Jul 2024 17:58:18 GMT)
- （シンプルな）Literal copyingだけでなくパラフェージングなどを通して行われるNon-literal copyingも対象にしたベンチマークの提案と検証。リテラルコピーが大規模モデルで問題になるのは直観的に明らかとして「In proprietary models, the transition from GPT-3.5 to GPT-4 interestingly reduces literal copying but increases non-literal copying.」や「we find that current inference-time mitigation methods, although effective at reducing literal copying, are insufficient for addressing nonliteral copying.」という記載は興味深い。
- リポジトリはGitHub – chentong0/copy-bench: CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation
- Detecting AI-Generated Text: Factors Influencing Detectability with Current Methods [13.1]
テキストが人工知能(AI)によって作成されたかどうかを知ることは、その信頼性を決定する上で重要である。 AIGT検出に対する最先端のアプローチには、透かし、統計学的およびスタイリスティック分析、機械学習分類などがある。 AIGTテキストがどのようなシナリオで「検出可能」であるかを判断するために、結合する健全な要因についての洞察を提供することを目指している。
論文 参考訳（メタデータ） (Fri, 21 Jun 2024 18:31:49 GMT)
- テキスト生成されたものか否かを検出する手法に関するサーベイ、広範な内容。
- 必要性は認識しているが困難というタスクであり、現状を知るのにとても良い。
- A Survey on Safe Multi-Modal Learning System [10.9]
マルチモーダル学習システム(MMLS)は、様々なモーダル入力から情報を処理し統合する能力で注目を集めている。 安全に関する体系的な研究が欠如していることは、この分野の進歩にとって重要な障壁である。 MMLSの安全性を体系的に分類し評価する最初の分類法を提案する。
論文 参考訳（メタデータ） (Tue, 25 Jun 2024 05:42:43 GMT)
- マルチモーダルなシステムに対する安全性のサーベイ
- この手の対策が必要になってきたことに進化を感じる
- Multilingual Trolley Problems for Language Models [138.1]
この研究は、「道徳機械実験」という人間の道徳的嗜好に関する大規模横断的な研究から着想を得たものである。 大規模な言語モデル(LLM)は、英語、韓国語、ハンガリー語、中国語などの言語では人間の好みと一致しているが、ヒンディー語やソマリ語(アフリカ)のような言語では一致していないことを示す。 また, LLMが道徳的選択に与える説明を特徴付けるとともに, GPT-3によるGPT-4の決定と実用主義の裏側において, 公平性が最も有力であることを示す。
論文 参考訳（メタデータ） (Tue, 02 Jul 2024 14:02:53 GMT)
- トロッコ問題のような道徳的なジレンマを含む問題を多数の言語に翻訳し、LLMの回答と人間の回答を比較した論文。「We discover that LLMs are more aligned with human preferences in languages such as English, Korean, Hungarian, and Chinese, but less aligned in languages such as Hindi and Somali (in Africa).」とのことで言語間の差異は気になるところ。また、「Moreover, we characterize the explanations LLMs give for their moral choices and find that fairness is the most dominant supporting reason behind GPT-4’s decisions and utilitarianism by GPT-3.」は面白い結果。LLMの規模によるものか、アライメントの方針が変わったのか、興味がある。
- リポジトリはGitHub – causalNLP/moralmachine