- Towards Conversational Diagnostic AI [32.8]
本稿では,診断対話に最適化されたLarge Language Model (LLM)ベースのAIシステムであるAMIE(Articulate Medical Intelligence Explorer)を紹介する。 AMIEは、さまざまな疾患条件にまたがって学習をスケールするための自動フィードバック機構を備えた、セルフプレイベースのシミュレート環境を使用する。 AMIEの診断精度は, 専門医によると32例中28例, 患者アクターでは26例中24例で高い成績を示した。
論文 参考訳（メタデータ） (Thu, 11 Jan 2024 04:25:06 GMT) - LLMの医療対話への応用、primary care physiciansと比較し高い性能を発揮。ランダム化、二重盲検で評価していて信頼性も高そう。
- 「Translating from this limited scope of experimental simulated history-taking and diagnostic dialogue, towards real-world tools for people and those who provide care for them, requires significant additional research and development to ensure the safety, reliability, fairness, efficacy, and privacy of the technology.」と保守的な記載はあるもののレベルが高くなっていて驚き。
日: 2024年1月15日
Language Models Understand Numbers, at Least Partially
- Language Models Understand Numbers, at Least Partially [32.5]
数学的問題における基本要素となる数について,言語モデルが理解しているかどうかを考察する。 本研究では,付加問題を含む合成データセットを構築し,線形プローブを用いてモデルの隠れ状態から入力番号を読み取る。 予備研究は、言語モデルが数の部分的理解を示すことを示唆している。
論文 参考訳（メタデータ） (Mon, 8 Jan 2024 08:54:22 GMT) - LLMが数値を理解しているか？の分析。利用している立場だと怪しいと思っていたが、「Experimental results prove that LLMs do have a rough estimation of input numbers in their hidden states, but the compression process may not be lossless.」と完全ではないが肯定的な結果のよう。「LLMs exhibit the ability to utilize compressed numbers to perform arithmetic calculations, and the ability to perform calculations is explicitly related to the scale of models.」というのもとても興味深い。
TrustLLMとLLMのリスク分類
LLMの信頼性、安全性に関する論文。TrustLLMは著者数がすごい。
- TrustLLM: Trustworthiness in Large Language Models [446.2]
本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。 まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。 これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
論文 参考訳（メタデータ） (Wed, 10 Jan 2024 22:07:21 GMT) - LLMの信頼性に関する包括的なサーベイ
- 「 “to be trustworthy, LLMs must appropriately reflect characteristics such as truthfulness, safety, fairness, robustness, privacy, machine ethics, transparency, and accountability.”」をスタートにしている。
- プロジェクトサイトはTrustLLM-Benchmark (trustllmbenchmark.github.io)
- Risk Taxonomy, Mitigation, and Assessment Benchmarks of Large Language Model Systems [29.8]
大規模言語モデル(LLM)は、多様な自然言語処理タスクを解く上で強力な能力を持つ。 しかし、LLMシステムの安全性とセキュリティの問題は、その広範な応用にとって大きな障害となっている。 本稿では,LLMシステムの各モジュールに関連する潜在的なリスクを体系的に分析する包括的分類法を提案する。
論文 参考訳（メタデータ） (Thu, 11 Jan 2024 09:29:56 GMT) - LLMのリスクに関する分析と分類、「入力モジュール」「言語モデル」「ツールチェイン」「出力モジュール」の４つを対象としている。
- 非常によくまとまっているのとライセンスがCC-BYというのがありがたい。
TOFU: Task of Fictitious Unlearning
- TOFU: A Task of Fictitious Unlearning for LLMs [99.9]
Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。 トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。 未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
論文 参考訳（メタデータ） (Thu, 11 Jan 2024 18:57:12 GMT) - LLMに対するTask unlearningのベンチマーク。事前学習に存在しないデータをfinetuning で入れてunlearningできるかを評価するようなアプローチ。既存の手法は効果が薄いという結果。
- 「With that and our claim that existing unlearning tools are mostly ineffective, we pose the question of whether or not existing alignment tools work.」は重要な指摘で、多くのモデルでjail breakが可能なことから見てもalignmentで安全なシステムを作ろうとするアプローチは無理筋なんじゃないかと思わなくもない。
- リポジトリはTOFU: A Task of Fictitious Unlearning for LLMs (locuslab.github.io)
Model Editing Can Hurt General Abilities of Large Language Models
- Model Editing Can Hurt General Abilities of Large Language Models [128.3]
大規模言語モデル(LLM)は、パラメータに格納された知識にアクセスするための新しいパラダイムを開放した。 大規模言語モデル(LLM)の最近の進歩は、パラメータに格納された知識にアクセスするための新しいパラダイムを開放した。 更新情報によるLLMの再学習は資源集約的であるため,モデル編集への関心が高まっている。
論文 参考訳（メタデータ） (Tue, 9 Jan 2024 18:03:15 GMT) - モデル編集の副作用に関する検証、GPT2-XLとLlama-1-7Bを対象にKN、MEND、ROME、MEMITでModel Editingし、8タスクで評価。結果として性能はかなり劣化したとのこと。
- 結果としては納得感があり、これら技術を使うには当該分野のテスト方法を確立する必要がありそう。
- リポジトリはJasonForJoy/Model-Editing-Hurt (github.com)