- RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models [124.7]
大規模言語モデル(LLM)におけるロールプレイング能力をベンチマークし、評価し、拡張するフレームワークであるRoleLLMを紹介する。 Context-InstructとRoleGPTによって、168,093サンプルでロールプレイする最初の体系的できめ細かい文字レベルのベンチマークデータセットであるRoleBenchを作成します。
論文 参考訳（メタデータ） (Sun, 1 Oct 2023 17:52:59 GMT) - LLMによるrole-playingを実現するフレームワークと評価ベンチマークの提案。
- リポジトリはGitHub – InteractiveNLP-Team/RoleLLM-public: RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models
月: 2023年10月
Towards Better Chain-of-Thought Prompting Strategies: A Survey
- Towards Better Chain-of-Thought Prompting Strategies: A Survey [60.8]
CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の促進戦略として使用すると,その印象的な強度を示す。 近年,CoTの促進効果が注目されている。 この調査は、関連する研究全般の参考になるかもしれない。
論文 参考訳（メタデータ） (Sun, 8 Oct 2023 01:16:55 GMT) - Chain of Thoughtのサーベイ、新たな分野でありサーベイできるほどの研究があるというのも若干驚き。Extension Strategiesが非常に参考になった。
In-Context Unlearning
- In-Context Unlearning: Language Models as Few Shot Unlearners [31.4]
In-Context Unlearningは、モデルパラメータを更新することなく、コンテキスト内でインプットを提供する。 これらのコンテキストは、最先端の未学習手法と競合するパフォーマンスレベルを維持しながら、トレーニングセットから特定の情報を効果的に除去することを示します。
論文 参考訳（メタデータ） (Wed, 11 Oct 2023 15:19:31 GMT) - In-Context でのUnlearning。 LiRA-Forgetという評価指標で有効性を確認とのことだが、これはunlearningと言えるのかはやや疑問
LLMのUnlearning
- Who’s Harry Potter? Approximate Unlearning in LLMs [4.8]
大きな言語モデル(LLM)は、しばしば著作権のあるコンテンツを含む巨大なインターネットコーパスで訓練されている。 これは、これらのモデルの開発者やユーザ、およびオリジナルの著者や出版者にとって、法的および倫理的な課題を引き起こす。 本稿では,LLMからトレーニングデータのサブセットをスクラッチから再学習する必要がない新しい手法を提案する。
論文 参考訳（メタデータ） (Tue, 3 Oct 2023 17:48:14 GMT) - LLMに対するunlearning手法の提案
HtT: Hypotheses-to-Theories
- Large Language Models can Learn Rules [111.7]
大規模言語モデル(LLM)を用いた推論のためのルールライブラリを学習するフレームワークであるHtTを提案する。 数値的推論問題と関係的推論問題の両方の実験は、HtTが既存のプロンプト法を改善することを示している。 学習されたルールは、異なるモデルや同じ問題の異なる形式にも転送可能である。
論文 参考訳（メタデータ） (Tue, 10 Oct 2023 23:07:01 GMT) - LLMがルールを導出できるか調査した論文。ルール生成と検証を行うINDUCTION STAGE、ルールライブラリから適用するDEDUCTION STAGEを分けるアプローチで特にGPT-4について有望な結果でありCoTを上回る。
- XAIにも有効なアプローチに見え興味深い。
Multilingual Jailbreak Challenges in Large Language Models
- Multilingual Jailbreak Challenges in Large Language Models [96.7]
本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。 リスクシナリオとして,意図的でないシナリオと意図的シナリオの2つを考えます。 安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
論文 参考訳（メタデータ） (Tue, 10 Oct 2023 09:44:06 GMT) - 多言語でのJailbreakと防御法の提案、日本語が入っていないのが悲しい
- 現実装では多言語プロンプトに対する防御は十分でないという結果に見える。（防御方法はこの論文でも提案されている。）
- リポジトリはGitHub – DAMO-NLP-SG/multilingual-safety-for-LLMs: Data for “Multilingual Jailbreak Challenges in Large Language Models”
Mistral 7B
- Mistral 7B [62.2]
Mistral 7Bはすべての評価ベンチマークでLlama 2 13B、推論、数学、コード生成でLlama 1 34Bを上回っている。 また、命令に従うように微調整されたモデルも提供します。 Mistral 7B — Instructは、Llama 2 13Bを越え、人間と自動化ベンチマークの両方でチャットモデルを提供します。
論文 参考訳（メタデータ） (Tue, 10 Oct 2023 17:54:58 GMT) - 小規模パラメータで高性能と噂のLLM、Apache 2.0 licenseとオープンなモデル
- ブログMistral 7B | Mistral AI | Open source models、HuggingFacemistralai (Mistral AI_) (huggingface.co)以外にドキュメントDeploy with SkyPilot | Mistral AI Large Language Modelsも充実している。
LLMとFactuality
LLMとFactualityの関係は社会実装上大きな興味を持たれている。サーベイや評価フレームワークワークが立て続けに出ていた。
- Factuality Challenges in the Era of Large Language Models [113.3]
大規模言語モデル(LLM)は、誤った、誤った、あるいは誤解を招くコンテンツを生成する。 LLMは悪意のあるアプリケーションに利用することができる。 これは、ユーザーを欺く可能性があるという点で、社会に重大な課題をもたらす。
論文 参考訳（メタデータ） (Tue, 10 Oct 2023 03:34:46 GMT) - 社会実装に重きを置いた調査と提言、「Given the rapid and widespread growth in the use of LLMs, society must act quickly with appropriate regulation, education, and collaboration.」と規制より。
- Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.6]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳（メタデータ） (Wed, 11 Oct 2023 08:22:37 GMT) - Factuality, Relevance, Coherence, Informativeness, Helpfulness, Validityの評価フレームワークの提案
- リポジトリはGitHub – ChanLiang/CONNER: The implementation for EMNLP 2023 paper ”Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators“
- Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.5]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳（メタデータ） (Wed, 11 Oct 2023 14:18:03 GMT) - Retrieval-Augmented LLMを含めたサーベイ
- リポジトリはGitHub – wangcunxiang/LLM-Factuality-Survey: The repository for the survey paper <<Survey on Large Language Models Factuality: Knowledge, Retrieval and Domain-Specificity>>
MPSC: Multi-Perspective Self-Consistency
- Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [137.3]
大規模言語モデル(LLM)のためのMPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。 MPSCは、複数の視点からの出力間での一貫性と、単一の視点内での一貫性の両方を取り入れている。 我々のフレームワークは、様々な人気のあるベンチマークのパフォーマンスを大幅に向上させます。
論文 参考訳（メタデータ） (Fri, 29 Sep 2023 14:23:26 GMT) - LLMの複数の出力を用い、 inter- and intraconsistency を考慮して最適な出力を選択。通常のSelf consistencyな戦略を上回る性能とのこと。
- 「Our MPSC framework significantly boosts the performance on various popular benchmarks, including HumanEval (+17.60%), HumanEval Plus (+17.61%), MBPP (+6.50%) and CodeContests (+11.82%) in Pass@1, when compared to original outputs generated from ChatGPT, and even surpassing GPT-4.」はすごい。
Think before you speak: Training Language Models With Pause Tokens
- Think before you speak: Training Language Models With Pause Tokens [78.0]
言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
論文 参考訳（メタデータ） (Tue, 3 Oct 2023 17:32:41 GMT) - pause-inference (and pause-finetuning)として推論（ファインチューニング）時に<pause> tokenを導入、pause中は出力を抑制、抑制している分だけ（<pause> token分だけ）計算経路を増加、性能が向上とのこと。