LLMのUnlearning

  • Who’s Harry Potter? Approximate Unlearning in LLMs [4.8]
    大きな言語モデル(LLM)は、しばしば著作権のあるコンテンツを含む巨大なインターネットコーパスで訓練されている。 これは、これらのモデルの開発者やユーザ、およびオリジナルの著者や出版者にとって、法的および倫理的な課題を引き起こす。 本稿では,LLMからトレーニングデータのサブセットをスクラッチから再学習する必要がない新しい手法を提案する。
    論文  参考訳（メタデータ）   (Tue, 3 Oct 2023 17:48:14 GMT)
  • LLMに対するunlearning手法の提案

HtT: Hypotheses-to-Theories

  • Large Language Models can Learn Rules [111.7]
    大規模言語モデル(LLM)を用いた推論のためのルールライブラリを学習するフレームワークであるHtTを提案する。 数値的推論問題と関係的推論問題の両方の実験は、HtTが既存のプロンプト法を改善することを示している。 学習されたルールは、異なるモデルや同じ問題の異なる形式にも転送可能である。
    論文  参考訳（メタデータ）   (Tue, 10 Oct 2023 23:07:01 GMT)
  • LLMがルールを導出できるか調査した論文。ルール生成と検証を行うINDUCTION STAGE、ルールライブラリから適用するDEDUCTION STAGEを分けるアプローチで特にGPT-4について有望な結果でありCoTを上回る。
  • XAIにも有効なアプローチに見え興味深い。

Multilingual Jailbreak Challenges in Large Language Models

  • Multilingual Jailbreak Challenges in Large Language Models [96.7]
    本研究では,大規模言語モデル(LLM)における多言語ジェイルブレイク問題の存在を明らかにする。 リスクシナリオとして,意図的でないシナリオと意図的シナリオの2つを考えます。 安全な微調整のための多言語学習データを自動的に生成する新しいtextscSelf-Defense フレームワークを提案する。
    論文  参考訳（メタデータ）   (Tue, 10 Oct 2023 09:44:06 GMT)
  • 多言語でのJailbreakと防御法の提案、日本語が入っていないのが悲しい
  • 現実装では多言語プロンプトに対する防御は十分でないという結果に見える。（防御方法はこの論文でも提案されている。）
  • リポジトリはGitHub – DAMO-NLP-SG/multilingual-safety-for-LLMs: Data for “Multilingual Jailbreak Challenges in Large Language Models”

Mistral 7B

LLMとFactuality

LLMとFactualityの関係は社会実装上大きな興味を持たれている。サーベイや評価フレームワークワークが立て続けに出ていた。

  • Factuality Challenges in the Era of Large Language Models [113.3]
    大規模言語モデル(LLM)は、誤った、誤った、あるいは誤解を招くコンテンツを生成する。 LLMは悪意のあるアプリケーションに利用することができる。 これは、ユーザーを欺く可能性があるという点で、社会に重大な課題をもたらす。
    論文  参考訳（メタデータ）   (Tue, 10 Oct 2023 03:34:46 GMT)
  • 社会実装に重きを置いた調査と提言、「Given the rapid and widespread growth in the use of LLMs, society must act quickly with appropriate regulation, education, and collaboration.」と規制より。

MPSC: Multi-Perspective Self-Consistency

  • Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [137.3]
    大規模言語モデル(LLM)のためのMPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。 MPSCは、複数の視点からの出力間での一貫性と、単一の視点内での一貫性の両方を取り入れている。 我々のフレームワークは、様々な人気のあるベンチマークのパフォーマンスを大幅に向上させます。
    論文  参考訳（メタデータ）   (Fri, 29 Sep 2023 14:23:26 GMT)
  • LLMの複数の出力を用い、 inter- and intraconsistency を考慮して最適な出力を選択。通常のSelf consistencyな戦略を上回る性能とのこと。
  • 「Our MPSC framework significantly boosts the performance on various popular benchmarks, including HumanEval (+17.60%), HumanEval Plus (+17.61%), MBPP (+6.50%) and CodeContests (+11.82%) in Pass@1, when compared to original outputs generated from ChatGPT, and even surpassing GPT-4.」はすごい。

Think before you speak: Training Language Models With Pause Tokens

  • Think before you speak: Training Language Models With Pause Tokens [78.0]
    言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
    論文  参考訳（メタデータ）   (Tue, 3 Oct 2023 17:32:41 GMT)
  •  pause-inference (and pause-finetuning)として推論（ファインチューニング）時に<pause> tokenを導入、pause中は出力を抑制、抑制している分だけ（<pause> token分だけ）計算経路を増加、性能が向上とのこと。

MathCoder

  • MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning [53.0]
    本稿では,オープンソース言語モデルを微調整する手法を提案する。 本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。 このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
    論文  参考訳（メタデータ）   (Thu, 5 Oct 2023 17:52:09 GMT)
  • 数学の問題を解くためにコードを用いるアプローチ、オープンなLLMをSFTするアプローチ。
  • 大きな改変を行うにはやはりSFTで、オープンなモデルは重要だなという印象。
  • リポジトリはGitHub – mathllm/MathCoder: Family of LLMs for mathematical reasoning.

ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving

  • ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving [170.8]
    ToRAは、難解な数学的問題を解決するために設計されたツール統合推論エージェントのシリーズである。 ToRAモデルは、あらゆるスケールにわたる10の数学的推論データセットで、オープンソースモデルよりも大幅に優れています。 TORA-34Bは、MATHで50%を超える精度を達成する最初のオープンソースモデルであり、GPT-4のCoTよりも大幅に優れている。
    論文  参考訳（メタデータ）   (Fri, 29 Sep 2023 17:59:38 GMT)
  •  Tool-integrated Reasoning Agentを実現するモデルの提案。Promptを工夫するアプローチではなくLlama-2やCodeLLaMAをfine tuningしている。結果、比較的小規模のモデルでも高い性能を達成とのこと。
  • リポジトリはGitHub – microsoft/ToRA: ToRA is a series of Tool-integrated Reasoning LLM Agents designed to solve challenging mathematical reasoning problems by interacting with tools.

All Languages Matter: On the Multilingual Safety of Large Language Models

  • All Languages Matter: On the Multilingual Safety of Large Language Models [101.3]
    我々は、大規模言語モデル(LLM)のための最初の多言語安全ベンチマークを構築した。 XSafetyは、複数の言語ファミリーにまたがる10言語にわたる14種類の一般的な安全問題をカバーしている。 本稿では,ChatGPTの多言語安全性向上のための簡易かつ効果的なプロンプト手法を提案する。
    論文  参考訳（メタデータ）   (Mon, 2 Oct 2023 05:23:34 GMT)
  • LLMへの攻撃に対するベンチマーク、「Our empirical studies show that these LLMs perform much unsafer in non-English languages than in English, calling for the development of safety alignment beyond English.」とのことでLLMが広く使われるにつれ多言語の考慮はとても重要になりそう。
  • リポジトリはGitHub – Jarviswang94/Multilingual_safety_benchmark: Multilingual safety benchmark for Large Language Models