日: 2023年7月27日

Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study

  • Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.3]
    本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
    論文  参考訳（メタデータ）   (Sun, 16 Jul 2023 15:11:01 GMT)
  • LLMの利用で一な低ビットでの量子化が性能に与える影響を調べた論文。4bitまでは大きな劣化はないが2bitでは深刻な性能劣化が起きるとのこと。
  • リポジトリはGitHub – RUCAIBox/QuantizedEmpirical

FLASK (Fine-grained Language Model Evaluation based on Alignment SKill Sets)

  • FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [39.8]
    FLASKは、粗度スコアリングをインスタンス単位のスキルセットレベルに分解する、きめ細かい評価プロトコルである。 具体的には、LLMがオープンエンドユーザー指示に従うために必要な12のきめ細かいスキルを定義する。 FLASKは、スキル、ドメイン、難易度に応じて、モデルのパフォーマンスを包括的に分析した総合的なビューを提供する。
    論文  参考訳（メタデータ）   (Thu, 20 Jul 2023 14:56:35 GMT)
  • ユーザの指示に従うためのスキルを評価するためのデータセット・ベンチマークの提案。評価軸は Logical Thinking (Logical Robustness, Logical Correctness, Logical Efficiency)、Background Knowledge (Factuality, Commonsense Understanding)、Problem Handling (Comprehension, Insightfulness, Completeness, Metacognition)、User Alignment (Readability, Conciseness, Harmlessness)
  • 結果としては商用モデルの強力さと、その中でもGPT-4の強さが目立つ。
  • プロジェクトサイトはGitHub – kaistAI/FLASK: Official codebase for “FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets”