- Holistic Evaluation of Text-To-Image Models [153.5]
我々はテキスト・ツー・イメージ・モデル(HEIM)の全体的評価という新しいベンチマークを導入する。 テキスト・イメージ・アライメント、画像品質、美学、独創性、推論、知識、バイアス、毒性、公正性、堅牢性、多言語性、効率性を含む12の側面を識別する。 以上の結果から,異なるモデルが異なる強みを示すことにより,すべての面において単一のモデルが優れているものはないことが明らかとなった。
論文 参考訳(メタデータ) (Tue, 7 Nov 2023 19:00:56 GMT) - 「text-image alignment, image quality, aesthetics, originality, reasoning, knowledge, bias, toxicity, fairness, robustness, multilinguality, and efficiency」と12の側面での画像生成AIの評価。結果は「Overall, DALL-E 2 appears to be a versatile performer across human metrics.However, no single model emerges as the top performer in all aspects.」とのこと。
- リポジトリはGitHub - stanford-crfm/helm: Holistic Evaluation of Language Models (HELM), a framework to increase the transparency of language models (https://arxiv.org/abs/2211.09110).、Holistic Evaluation of Text-To-Image Models (HEIM) (stanford.edu)
評価指標
2 / 2 ページ
GPT-Fathom, NLPBench
- GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond [31.3]
GPT-Fathomは、OpenAI Evals上に構築された大規模言語モデル(LLM)のための、オープンソースで再現可能な評価スイートである。 私たちは,7つの機能カテゴリにまたがる20以上のベンチマークで,10以上のLLMとOpenAIのレガシモデルを評価しました。
論文 参考訳(メタデータ) (Thu, 28 Sep 2023 16:43:35 GMT) - GitHub - openai/evals: Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks. を用いた評価
- NLPBench: Evaluating Large Language Models on Solving NLP Problems [41.0]
大規模言語モデル(LLM)は、自然言語処理(NLP)の能力を高めることを約束している。 イェール大学の最終試験から得られた様々なNLPトピックにまたがる378の大学レベルのNLP質問を含む,ユニークなベンチマークデータセットであるNLPBenchを提案する。 GPT-3.5/4, PaLM-2, LLAMA-2などのLCMに着目した評価では, チェーン・オブ・シークレット(CoT)やツリー・オブ・シークレット(ToT)といった先進的なプロンプト戦略が取り入れられている。
論文 参考訳(メタデータ) (Wed, 27 Sep 2023 13:02:06 GMT) - NLPコースの試験から作られたデータセット
- モデル×手法(Zero/Few shot, CoT, ToT)の結果が興味深い。
- GitHub - LinxinS97/NLPBench: NLPBench: Evaluating NLP-Related Problem-solving Ability in Large Language Models
CoVe: Chain-of-Verification
- Chain-of-Verification Reduces Hallucination in Large Language Models [81.0]
言語モデルが与える反応を考慮し、誤りを訂正する能力について検討する。 モデルが最初に初期応答をドラフトするChain-of-Verification (CoVe) 法を開発した。 ウィキデータからクローズドブックMultiSpanQAまで,さまざまなタスクにおける幻覚の減少を示す。
論文 参考訳(メタデータ) (Wed, 20 Sep 2023 17:50:55 GMT) - 初期回答を作成→検証計画(検証用の質問)を作成→検証(回答・合意確認)→最終回答とすることでHallucinationを防ぐ取り組み
- 近しい報告は多いので効果的であろうとは思うが、Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation? – arXiv最新論文の紹介 (devneko.jp)の件もあり多言語で動作するかも興味がある。
DecompEval
- DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.9]
自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。 本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。 本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
論文 参考訳(メタデータ) (Thu, 13 Jul 2023 16:16:51 GMT) - NLGの評価をQAタスクで行うもの。Instruction-Tuned Pre-Trained Modelsを使うアプローチで特別な学習が不要で効果的とのこと。論文中検証ではFLAN-T5が使用されている。
- 近しいアプローチ&LLMで有効という報告もある通り有望なものだと思う。詳細な報告があるのはありがたい。
- リポジトリはGitHub - kepei1106/DecompEval
LLMScore
- LLMScore: Unveiling the Power of Large Language Models in Text-to-Image Synthesis Evaluation [72.3]
既存のテキスト対画像合成の自動評価は、画像とテキストのマッチングスコアしか提供できない。 マルチグラニュラリティ合成による評価スコアを提供する新しいフレームワークであるLLMScoreを提案する。
論文 参考訳(メタデータ) (Thu, 18 May 2023 16:57:57 GMT) - LLMを用いた画像生成の評価指標の提案、優れた結果だが「GPT-4 based LLMScore (Error Counting) is only comparable with GPT-3.5」というのが不思議
- リポジトリはGitHub - YujieLu10/LLMScore: LLMScore: Unveiling the Power of Large Language Models in Text-to-Image Synthesis Evaluation
FACTSCORE: Factual precision in Atomicity Score
- FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation [130.4]
FActScoreは、世代を一連の原子事実に分解し、信頼できる知識ソースによって支持される原子事実の割合を計算する新しい評価手法である。 我々は、最先端の商用LMが生み出した人々のFActScoreを得るために、広範囲にわたる人的評価を行う。 また、検索と強力な言語モデルを用いてFActScoreを2%未満のエラー率で推定する自動モデルも導入する。
論文 参考訳(メタデータ) (Tue, 23 May 2023 17:06:00 GMT) - 生成されたテキストの事実性を判定する手法の提案と評価。生成分を事実情報まで分割し、知識ソースとの整合性を確認するアプローチのよう。
- 検証結果も非常に興味深い。特にOSSモデルのスコアはベースモデルの性能が影響しているように見え、チャットの模倣と基礎モデルの能力は別物であることを示唆(The False Promise of Imitating Proprietary LLMsと同じ示唆)している気がする。
抽出型要約も忠実ではない
- Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization [91.9]
本研究は,抽出要約に現れる5種類の広い不信問題を持つ類型論を定義する。 我々は15の多様な抽出システムによって生成された1500の英語の要約の中から、これらの問題をラベル付けするよう人間に求めている。 これらの問題を自動検出するために,要約のための既存の5つの信頼度評価指標は,人間の判断と相関が低いことがわかった。
論文 参考訳(メタデータ) (Thu, 8 Sep 2022 03:25:18 GMT)- 一般的に抽象型要約よりも抽出型要約の要約の方が意味的な忠実度が高いと思われているが、人間による大規模検証によるとそうでもないという結果。
- 既存の各種評価指標との対応を見ると要約の自動評価簡単ではないなーという印象。
- ZhangShiyue/extractive_is_not_faithful (github.com)
難易度を考慮した機械翻訳の評価
- Difficulty-Aware Machine Translation Evaluation [20.0]
本稿では,新しい難易度対応機械翻訳評価指標を提案する。 ほとんどのMTシステムで予測できない翻訳は難解なものとして扱われ、最終的なスコア関数に大きな重みが割り当てられる。 提案手法は,MTシステムすべてが非常に競争力がある場合でも良好に機能する。
論文 参考訳(メタデータ) (Fri, 30 Jul 2021 02:45:36 GMT)- BERTScore をベースに翻訳の難しさ(複数翻訳モデルの一致の悪さ)を考慮したDifficulty-Aware BERTScoreを定義、評価指標として有効に動作することを検証した論文。よく用いられるBLEUは翻訳の品質評価において良好な結果を示さないことが分かっており、自動評価指標の開発は重要である。品質評価において難易度の考慮は自然な発想であり、本論文の難易度の定義も違和感がない。良さそうな指標だと思う。
- ソースコード等はhttps://github.com/NLP2CT/Difficulty-Aware-MT-Evaluationで公開されている。
To Ship or Not to ship: 機械翻訳の評価指標
- To Ship or Not to Ship: An Extensive Evaluation of Automatic Metrics for Machine Translation [6.0]
システムレベルの品質ランク付けを行う上で,どの指標が最も精度が高いかを検討する。 BLEUのみの使用は、改善されたモデルの開発に悪影響を及ぼしたことを示す。
論文 参考訳(メタデータ) (Thu, 22 Jul 2021 17:22:22 GMT)- 機械翻訳モデルが複数あったときにどのモデルをリリースすべきかは悩ましい問題である(FuguMTでも最終的には目検を行った後にリリースモデルを決めている)。この論文では幅広い検証の結果、BLEUは使用すべきではなくCOMET(使用不可の言語の場合はChrF)の使用を推奨している。
- リポジトリはhttps://github.com/MicrosoftTranslator/ToShipOrNotToShipであり、今後詳細を公開予定とのこと。
- COMETのリポジトリはhttps://github.com/Unbabel/COMETにある。