コンテンツへスキップ
- Benchmarking Neural Network Training Algorithms [46.4]
トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
論文 参考訳（メタデータ） (Mon, 12 Jun 2023 15:21:02 GMT)
- トレーニングアルゴリズムの改善を測るためのベンチマークの提案。多くの研究者が慎重に検討しており論文も長く詳細。勉強になる。
- KoLA: Carefully Benchmarking World Knowledge of Large Language Models [56.7]
我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 能力モデリングでは、人間の認知を模倣して知識関連能力の4段階の分類を作成し、19のタスクをカバーしている。 データには、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集される新興コーパスの両方を使用し、目に見えないデータを扱う能力と知識の進化を評価することを目的としています。
論文 参考訳（メタデータ） (Thu, 15 Jun 2023 17:20:46 GMT)
- Knowledge Memorization (KM), Knowledge Understanding (KU) ,Knowledge Applying (KA) , Knowledge Creating (KC)の軸、19のタスクでLLMを評価する総合ベンチマークの提案。総合的にGPT-4の優秀さが目立つが評価軸やベンチマークによって性能が様々であることもわかる。
- プロジェクトサイトはhttps://kola.xlore.cn、リポジトリはGitHub – THU-KEG/KoLA: The open-source repo of THU-KEG’s KoLA benchmark.
- CMMLU: Measuring massive multitask language understanding in Chinese [121.8]
本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
論文 参考訳（メタデータ） (Thu, 15 Jun 2023 15:49:51 GMT)
- 中国語の総合ベンチマーク、中国語固有の回答などが含まれるデータセットであるとのこと。正答率はChatGPTでも55.51%と難しいタスク（ランダム回答だと25%）、OSSなモデルのベストはFalcon-40Bの41.45%、LLaMA 65Bは39.80%とChatGPTからの性能差は大きい。ChatGLM-6Bの37.48%、BLOOMZ-7Bの37.04%を見るに中国語に対応させに行く方向性は有効そうではある。
- リポジトリはGitHub – haonan-li/CMMLU
- Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models [648.4]
言語モデルは、規模が大きくなるにつれて量的改善と新しい質的能力の両方を示す。 ビッグベンチは204のタスクで構成され、132の機関で450人の著者が貢献している。 我々は,OpenAIのGPTモデル,Google内部の高密度トランスアーキテクチャ,BIGベンチ上のスイッチ型スパーストランスの挙動を評価する。
論文 参考訳（メタデータ） (Mon, 12 Jun 2023 17:51:15 GMT)
- BIG-Benchの論文がアップデートされている。GPT-4やPaLM2の結果を期待していたがそのような大規模アップデートではなさそう。。
- 元々の紹介はBeyond the Imitation Game benchmark (BIG-bench) – arXiv最新論文の紹介 (devneko.jp)
- XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.5]
データ不足は、多言語NLPシステムの開発において重要な問題である。 我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
論文 参考訳（メタデータ） (Wed, 24 May 2023 06:09:28 GMT)
- 非常に多言語のNLPベンチマーク。対象タスクもASR、OCR、AutoComplete、Transliteration、Machine Translation、QA、Ritrieval for QA、NER、Semantic Parsingと多様。
- リポジトリはGitHub – google-research/xtreme-up
- What’s the Meaning of Superhuman Performance in Today’s NLU? [145.8]
我々は,SuperGLUE や SQuAD などのベンチマークが人間と PLM の比較に重大な制限を課していることを示す。 より公平で透過的なベンチマークのためのレコメンデーションを提供します。
論文 参考訳（メタデータ） (Mon, 15 May 2023 07:48:31 GMT)
- ベンチマークの限界を指摘した論文。6 Recommendationsの章はAIの限界や正しい評価とは？について確認するためにも良い整理。アノテートについて「What is their hourly pay rate?」という指摘は結構くるものがある。何かを評価しようとするなら、データ品質はとても重要。
- GeoGLUE: A GeoGraphic Language Understanding Evaluation Benchmark [56.1]
我々はGeoGLUEと呼ばれるGeoGraphic Language Understanding Evaluationベンチマークを提案する。 オープンソースの地理資源からデータを収集し、6つの自然言語理解タスクを導入する。 我々は,GeoGLUEベンチマークの有効性と意義を示す一般ベースラインの評価実験と解析を行った。
論文 参考訳（メタデータ） (Thu, 11 May 2023 03:21:56 GMT)
- 地理的情報を含めた自然言語処理ベンチマーク、Geo-POI Searching、 GeoSequence Tagging、Geo-Text Classificationがタスク。実用性が高そうなタスクという印象。
- リポジトリは地理语义理解能力评测基准 · 数据集 (modelscope.cn)
- Supporting Human-AI Collaboration in Auditing LLMs with LLMs [10.1]
大きな言語モデルは偏見があり、無責任に振る舞うことが示されている。 これらの言語モデルを厳格に監査することは重要である。 既存の監査ツールは、人間とAIの両方を活用して失敗を見つける。
論文 参考訳（メタデータ） (Wed, 19 Apr 2023 21:59:04 GMT)
- LLMの監査ツール、
- リポジトリはGitHub – microsoft/adatest at AdaTest++