日: 2022年7月4日

Minerva: 定量的な推論を改善した大規模言語モデル

  • Solving Quantitative Reasoning Problems with Language Models [53.5]
    我々は、一般的な自然言語データに基づいて事前訓練された大規模言語モデルであるMinervaを紹介し、さらに技術的な内容について訓練する。 このモデルは、外部ツールを使わずに、技術的ベンチマークで最先端のパフォーマンスを達成する。 我々はまた、物理学、生物学、化学、経済学、その他の科学における200以上の学部レベルの問題に対して、我々のモデルを評価した。
    論文  参考訳（メタデータ）   (Wed, 29 Jun 2022 18:54:49 GMT)
    • 従来難しいとされてきた定量的な推論（いわゆる理系っぽいテストで出てくる問題）を含む問題を解けるモデルの提案。PaLMやOpenAIのdavinti-002（GPT-3）に比べて大幅にパフォーマンスを改善。
      • 通常の問題同様、パラメータサイズの増加による改善もみられる。
      • 従来難しいとされていた問題が解けていくのは素晴らしいが、最近のスピード感が凄くて驚き。
      • 推論時の工夫もやっているが、conclusionでは「high quality mathematical dataset」が最初に挙げられていた。
    • BlogはGoogle AI Blog: Minerva: Solving Quantitative Reasoning Problems with Language Models (googleblog.com)

Beyond neural scaling laws

  • Beyond neural scaling laws: beating power law scaling via data pruning [37.8]広範囲に観察されたニューラルネットワークのスケーリング法則では、トレーニングセットのサイズやモデルサイズに応じてディープラーニングのパフォーマンスが大幅に向上している。しかし、スケーリングによるこれらの改善は計算とエネルギーにかなりのコストを必要とする。 ここでは、高品質なデータプルーニングメトリックにアクセスできれば、指数的スケーリングに縮小できることを示す。
    論文  参考訳（メタデータ）   (Wed, 29 Jun 2022 09:20:47 GMT)
    • 通常、学習データセット内のデータには冗長なものが多く、それらをうまく扱うことでScaling lawを超えた学習が可能であるとの指摘。理論解析、実証とも行っており非常に興味深い内容。

Federated Learningにおける公平性とプライバシー

  • “You Can’t Fix What You Can’t Measure”: Privately Measuring Demographic Performance Disparities in Federated Learning [78.7]
    フェデレートされた学習は、デバイスが機械学習モデルのトレーニングに協力することを可能にする。 フェデレートラーニングで訓練されたモデルが、異なる人口集団に対して異なるパフォーマンスを示すのではないかという懸念が高まっている。 本研究では,ユーザのグループメンバーシップのプライバシを保護しながら,このようなパフォーマンス格差を計測できる可能性を検討する。
    論文  参考訳（メタデータ）   (Fri, 24 Jun 2022 09:46:43 GMT)
    • 連合学習を行ったときその中のグループ内で性能差（≒格差）が生じるという指摘を扱った論文。プライバシーの保護と格差の測定を提案。