YAYI 2

  • YAYI 2: Multilingual Open-Source Large Language Models [53.9]
    我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
    論文  参考訳（メタデータ）   (Fri, 22 Dec 2023 17:34:47 GMT)
  • 多言語対応かつ高性能なLLM YAYI2の論文。YAYI2 30Bは5 shotのMMLUでScore=80.5と高い。学習データのクレンジングからpre train, SFT, RLHFと構築過程も非常に参考になる。
  • リポジトリはYAYI2/README_EN.md at main · wenge-research/YAYI2 (github.com、コードはOSSのようだがweightは別途ライセンスが定められている点に注意。
  • YAYI-UIE: A Chat-Enhanced Instruction Tuning Framework for Universal Information Extraction [21.0]
    ユニバーサル情報抽出(YAYI-UIE)のためのエンドツーエンドのチャット強化指導フレームワークを提案する。 具体的には,対話データと情報抽出データを用いて,情報抽出性能を協調的に向上する。
    論文  参考訳（メタデータ）   (Sun, 24 Dec 2023 21:33:03 GMT)
  • 関連してuniversal information extraction taskへのチューニング手法、
  • リポジトリはYAYI-UIE/README_EN.md at main · wenge-research/YAYI-UIE (github.com)

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です