arXiv最新論文の紹介

今週もGPT-4関連の話題が多かった。面白そうな論文をメモがてら記載しているが、発表が多すぎて読むのが大変。

• Cerebras Systems Releases Seven New GPT Models Trained on CS-2 Wafer-Scale Systems – Cerebras
• GitHub – geov-ai/geov: The GeoV model is a large langauge model designed by Georges Harik and uses Rotary Positional Embeddings with Relative distances (RoPER). We have shared a pre-trained 9B parameter model.
• Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | by the Team with members from UC Berkeley, CMU, Stanford, and UC San Diego (lmsys.org)
• 2023_GPT4All_Technical_Report.pdf

などオープンソースの取り組みも盛ん。

• GPTEval: NLG Evaluation using GPT-4 with Better Human Alignment [64.0]
  GPTEvalは、大規模言語モデルにチェーン・オブ・シンドロームとフォームフィリング・パラダイムを使って、NLG出力の品質を評価するためのフレームワークである。 GPT-4 をバックボーンモデルとした GPTEval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ）   (Wed, 29 Mar 2023 12:46:54 GMT)
• GPT-4（＋CoT）を用いたNLGの評価手法
• LLMでLLMを評価するような事にもなりかねないが、平均的な性能でUniEvalを超えているのはすごい

• BloombergGPT: A Large Language Model for Finance [26.3]
  我々は、幅広い財務データに基づいて訓練された500億のパラメータ言語モデルであるBloombergGPTを提示する。 Bloombergの広範囲なデータソースに基づいて,汎用データセットから345億のトークンを付加した,363億のトークンデータセットを構築しました。 我々の混合データセットトレーニングは、財務タスクにおける既存のモデルをかなりのマージンで上回るモデルにつながります。
  論文  参考訳（メタデータ）   (Thu, 30 Mar 2023 17:30:36 GMT)
• 金融ドメインのデータとしてFinPileを構築、一般的なデータを含めて学習された金融に強いLLM
• 流石というべきか、金融関連のタスクにおいてはBLOOM 176Bを上回る性能、BIG-BENCHにおけるBLOOM 176BやPaLM 540Bの結果を比較するにドメイン特化型のLLMは特定ドメインに優れた性能を発揮するのは間違いないように思う。

• HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace [70.7]
  大規模言語モデル(LLM)は、言語理解、生成、相互作用、推論において例外的な能力を持つ。 LLMは、複雑なAIタスクを解決するために既存のAIモデルを管理するコントローラとして機能する可能性がある。 HuggingGPTは、さまざまなモダリティとドメインで、多数の高度なAIタスクをカバーすることができる。
  論文  参考訳（メタデータ）   (Thu, 30 Mar 2023 17:48:28 GMT)
• ChatGPTとHuggingFaceを連携することで様々なMLタスクを解くという提案
• 自然言語で様々なタスクを解くためにChatGPTをインタフェースとして用いるというのはChatGPT pluginと同じ感じがして興味深く、LLMのプランニング能力をうまく使っている。下記のTaskMatrix.AIに近い気がするのだが、どういう関係にあるのだろう？
• リポジトリはGitHub – microsoft/JARVIS: JARVIS, a system to connect LLMs with ML community

• TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs [71.7]
  私たちは、基礎モデルと数百万のAPIを結合してタスク補完を行う、新しいAIエコシステムとしてTaskMatrix.AIを紹介します。 このようなエコシステムを構築するためのビジョンを示し、それぞれの重要なコンポーネントを説明し、このビジョンの実現可能性と次に取り組むべき主な課題の両方を説明するために研究ケースを使用します。
  論文  参考訳（メタデータ）   (Wed, 29 Mar 2023 03:30:38 GMT)

• ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks [0.0]
  また、ChatGPTは、いくつかのアノテーションタスクにおいて、クラウドワーカーよりも優れていることを示す。 ChatGPTのアノテーションあたりのコストは0.003ドル未満で、MTurkの約20倍安い。
  論文  参考訳（メタデータ）   (Mon, 27 Mar 2023 09:59:48 GMT)
• tweetのアノテーションタスクでAmazon Mechanical TurkよりもChatGPTの方が優れていたとする報告。訓練されたアノテータも超えているのが凄い。
• （とはいえ報告されたAccuracyを見るにクラウドワーカーの品質がいちいちという感じもする）

• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [64.0]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 LLMをより良いアノテータにするために、我々は2段階のアプローチ「explain-then-annotate」を提案する。
  論文  参考訳（メタデータ）   (Wed, 29 Mar 2023 17:03:21 GMT)
• 上記と近しい報告。
• 良いプロンプトの作り方にまで踏み込んでいて参考になる。（のだが、GPT-3.5の規約上このように作られたアノテーションデータを使ってモデルを作ることはできないのでは？という気もしている。競合するLLMでなければ大丈夫だったりするのだろうか？最新の利用規約など詳細の確認が必要。）

• ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark [11.4]
  ChatGPTはOpenAIが開発した最先端の人工知能言語モデルである。 商用のGEC製品(例:Grammarly)や最先端のモデル(例:GECToR)と比較する。 また,ChatGPTは,自動評価指標の基準値ほど性能が良くないことがわかった。
  論文  参考訳（メタデータ）   (Wed, 15 Mar 2023 00:35:50 GMT)
• ChatGPTの文法エラー訂正能力の検証
• 商用製品に比べるとパフォーマンスは劣るとの評価。GPT-3.5の能力としてはそうだろうと思いつつGPT-4だとどうなるのかは興味がある。

• A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models [59.5]
  GPTシリーズモデルは、その例外的な自然言語処理能力により、かなりの注目を集めている。 2つのGPT-3系列モデルと4つのGPT-3.5系列モデルからなる6つの代表モデルを選択する。 21個のデータセットを用いて,9つの自然言語理解タスク(NLU)の性能評価を行った。 実験の結果,NLUタスクにおけるGPTシリーズモデルの全体的な能力は,モデルが進化するにつれて徐々に向上しないことがわかった。
  論文  参考訳（メタデータ）   (Sat, 18 Mar 2023 14:02:04 GMT)
• GPTシリーズモデルの性能比較
• 学習戦略やデータセットとの相性によって新しいモデルが常に優れているわけではないというのが興味深い。個人的にはtext-davinci-002から003の間でかなりの性能差があったように思うがタスクにもよるっぽい。
• 日本語での評価も知りたいところ。（比較すればよいって話ではあるが。。。）