タグ: GPT-#

ChatGPT、GPT-4関係の記事がずっと多い。凄い盛り上がり。

先週に引き続きオープンな取り組みも続けられており期待大。

• Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data [55.1]
  高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。 我々は,オープンソースの大規模言語モデルであるLLaMAを強化するために,パラメータ効率のチューニングを用いる。 得られたモデルはBaizeと呼ばれ、マルチターン対話において優れた性能を示す。
  論文  参考訳（メタデータ）   (Mon, 3 Apr 2023 17:59:09 GMT)
• LLaMAベースのオープンなモデル。コーパスをChatGPT(gpt-3.5-turbo)で作っているのが特徴的。おそらくこのような作成過程なので「Commercial use is strictly prohibited.」ただ、ベースとなるLLMさえあればChatGPTクローンの作成は可能なのではないかと思う内容。（ベースが作れないという話あるけど…）
• リポジトリはGitHub – project-baize/baize-chatbot: Let ChatGPT teach your own chatbot in hours with a single GPU!

• Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling [19.2]
  Pythiaは16の大規模言語モデル(LLM)からなるスイートで、すべて同じ順序で表示される公開データに基づいてトレーニングされている。 トレーニングデータローダをダウンロードして再構築するツールとともに,16モデル毎に154のチェックポイントを公開しています。
  論文  参考訳（メタデータ）   (Mon, 3 Apr 2023 20:58:15 GMT)
• オープンなLLM、最大12Bパラメータのモデルを構築。12B構築時の計算リソースは72,300 GPU hours、A100 (40GB)。p4d.24xlarge（8 GPU hour）が32.77 USD/hourなので、4200万円。LLaMA 7Bと比較しても計算リソースが抑えめ。
• リポジトリはGitHub – EleutherAI/pythia

医学関連の質問に対応できるかの話

• Exploring the Potential of Large Language models in Traditional Korean Medicine: A Foundation Model Approach to Culturally-Adapted Healthcare [0.0]
  大規模言語モデルであるGPT-3.5とGPT-4は、医学的な訓練を欠いているにもかかわらず、優れた医学的知識を示している。 本研究は,TKMにおけるGPT-3.5とGPT-4の能力を評価することを目的とした。
  論文  参考訳（メタデータ）   (Fri, 31 Mar 2023 05:43:21 GMT)
• 韓国の医学的知識の検証。「GPT-3.5 and GPT-4 achieved 42.06% and 57.29% accuracy, respectively, with GPT-4 nearing passing performance.」と高い性能

• Evaluating GPT-4 and ChatGPT on Japanese Medical Licensing Examinations [22.3]
  本研究は,過去5年間の全国医療ライセンス試験において,大規模言語モデル(LLM)を評価した。 実験の結果, GPT-4はChatGPTおよびGPT-3より優れており, 5年間の試験に合格していることがわかった。 ベンチマークをIgaku QAとしてリリースし、すべてのモデル出力と試験メタデータを公開します。
  論文  参考訳（メタデータ）   (Fri, 31 Mar 2023 13:04:47 GMT)
• こちらは日本の医師国家試験を対象にした検証。GPT-4はChatGPTより優れており試験を通過可能なスコアを達成。
• 使用したデータセット等が公開されている。GitHub – jungokasai/IgakuQA

次にエンジニアリングの試験を対象とした検証。ここでも優れた性能を達成

• Can AI Chatbots Pass the Fundamentals of Engineering (FE) and Principles and Practice of Engineering (PE) Structural Exams? [1.1]
  ChatGPT-4 と Bard はそれぞれ FE 試験で 70.9% と 39.2% を獲得し、PE 試験で 46.2% と 41% を獲得した。 現在のChatGPT-4はFE試験に合格する可能性があることは明らかである。
  論文  参考訳（メタデータ）   (Fri, 31 Mar 2023 15:37:17 GMT)

次に頑健性の話。

• On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective [33.3]
  本研究は,ChatGPTの頑健性について,敵対的視点とアウト・オブ・ディストリビューションの観点から評価する。 その結果,ほとんどの対人・OOD分類・翻訳作業において一貫した優位性を示した。 ChatGPTは対話関連テキストの理解において驚くべきパフォーマンスを示す。
  論文  参考訳（メタデータ）   (Wed, 29 Mar 2023 14:21:51 GMT)
• 頑健性の検証。LLMが優れるかはかなりタスクに依存する印象。
• （翻訳において優れていると結論しているが、相手を商用システムにしないといけないのでは？と思わなくもない）

上記にも関連するが、翻訳における検証

• Unleashing the Power of ChatGPT for Translation: An Empirical Study [18.7]
  ChatGPTは自然言語理解と自然言語生成において驚くべき能力を示した。 私たちは、広範囲の翻訳にいくつかの翻訳プロンプトを採用しています。 私たちの研究は、ChatGPTが翻訳において大きな可能性を秘めているという実証的な証拠を提供する。
  論文  参考訳（メタデータ）   (Wed, 5 Apr 2023 01:17:59 GMT)
• ドメイン情報を入れるなどプロンプトを工夫することにより機械翻訳でも優れた性能を達成とのこと。
• 機械翻訳でのIn-Context Learning（GPT-4 + OpenICL） | ぷるーふおぶこんせぷと (staka.jp)でも検証したが、プロンプトを介して機械翻訳に必要な情報を与えられるというのはGPT-4やChatGPTといったLLMの非常に良い利点であると思う。（当然ながらBLEUへの影響も大きい）

最後に要約に関する検証

• Zero-Shot Cross-Lingual Summarization via Large Language Models [43.8]
  言語間要約(CLS)は、異なる対象言語で要約を生成する。 近年のLarge Language Models (LLMs) の出現は、計算言語学コミュニティから広く注目を集めている。 本稿では,異なるパラダイムからゼロショットCLSを実行するために,LSMを誘導するために様々なプロンプトを経験的に使用した。
  論文  参考訳（メタデータ）   (Thu, 6 Apr 2023 09:27:37 GMT)
• LLMを用いたクロスリンガルな要約に関する検証。GPT-3.5,ChatGPT,GPT-4,BLOOMZ,ChatGLM-6B,Vicuna-13B,ChatYuanと非常に多くのモデル＆複数のプロンプトのパターンを評価しているのが凄い
• 全てのおいてGPT-4が優れているわけでもなくデータに依存するのが興味深い。一方でオープンソースのモデルの結果があまりよろしくないのは残念。

今週もGPT-4関連の話題が多かった。面白そうな論文をメモがてら記載しているが、発表が多すぎて読むのが大変。

• Cerebras Systems Releases Seven New GPT Models Trained on CS-2 Wafer-Scale Systems – Cerebras
• GitHub – geov-ai/geov: The GeoV model is a large langauge model designed by Georges Harik and uses Rotary Positional Embeddings with Relative distances (RoPER). We have shared a pre-trained 9B parameter model.
• Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | by the Team with members from UC Berkeley, CMU, Stanford, and UC San Diego (lmsys.org)
• 2023_GPT4All_Technical_Report.pdf

などオープンソースの取り組みも盛ん。

• GPTEval: NLG Evaluation using GPT-4 with Better Human Alignment [64.0]
  GPTEvalは、大規模言語モデルにチェーン・オブ・シンドロームとフォームフィリング・パラダイムを使って、NLG出力の品質を評価するためのフレームワークである。 GPT-4 をバックボーンモデルとした GPTEval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ）   (Wed, 29 Mar 2023 12:46:54 GMT)
• GPT-4（＋CoT）を用いたNLGの評価手法
• LLMでLLMを評価するような事にもなりかねないが、平均的な性能でUniEvalを超えているのはすごい

• BloombergGPT: A Large Language Model for Finance [26.3]
  我々は、幅広い財務データに基づいて訓練された500億のパラメータ言語モデルであるBloombergGPTを提示する。 Bloombergの広範囲なデータソースに基づいて,汎用データセットから345億のトークンを付加した,363億のトークンデータセットを構築しました。 我々の混合データセットトレーニングは、財務タスクにおける既存のモデルをかなりのマージンで上回るモデルにつながります。
  論文  参考訳（メタデータ）   (Thu, 30 Mar 2023 17:30:36 GMT)
• 金融ドメインのデータとしてFinPileを構築、一般的なデータを含めて学習された金融に強いLLM
• 流石というべきか、金融関連のタスクにおいてはBLOOM 176Bを上回る性能、BIG-BENCHにおけるBLOOM 176BやPaLM 540Bの結果を比較するにドメイン特化型のLLMは特定ドメインに優れた性能を発揮するのは間違いないように思う。

• HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace [70.7]
  大規模言語モデル(LLM)は、言語理解、生成、相互作用、推論において例外的な能力を持つ。 LLMは、複雑なAIタスクを解決するために既存のAIモデルを管理するコントローラとして機能する可能性がある。 HuggingGPTは、さまざまなモダリティとドメインで、多数の高度なAIタスクをカバーすることができる。
  論文  参考訳（メタデータ）   (Thu, 30 Mar 2023 17:48:28 GMT)
• ChatGPTとHuggingFaceを連携することで様々なMLタスクを解くという提案
• 自然言語で様々なタスクを解くためにChatGPTをインタフェースとして用いるというのはChatGPT pluginと同じ感じがして興味深く、LLMのプランニング能力をうまく使っている。下記のTaskMatrix.AIに近い気がするのだが、どういう関係にあるのだろう？
• リポジトリはGitHub – microsoft/JARVIS: JARVIS, a system to connect LLMs with ML community

• TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs [71.7]
  私たちは、基礎モデルと数百万のAPIを結合してタスク補完を行う、新しいAIエコシステムとしてTaskMatrix.AIを紹介します。 このようなエコシステムを構築するためのビジョンを示し、それぞれの重要なコンポーネントを説明し、このビジョンの実現可能性と次に取り組むべき主な課題の両方を説明するために研究ケースを使用します。
  論文  参考訳（メタデータ）   (Wed, 29 Mar 2023 03:30:38 GMT)

• ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks [0.0]
  また、ChatGPTは、いくつかのアノテーションタスクにおいて、クラウドワーカーよりも優れていることを示す。 ChatGPTのアノテーションあたりのコストは0.003ドル未満で、MTurkの約20倍安い。
  論文  参考訳（メタデータ）   (Mon, 27 Mar 2023 09:59:48 GMT)
• tweetのアノテーションタスクでAmazon Mechanical TurkよりもChatGPTの方が優れていたとする報告。訓練されたアノテータも超えているのが凄い。
• （とはいえ報告されたAccuracyを見るにクラウドワーカーの品質がいちいちという感じもする）

• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [64.0]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 LLMをより良いアノテータにするために、我々は2段階のアプローチ「explain-then-annotate」を提案する。
  論文  参考訳（メタデータ）   (Wed, 29 Mar 2023 17:03:21 GMT)
• 上記と近しい報告。
• 良いプロンプトの作り方にまで踏み込んでいて参考になる。（のだが、GPT-3.5の規約上このように作られたアノテーションデータを使ってモデルを作ることはできないのでは？という気もしている。競合するLLMでなければ大丈夫だったりするのだろうか？最新の利用規約など詳細の確認が必要。）

• ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark [11.4]
  ChatGPTはOpenAIが開発した最先端の人工知能言語モデルである。 商用のGEC製品(例:Grammarly)や最先端のモデル(例:GECToR)と比較する。 また,ChatGPTは,自動評価指標の基準値ほど性能が良くないことがわかった。
  論文  参考訳（メタデータ）   (Wed, 15 Mar 2023 00:35:50 GMT)
• ChatGPTの文法エラー訂正能力の検証
• 商用製品に比べるとパフォーマンスは劣るとの評価。GPT-3.5の能力としてはそうだろうと思いつつGPT-4だとどうなるのかは興味がある。

• A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models [59.5]
  GPTシリーズモデルは、その例外的な自然言語処理能力により、かなりの注目を集めている。 2つのGPT-3系列モデルと4つのGPT-3.5系列モデルからなる6つの代表モデルを選択する。 21個のデータセットを用いて,9つの自然言語理解タスク(NLU)の性能評価を行った。 実験の結果,NLUタスクにおけるGPTシリーズモデルの全体的な能力は,モデルが進化するにつれて徐々に向上しないことがわかった。
  論文  参考訳（メタデータ）   (Sat, 18 Mar 2023 14:02:04 GMT)
• GPTシリーズモデルの性能比較
• 学習戦略やデータセットとの相性によって新しいモデルが常に優れているわけではないというのが興味深い。個人的にはtext-davinci-002から003の間でかなりの性能差があったように思うがタスクにもよるっぽい。
• 日本語での評価も知りたいところ。（比較すればよいって話ではあるが。。。）