- GPT as Knowledge Worker: A Zero-Shot Evaluation of (AI)CPA Capabilities [0.0]
サンプルレギュレーション(REG)試験において,OpenAI のtext-davinci-003 と GPT の前バージョンを実験的に評価した。 サンプル試験では,text-davinci-003が14.4%の正解率を達成し,ゼロショットプロンプトの定量的推論において,人間の能力より著しく低いことが判明した。 最良のプロンプトとパラメータについて、モデルでは57.6%の質問が正しく答えられ、25%の推測率よりもかなり良い。
論文 参考訳（メタデータ） (Wed, 11 Jan 2023 11:30:42 GMT) - CPA試験を対象としたGPT-3(3.5)の検証。量的推論や算術のようにGPT-3が苦手としている部分はまだまだという結果だが、そうでない部分は性能が大幅に向上しているように見える。量的な部分は別モデルで改善が続いているわけで、色々と可能性を感じる結果
- リポジトリはGitHub – mjbommar/gpt-as-knowledge-worker: GPT as Knowledger Worker (or if you really want, GPT Sorta’ Takes the CPA Exam)
日: 2023年1月17日
Active Learning for Abstractive Text Summarization
- Active Learning for Abstractive Text Summarization [50.8]
本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
論文 参考訳（メタデータ） (Mon, 9 Jan 2023 10:33:14 GMT) - 抽象型要約へのActive Learning手法の提案と適用、ランダムサンプリングを上回る結果
- 期待はありつつも難しい分野なのでランダムサンプリングを安定的に上回ったのはすごいなと思う。