コンテンツへスキップ
- GPT Takes the Bar Exam [0.0]
GPT-3.5 と呼ばれる OpenAI のtext-davinci-003 モデルの性能評価実験を行った。 最良のプロンプトとパラメータのために、GPT-3.5はNCBE MBEの試験で50.3%の見出し正解率を達成している。
論文 参考訳(メタデータ) (Thu, 29 Dec 2022 18:19:43 GMT)
- GPT-3(3.5)を米国の弁護士試験に適用してみたとの報告。2つのカテゴリでは合格水準にあるとのこと。
- Rank-LIME: Local Model-Agnostic Feature Attribution for Learning to Rank [16.8]
Rank-LIMEは、モデルに依存しない局所的、ポストホック的特徴属性法である。 我々は,新しい相関に基づく摂動,微分可能なランキング損失関数を導入し,ランキングに基づく付加的特徴帰属モデルを評価するための新しい指標を導入する。
論文 参考訳(メタデータ) (Sat, 24 Dec 2022 12:14:32 GMT)
- ランキングタスクに対する説明手法(LIMEベース)の提案
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers [92.6]
テキストから音声合成(TTS)のための言語モデリング手法を提案する。 具体的には、市販のニューラルオーディオモデルから派生した離散符号を用いて、ニューラルネットワークモデル(Vall-E)を訓練する。 Vall-Eは、コンテキスト内学習機能を導入し、高品質なパーソナライズされた音声の合成に使用できる。
論文 参考訳(メタデータ) (Thu, 5 Jan 2023 15:37:15 GMT)
- 最近の言語モデルと似たアーキテクチャを用いたText to Speechモデルの提案。この分野にもpromptを用いたモデルが出てきているのが興味深い。
- リポジトリはunilm/valle at master · microsoft/unilm · GitHub、でもページがVALL-E (valle-demo.github.io)にある。高品質な合成ができているように思う。
- Massive Language Models Can Be Accurately Pruned in One-Shot [29.3]
大規模生成事前学習型トランスフォーマー(GPT)ファミリーモデルが1ショットで少なくとも50%の間隔で切断できることを初めて示す。 これはSparseGPTと呼ばれる新しいプルーニング手法によって実現され、特に大規模GPTファミリーモデルにおいて効率的かつ正確に動作するように設計されている。
論文 参考訳(メタデータ) (Mon, 2 Jan 2023 17:48:56 GMT)
- one-shotなpruning手法の報告。OPTを対象にした実験では50%程度はあまり性能を落とさずにpruningできるよう。より大きなモデルのほうがスパース化しやすいという指摘も興味深い。
- Parsing Objects at a Finer Granularity: A Survey [54.7]
微細な視覚解析は、農業、リモートセンシング、宇宙技術など、多くの現実世界の応用において重要である。 卓越した研究努力は、異なるパラダイムに従って、これらのきめ細かいサブタスクに取り組む。 我々は,パート関係を学習する新たな視点から,先進的な研究を深く研究する。
論文 参考訳(メタデータ) (Wed, 28 Dec 2022 04:20:10 GMT)
- 単純な物体認識ではなくさらに細かく物体を識別を行うfine-grained recognition や part segmentationのサーベイ
- What do LLMs Know about Financial Markets? A Case Study on Reddit Market Sentiment Analysis [15.2]
ソーシャルメディアコンテンツに対する市場の感情分析には、金融市場とソーシャルメディアのジャーゴンの両方の知識が必要である。 我々のパイプラインは、大きな言語モデル(LLM)を用いたReddit投稿の弱い財務感情ラベルを生成する。 少数のプロンプトだけで、最終モデルは既存の教師付きモデルと同等に実行される。
論文 参考訳(メタデータ) (Wed, 21 Dec 2022 19:11:19 GMT)
- 大規模言語モデルから知識を得て小さなモデルを学習、ベースラインよりも優れた性能を達成、という報告。金融領域というのも興味深い。(本論ではないがPaLM+CoTめっちゃ優秀やなという感想)