DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature [143.5] 学生は、大きな言語モデル(LLM)を使用して、書面の課題を完成させることができ、インストラクターは生徒の学習を正確に評価することができない。 まず、LLMからサンプリングされたテキストがモデルのログ確率関数の負の曲率領域を占める傾向があることを示す。 次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。 論文参考訳(メタデータ) (Thu, 26 Jan 2023 18:44:06 GMT)
機械が生成されたテキストを検出する手法の提案
「minor rewrites of model-generated text tend to have lower log probability under the model than the original sample, while minor rewrites of human-written text may have higher or lower log probability than the original sample.」というシンプルな仮定で強力な性能を実現している
Is ChatGPT A Good Translator? A Preliminary Study [39.2] 翻訳能力を高めるためにChatGPTが推奨するプロンプトを採用する。 多くのベンチマークテストセットを評価することで、ChatGPTは商用翻訳製品と競争的に機能することがわかった。 ChatGPTは、生物医学の要約やRedditのコメントに関する商業システムのようには機能しない。 論文参考訳(メタデータ) (Fri, 20 Jan 2023 08:51:36 GMT)
How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection [8.1] ChatGPTは、幅広い人間の質問に効果的に反応できる。 人々はChatGPTのような大きな言語モデル(LLM)が社会に与える影響を心配し始めています。 本研究では,人間の専門家とChatGPTの双方から,数万件の比較回答を収集した。 論文参考訳(メタデータ) (Wed, 18 Jan 2023 15:23:25 GMT)
本論には関係ないところで「金融や心理学分野ではChatGPTの回答の方が人の回答より役に立つと判定されたが医療分野では全く逆」、その理由が「医療分野でのChatGPTの回答は長く直接的でない傾向にあるため(と思われる)」という点が面白かった…それと「ChatGPT may fabricate facts.」もですよねーという感想
Large Language Models as Corporate Lobbyists [0.0] 自己回帰的な大きな言語モデルは、提案されたアメリカ合衆国議会法案が特定の公共企業に関連するかどうかを決定する。 モデルが関連するものとみなす法案について、モデルは、提案された法律を変更するよう議会に説得するために、法案のスポンサーに手紙を起草する。 論文参考訳(メタデータ) (Wed, 4 Jan 2023 16:55:35 GMT)
Massive Language Models Can Be Accurately Pruned in One-Shot [29.3] 大規模生成事前学習型トランスフォーマー(GPT)ファミリーモデルが1ショットで少なくとも50%の間隔で切断できることを初めて示す。 これはSparseGPTと呼ばれる新しいプルーニング手法によって実現され、特に大規模GPTファミリーモデルにおいて効率的かつ正確に動作するように設計されている。 論文参考訳(メタデータ) (Mon, 2 Jan 2023 17:48:56 GMT)