- Is ChatGPT A Good Translator? A Preliminary Study [39.2]
翻訳能力を高めるためにChatGPTが推奨するプロンプトを採用する。 多くのベンチマークテストセットを評価することで、ChatGPTは商用翻訳製品と競争的に機能することがわかった。 ChatGPTは、生物医学の要約やRedditのコメントに関する商業システムのようには機能しない。
論文 参考訳（メタデータ） (Fri, 20 Jan 2023 08:51:36 GMT) - ChatGPTの翻訳性能を評価した論文。一般的にリソースが多いといわれている言語ペア（おそらくChatGPTの学習データに多い言語）についてはかなりの性能だが、そうでない言語は苦手としているよう。また、頑健性の意味でもイマイチな結果となっている。
- とはいえ、Promptのみでの機械翻訳だと考えればかなり性能が高いという評価もできそう