- Long-Document Cross-Lingual Summarization [15.8]
言語間の要約は、ある言語で与えられた文書に対して、ある言語で要約を生成することを目的としている。 長文書における CLS 研究を促進するため,最初の長文書 CLS データセットである Perseus を構築した。 ペルセウスの文書の平均の長さは2,000以上のトークンである。
論文 参考訳（メタデータ） (Thu, 1 Dec 2022 15:24:16 GMT) - 長文をクロスリンガルで要約するためのデータセット作成と様々な手法の比較。中国語を対象とした成果だが、このような問題は日本語でも重要
- ｍBART＋LEDを用いたEnd-to-Endモデルが最も高性能との結果で驚いた。日本語版を作りたくなってくる…
日: 2022年12月5日
ChatGPTとtext-davinci-003
- ChatGPT: Optimizing Language Models for Dialogue (openai.com)
- 極めて強力な対話用の言語モデル。Google検索か！？というレベルで回答をしてくれる。（間違っている場合も多いが…）
- Reinforcement Learning from Human Feedback (RLHF)を用いており、GPT-3.5をfine tuningしているとのこと。
- 11/29に出たtext-davinci-003もGPT-3.5シリーズのモデルでInstructGPT(code-davinci-002)ベースのtext-davinci-002を改善したものとのことで、こちらも性能が高い。NLPを変える可能性を感じている。
- Model index for researchers – OpenAI API
GPT-3を使った対話による学習プロセス改善、要約
- GPT-3-driven pedagogical agents for training children’s curious question-asking skills [24.7]
学生が好奇心をそそる質問をする能力は、学習プロセスを改善する重要なスキルである。 これまでの研究では、学習中の子供の好奇心を促進するために特定の手がかりを提案する会話エージェントが用いられてきた。 本研究は,大規模言語モデル(GPT-3)を用いて,好奇心を刺激する手がかりの自動生成を行う。
論文 参考訳（メタデータ） (Tue, 29 Nov 2022 15:27:35 GMT)
- Zero-Shot Opinion Summarization with GPT-3 [116.0]
GPT-3モデルは人間の評価において非常に高い性能を示すことを示す。 我々は,標準評価指標がこれを反映していないことを論じ,忠実性,事実性,汎用性を重視したいくつかの新しい尺度に対して評価を行った。
論文 参考訳（メタデータ） (Tue, 29 Nov 2022 04:06:21 GMT)
GPT-3を使った応用的な研究。fugumt.comでも論文検索に一部利用しており、不明点が多い分野の論文を探す場合に外部知識（GPT-3.5の知識）を利用するには良いもののように思っている。