コンテンツへスキップ
- LaMDA: Language Models for Dialog Applications [75.8]
LaMDAは、ダイアログに特化したトランスフォーマーベースのニューラルネットワークモデルのファミリーである。 注釈付きデータで微調整し、モデルが外部の知識ソースを参照できるようにすると、大幅な改善がもたらされる。
論文 参考訳（メタデータ） (Thu, 20 Jan 2022 15:44:37 GMT)- 137Bパラメータ、1.56T wordsで事前学習された対話用事前学習モデル。計算時間は1024 TPU-v3 で57.7日間とのことで計算も非常に規模が大きい。バイアスの除去など安全性にも気を使っているとのこと。
- 外部知識ソースにアクセス可能な事や論文で出ている事例も興味深い。対話インタフェースもE2Eでできるようになっていくのだろうか。
- WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation [101.0]
我々は人間と機械の協調に基づくデータセット作成のための新しいパラダイムを導入する。 我々は、データセット地図を用いて、挑戦的な推論パターンを示すサンプルを自動的に識別し、GPT-3に同様のパターンで新しい例を作成するよう指示する。 結果として得られたデータセットであるWANLIは、108,357の自然言語推論(NLI)の例からなり、ユニークな経験的強度を示す。
論文 参考訳（メタデータ） (Sun, 16 Jan 2022 03:13:49 GMT)- クラウドワーカーとAIとのコラボレーションによる高品質データの構築。自由形式で例を書くことをクラウドワーカに求めるよりも、GPT-3などで作成されたコンテンツの修正を求める方がより効果的であることを示唆しているとのこと。
- 賛否両論あるポストエディットの話に似ているように感じた。