日: 2023年1月19日

Scaling Laws for Generative Mixed-Modal Language Models

  • Scaling Laws for Generative Mixed-Modal Language Models [103.3]
    個別のモダリティの貢献とそれら間の相互作用を統一する混合モードスケーリング法則について報告する。 具体的には、過去のユニモーダルスケーリング法則に対する加算項として、データとモデルサイズによる最適シナジーと競合を明示的にモデル化する。 また,訓練中に観察される4つの経験的現象,例えば,自然にモダリティを交互に交互に行う創発的コーディネート・アセット・スタイル・トレーニングを見出した。
    論文  参考訳（メタデータ）   (Tue, 10 Jan 2023 00:20:06 GMT)

On the Structural Generalization in Text-to-SQL

  • On the Structural Generalization in Text-to-SQL [36.6]
    データベーススキーマ(DS)の構造的多様性について検討する。 同じ入力問題に直面して、DSが別の構造となると、ターゲットSQLはおそらく異なる方法で表現される。 本稿では,テキストからsqlへのタスクの構造的一般化に関する深い議論を行う。実験では, 十分に訓練されたテキスト-SQLモデルの評価において, 構造一般化に関する現在の研究の限界が示される。 包括的分析によると、実際的な理由は(NL, SQL)パターンの過剰適合である。
    論文  参考訳（メタデータ）   (Thu, 12 Jan 2023 02:52:51 GMT)
  • 現在のText-to-SQLのデータセットがテンプレート化されすぎていて汎化性能を測るには適切ではなく、overfittingが生じているとの指摘。