AIGT: AI Generative Table Based on Prompt 

  • AIGT: AI Generative Table Based on Prompt [32.5]
    我々は,AI生成テーブル(AIGT)を導入し,高品質な合成データを生成する。 20のパブリックデータセットと2つの実業界データセットのうち14の面で、最先端のパフォーマンスを実現しています。
    論文  参考訳(メタデータ)   (Tue, 24 Dec 2024 02:51:06 GMT)
  • テーブルの合成に関する提案。
  • 良いモデルを得るためにはよい合成データを作る、とか、良いCriticモデルを作るとか、そういうアプローチが重要になっている気がする。

Revisiting In-Context Learning with Long Context Language Models 

  • Revisiting In-Context Learning with Long Context Language Models [22.9]
    In-Context Learning (ICL) は、言語モデルが入力コンテキストで提供される例に基づいて予測を行う手法である。 LCLM(Long Context Language Models)の出現により、コンテキストに含まれるサンプルの数が大幅に増加した。 4つのタスクにまたがる18のデータセットに関する広範な実験を通じて、LCLMの文脈でこれらのアプローチを再考する。
    論文  参考訳(メタデータ)   (Sun, 22 Dec 2024 08:55:19 GMT)
  • 「we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window.」という報告、LCLM = Long Context Language Models。
  • LLMの高性能化もあって過去のテクニックの有効性が薄れているよう。この手の進化に対応するため、比較検証を正しく容易に行えるようにしておくのは重要。