Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning [16.1] タスクのセマンティクスは入力から出力までの例のセットやテキストによる命令で表現できる。 コミュニティは、NLPの新しい監視-探索パラダイム、すなわちタスク命令から学ぶことに、ますます関心を払っている。 論文参考訳(メタデータ) (Tue, 21 Mar 2023 01:27:16 GMT)
A Survey on Long Text Modeling with Transformers [33.9] 本稿では,Transformerモデルに基づく長文モデリングの最近の進歩について概説する。 長さ制限を満たすために長い入力を処理し、改良されたTransformerアーキテクチャを設計する方法について論じる。 本稿では,長文モデリングに関わる4つの典型的な応用について述べるとともに,今後の方向性を議論する。 論文参考訳(メタデータ) (Tue, 28 Feb 2023 11:34:30 GMT)
Recent Advances towards Safe, Responsible, and Moral Dialogue Systems: A Survey [51.8] 安全・責任・モダル対話システム構築に向けた研究範囲の新たな視点を提示する。 本稿では,1)虐待的・有害な内容,2)不公平・差別,3)倫理的・道徳的問題,および4)誤認・プライバシー情報のリスクについて論じる。 論文参考訳(メタデータ) (Sat, 18 Feb 2023 09:32:55 GMT)
Augmented Language Models: a Survey [56.0] この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。 論文参考訳(メタデータ) (Wed, 15 Feb 2023 18:25:52 GMT)
CoTのようなサブタスク化した上での推論、外部知識の利用、データベース検索、ツールの利用など大規模言語モデルを拡張するアプローチのサーベイ。reasoning がAugmentedなのか?という問いには「 reasoning is a way for LMs to combine different tools in order to solve complex tasks, and tools are a way to not fail a reasoning with valid decomposition.」との記載があり、分けて語るべきではないという見解?
A Survey on Efficient Training of Transformers [72.3] この調査は、トランスフォーマーの効率的なトレーニングに関する最初の体系的な概要を提供する。 トレーニング中の中間テンソルの計算コストとメモリコストを削減できる手法と,ハードウェア/アルゴリズムの共同設計手法を分析し比較する。 論文参考訳(メタデータ) (Thu, 2 Feb 2023 13:58:18 GMT)
A survey and taxonomy of loss functions in machine learning [60.4] ほとんどの最先端の機械学習技術は、損失関数の最適化を中心に進化している。 この調査は、初心者と高度な機械学習実践者の両方にとって最も重要な損失関数の参照を提供することを目的としている。 論文参考訳(メタデータ) (Fri, 13 Jan 2023 14:38:24 GMT)