コンテンツへスキップ
- Taipan: Efficient and Expressive State Space Language Models with Selective Attention [100.2]
自然言語処理(NLP)における長文言語モデリングの課題 Mambaのような最近のステートスペースモデル(SSM)は、メモリ使用量を一定に抑える代替手段を提供するが、大規模なコンテキスト内検索を必要とするタスクでは性能が劣る。 我々は,Mamba-2と選択注意層(SAL)を組み合わせた新しいハイブリッドアーキテクチャであるTaipanを紹介する。 我々の実験は、様々なスケールやタスクにまたがる優れたパフォーマンスを示し、より効率的な長文言語モデリングのための有望なソリューションを提供する。
論文 参考訳（メタデータ） (Thu, 24 Oct 2024 09:25:37 GMT)
- Mamba-2 + Selective Attention Layersなアーキテクチャの提案。MambaやJambaを超える性能を主張。ハイブリッドアプローチが有望？
- Should We Really Edit Language Models? On the Evaluation of Edited Language Models [15.6]
既存の編集手法は、一般的なベンチマークで必然的にパフォーマンスが低下する。 インストラクションチューニングされたモデルは、編集がより堅牢で、編集後の一般的な知識に対するパフォーマンス低下が少ない。 その結果,現在の編集手法は,言語モデル内の小規模な知識更新にのみ適していることがわかった。
論文 参考訳（メタデータ） (Thu, 24 Oct 2024 14:36:48 GMT)
- 知識編集に関する分析、「The experimental results indicate that existing editing methods can preserve the general capabilities of the model within a limited number of edits, not exceeding a few dozen.」、「Our experiments demonstrate that after only a few dozen edits, the safety of the model is compromised, including those models that have been aligned.」という指摘。また、「Language model with large scale is more resistant to editing compared to small model.」というのも、Knowledge Editingの研究成果が実問題に適用困難である可能性を示唆していると思う。
- Can Knowledge Editing Really Correct Hallucinations? [16.3]
大規模言語モデル(LLM)は、タスクにまたがる優れた能力にもかかわらず、生成されたコンテンツの非現実的な情報を参照しながら幻覚に悩まされる。 知識編集は,LLMで符号化された誤った事実知識を,スクラッチからリトレーニングを避けるという利点によって補正する,新しい一般的なパラダイムとして開発された。 実世界の幻覚を正すための知識編集手法を全体ベンチマークするために,HaluEditBenchを提案する。
論文 参考訳（メタデータ） (Mon, 21 Oct 2024 17:55:54 GMT)
- Knowledge Editingに関するベンチマークの提案、「The effectiveness of knowledge editing methods in correcting real-world hallucinations could be far from what their performance on existing datasets suggests, reflecting the potential unreliability of current assessment of different knowledge editing techniques.」と気になる指摘がある。
- リポジトリはEditing LLMs
- In-context learning and Occam’s razor [12.6]
我々はオッカムのカミソリと文脈内学習の関連を描いている。 特に,テキスト内学習者の訓練に使用される次点の予測損失は,事前符号化と呼ばれるデータ圧縮手法と直接的に等価であることを示す。 我々の理論と実証実験は、文脈内学習の規範的な説明を提供するだけでなく、現在の文脈内学習手法の欠点を解明する。
論文 参考訳（メタデータ） (Thu, 17 Oct 2024 23:37:34 GMT)
- ICLの解析、MambaのようなSSMも扱われている。
- リポジトリはGitHub – 3rdCore/PrequentialCode
- Open World Object Detection: A Survey [16.8]
オープンワールドオブジェクト検出(OWOD)は、この原則を適用して新しい知識を探求する、新たな研究分野である。 本稿では、OWODドメインの徹底的なレビューを行い、問題定義、ベンチマークデータセット、ソースコード、評価指標、既存手法の比較研究など、基本的な側面について述べる。 本稿では,現在のOWODアルゴリズムが直面する限界と課題に対処し,今後の研究の方向性を提案する。
論文 参考訳（メタデータ） (Tue, 15 Oct 2024 05:46:00 GMT)
- OWOD: Open World Object Detectionのサーベイ
- リポジトリはGitHub – ArminLee/OWOD_Review