コンテンツへスキップ
- Hymba: A Hybrid-head Architecture for Small Language Models [65.9]
Hymbaは、ハイブリッドヘッド並列アーキテクチャを特徴とする、小さな言語モデルのファミリーである。 重要な情報を保持するプロンプトに先立って,学習可能なメタトークンを導入する。 このモデルは、層間鍵値共有と部分的スライディングウィンドウアテンションを組み込むことにより、さらに最適化される。
論文 参考訳(メタデータ) (Wed, 20 Nov 2024 19:51:25 GMT)
- TransformerのAttentionとSSMを組み合わせたモデルの提案、小型モデルではとても高い性能と省メモリ高速動作を実現とのこと。
- NVIDIAによる発表でモデルが公開されている。nvidia/Hymba-1.5B-Base · Hugging Face
- Is Your LLM Secretly a World Model of the Internet? Model-Based Planning for Web Agents [23.2]
モデルベースプランニングで言語エージェントを増強する新しいパラダイムを導入する。 我々の方法であるWebDreamerは、LLMが本質的にウェブサイトの構造や機能に関する包括的知識をエンコードしているというキーインサイトを構築している。
論文 参考訳(メタデータ) (Sun, 10 Nov 2024 18:50:51 GMT)
- 「WEBDREAMER uses LLMs to simulate outcomes for each candidate action (e g , “what would happen if I click this button?”) using natural language descriptions, and then evaluates these imagined outcomes to determine the optimal action at each step.」というシンプルな手法で「our model-based planning approach, WEBDREAMER, shows substantial improvement over reactive baselines and offers greater flexibility than tree search, which is often impossible in real-world websites.」という興味深い結果。挑戦的なタイトルをつけたくなる気持ちもわかる。
- リポジトリはWebDreamer/README.md at main · OSU-NLP-Group/WebDreamer · GitHub
- A Survey of Event Causality Identification: Principles, Taxonomy, Challenges, and Assessment [6.5]
事象因果同定(ECI)は自然言語処理(NLP)において重要な課題となっている。 本分類法は文レベル(SECI)と文書レベルの事象因果同定(DECI)の2つの主要なタスクに従ってECIの手法を分類する。
論文 参考訳(メタデータ) (Fri, 15 Nov 2024 17:19:42 GMT)
- Event Causality Identificationのサーベイ