コンテンツへスキップ
- Siren’s Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.0]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。本稿では, 幻覚の検出, 説明, 緩和に関する最近の取り組みを, LLMがもたらすユニークな課題に焦点をあてて調査する。
論文 参考訳（メタデータ） (Sun, 3 Sep 2023 16:56:48 GMT)
- LLMにおけるHallucinationに関するサーベイ
- HallucinationをInput-conflicting hallucination、Context-conflicting hallucination、Fact-conflicting hallucinationに分け、対応もPre train、SFT、RLHF、Inferenceとステージ別に分けて整理されており大変わかりやすい。
- Cognitive Architectures for Language Agents [47.0]
本研究では,言語エージェントのための認知的アーキテクチャ (CoALA) を提案し,推論,基礎化,学習,意思決定の多様な手法を体系化する。
論文 参考訳（メタデータ） (Tue, 5 Sep 2023 17:56:20 GMT)
- 言語エージェントの観点からLLMに関する様々なテクニック・研究を整理しフレームワーク化した論文
- 「Zero-shot, Few-shot, Zero-shot Chain-of-Thought, Retrieval Augmented Generation, Socratic Models, Self-Critique」のようなテクニックの整理や「SayCan, ReAct, Voyager, Generative Agents, Tree of Thoughts」との比較などLLM周りの様々な取り組みを整理するうえでも参考になる。
- リポジトリはGitHub – ysymyth/awesome-language-agents: List of language agents based on paper “Cognitive Architectures for Language Agents”
- Explainability for Large Language Models: A Survey [59.7]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳（メタデータ） (Sat, 2 Sep 2023 22:14:26 GMT)
- LLMの説明可能性に関するサーベイ
- Traditional Fine-tuning Paradigm、Prompting Paradigmという分け方がLLM的
- Computation-efficient Deep Learning for Computer Vision: A Survey [121.8]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (Sun, 27 Aug 2023 03:55:28 GMT)
- 効率的な画像処理モデルに関するサーベイ
- 「Efficient Backbone Models / Dynamic Deep Networks」→「Task-specialized Efficient Models」→「Model Compression Techniques」→「Efficient Deployment on Hardware」と様々なレイヤで調査がされている。
- A Survey on Large Language Model based Autonomous Agents [107.8]
大規模言語モデル(LLM)は、人間レベルの知性を達成する上で、顕著な可能性を示している。 本稿では,自律エージェントの分野を包括的観点から体系的に検討する。 社会科学,自然科学,工学の分野におけるLLMベースのAIエージェントの様々な応用について概説する。
論文 参考訳（メタデータ） (Tue, 22 Aug 2023 13:30:37 GMT)
- LLMを用いたAIエージェントに関するサーベイ。フレームワークとしてprofiling module, memory module, planning module, action moduleでの構成が想定されている。LLM活用が流行ってからエージェントへの応用、さらにそれらのサーベイが出るというスピード感がとても早い。。。
- 関連するリポジトリが用意されている。https://github.com/Paitesanshi/LLM-Agent-Survey
- Few-shot Class-incremental Learning: A Survey [16.7]
FSCIL(Few-shot Class-Incremental Learning)は、機械学習においてユニークな課題である。 本稿は、FSCILの総合的かつ体系的なレビューを提供することを目的としている。
論文 参考訳（メタデータ） (Sun, 13 Aug 2023 13:01:21 GMT)
- 学習した知識を忘れずに新たなクラスを扱う（各クラスは限られたデータしかない）手法（FSCIL(Few-shot Class-Incremental Learning)）のサーベイ
- Machine Unlearning: Solutions and Challenges [23.1]
機械学習モデルは、機密性、不正、悪意のあるデータを不注意に記憶し、プライバシ侵害、セキュリティ侵害、パフォーマンス劣化のリスクを生じさせる可能性がある。 これらの問題に対処するために、機械学習は訓練されたモデルに対する特定の訓練データポイントの影響を選択的に除去する重要なテクニックとして登場した。
論文 参考訳（メタデータ） (Mon, 14 Aug 2023 10:45:51 GMT)
- Machine Unlearningのサーベイ、EXACT UNLEARNING、APPROXIMATE UNLEARNINGに分けてレビューがなされている。SISA(Sharding, Isolation, Slicing, and Aggregation )が有名な気がしつつ、いろいろなアプローチがあって興味深い。
- When Super-Resolution Meets Camouflaged Object Detection: A Comparison Study [135.2]
Super Resolution (SR) と Camouflaged Object Detection (COD) は、コンピュータビジョンにおける様々なジョイントアプリケーションとのホットトピックである。 我々は、一般的なCODデータセット上で異なる超解像法をベンチマークする。 SR法により処理されたCODデータを用いて,異なるCODモデルのロバスト性を評価する。
論文 参考訳（メタデータ） (Tue, 8 Aug 2023 16:17:46 GMT)
- カモフラージュされたものに対するObject Detectionと超解像のサーベイ。
- 超シンプルにやるとどうなるんだろうという気もしなくはない
- Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.5]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (Tue, 25 Jul 2023 17:59:18 GMT)
- コンピュータビジョン（＋LLM）のfoundational modelsのサーベイ。プロンプトを使うスタイルのモデルが主。EMBODIED FOUNDATIONAL AGENTSも扱われており、とても参考になる。
- リソースがGitHub – awaisrauf/Awesome-CV-Foundational-Modelsにある。とても有用。