- Adversarial Training: A Survey [130.9]
敵対的トレーニング( Adversarial Training、AT)とは、相手の例をトレーニングプロセスに統合することである。 近年の研究では、様々な敵攻撃に対するディープニューラルネットワークの堅牢性向上におけるATの有効性が実証されている。
論文 参考訳（メタデータ） (Sat, 19 Oct 2024 08:57:35 GMT) - Adversarial Trainingのサーベイ
タグ: Survey
Jailbreak Attacks and Defenses against Multimodal Generative Models: A Survey
- Jailbreak Attacks and Defenses against Multimodal Generative Models: A Survey [50.0]
マルチモーダル生成モデルは、ビルトインの安全機構をバイパスし、潜在的に有害なコンテンツの生成を誘導できる、ジェイルブレイク攻撃の影響を受けやすい。 本調査は,マルチモーダル生成モデルにおけるジェイルブレイクと防御についてレビューする。
論文 参考訳（メタデータ） (Thu, 14 Nov 2024 07:51:51 GMT) - マルチモーダル設定におけるJailbreak攻撃のサーベイ。モダリティが増えると攻撃に関するバリエーションも増え、面白い（と同時に防御の難しさが興味深い）
- 本サーベイでは「1) Input Level: Attackers and defenders operate solely on the input data.」、「2) Encoder Level: With access to the encoder, attackers optimize adversarial inputs to inject malicious information into the encoding process, while defenders work to prevent harmful information from being encoded within the latent space」、「3) Generator Level: With full access to the generative models, attackers leverage inference information, such as activations and gradients, and fine-tune models to increase adversarial effectiveness, 」、「4) Output Level: With the output from the generative model, attackers can iteratively refine adversarial inputs,」というレベル分けを採用している
- リポジトリはGitHub – liuxuannan/Awesome-Multimodal-Jailbreak
Beyond Model Adaptation at Test Time: A Survey
- Beyond Model Adaptation at Test Time: A Survey [43.0]
機械学習アルゴリズムは、テストディストリビューションのサンプルがトレーニング中に観察されるものから逸脱し始めたときに苦労する。 テスト時間適応は、ソースデータのみに基づくトレーニングモデルによるドメイン適応とドメイン一般化の利点を組み合わせる。 テスト時間適応に関する総合的かつ体系的なレビューを行い、400以上の最近の論文を取り上げている。
論文 参考訳（メタデータ） (Wed, 06 Nov 2024 06:13:57 GMT) - Test-time adaptationのサーベイ、400以上の論文があるのに驚き。。
- リポジトリはGitHub – zzzx1224/Beyond-model-adaptation-at-test-time-Papers
Survey of Cultural Awareness in Language Models: Text and Beyond
- Survey of Cultural Awareness in Language Models: Text and Beyond [39.8]
大規模言語モデル(LLM)を様々なアプリケーションに大規模に展開するには、LCMはインクリビティを確保するために、ユーザに文化的に敏感である必要がある。 文化は心理学や人類学で広く研究され、近年、LLMをより文化的に包括的にする研究が急増している。
論文 参考訳（メタデータ） (Wed, 30 Oct 2024 16:37:50 GMT) - 「Culture has been widely studied in psychology and anthropology, and there has been a recent surge in research on making LLMs more culturally inclusive in LLMs that goes beyond multilinguality and builds on findings from psychology and anthropology.」という近年重要性が増しているLLMと文化についてのサーベイ。
- リポジトリはGitHub – siddheshih/culture-awareness-llms
Towards Unifying Understanding and Generation in the Era of Vision Foundation Models: A Survey from the Autoregression Perspective
- Towards Unifying Understanding and Generation in the Era of Vision Foundation Models: A Survey from the Autoregression Perspective [31.5]
本稿では、最近の進歩を概観し、自己回帰的視覚基盤モデルの将来的な方向性について論じる。 我々は,次世代の視覚基礎モデルのトレンドを提示し,視覚タスクの理解と生成を統一する。 我々は、自己回帰的視覚基盤モデルを、その視覚トークン化剤と自己回帰バックボーンから分類する。
論文 参考訳（メタデータ） (Tue, 29 Oct 2024 16:48:22 GMT) - テキスト分野だけではなく画像においてもさらには画像生成においても存在感を増すAutoregressionモデル、autoregressive vision foundation modelのサーベイ
- リポジトリはGitHub – EmmaSRH/ARVFM: Awesome autoregressive vision foundation models
Artificial Intelligence of Things: A Survey
- Artificial Intelligence of Things: A Survey [14.2]
IoT(Internet of Things)とAI(Modern Artificial Intelligence)の統合により、AIoT(Artificial Intelligence of Things)と呼ばれる新しいパラダイムが生まれました。 我々は,センサ,コンピューティング,ネットワークおよび通信に関連するAIoT文献について検討する。 これらの分野での進歩に加えて、さまざまな重要なアプリケーションドメイン用に設計されたドメイン固有のAIoTシステムについてもレビューする。
論文 参考訳（メタデータ） (Fri, 25 Oct 2024 22:45:58 GMT) - IoTからAIoTへ。
- 割と古くからある概念らしいが、最近の発展は凄い。
A Survey of Small Language Models
- A Survey of Small Language Models [104.8]
小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
論文 参考訳（メタデータ） (Fri, 25 Oct 2024 23:52:28 GMT) - Small Language Model（といっても感覚的には小規模LLM）のサーベイ
- 「The inherent difficulty of a survey of small language models is that the definitions of “small” and “large” are a function of both context and time. GPT2, a “large language model” in 2019 at 1.5B parameters, is smaller than many “small” language models covered in this survey.」とある通り、Smallとは？というのが大きな疑問。
GUI Agents with Foundation Models: A Comprehensive Survey
- GUI Agents with Foundation Models: A Comprehensive Survey [53.0]
この調査は(M)LLMベースのGUIエージェントに関する最近の研究を集約する。 データ、フレームワーク、アプリケーションにおける重要なイノベーションを強調します。 本稿では, (M)LLM ベースの GUI エージェントの分野におけるさらなる発展を期待する。
論文 参考訳（メタデータ） (Thu, 07 Nov 2024 17:28:10 GMT) - MLLMベースのGUIエージェントのサーベイ
- 研究が進んでいると思ったらサーベイが発表されるスピード感がこの分野の現状を表していると思う。
Neural Fields in Robotics: A Survey
- Neural Fields in Robotics: A Survey [39.9]
Neural Fieldsは、コンピュータビジョンとロボット工学における3Dシーン表現の変革的アプローチとして登場した。 この調査は、ロボット工学における彼らの応用を探求し、知覚、計画、制御を強化する可能性を強調している。 それらのコンパクトさ、メモリ効率、微分可能性、基礎モデルと生成モデルとのシームレスな統合は、リアルタイムアプリケーションに理想的です。
論文 参考訳（メタデータ） (Sat, 26 Oct 2024 16:26:41 GMT) - 「This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers.」というサーベイ、ロボット分野で研究・応用が広がっているとのこと。
- リポジトリはNeural Fields in Robotics: A Survey
Improving Causal Reasoning in Large Language Models: A Survey、LLM-based Optimization of Compound AI Systems: A Survey
因果推論や最適化の分野でもLLMが活用されつつある。
- Improving Causal Reasoning in Large Language Models: A Survey [16.6]
因果推論は知性の重要な側面であり、問題解決、意思決定、世界理解に不可欠である。 大規模言語モデル(LLM)は出力に対して有理性を生成することができるが、因果推論を確実に行う能力は未だ不明である。
論文 参考訳（メタデータ） (Tue, 22 Oct 2024 04:18:19 GMT) - リポジトリはGitHub – chendl02/Awesome-LLM-Causal-Reasoning: Awesome LLM Causal Reasoning is a collection of LLM-based casual reasoning works, including papers, codes and datasets.
- LLM-based Optimization of Compound AI Systems: A Survey [64.4]
複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
論文 参考訳（メタデータ） (Mon, 21 Oct 2024 18:06:25 GMT)