コンテンツへスキップ
- Imagen 3 [130.7]
本稿では,テキストプロンプトから高品質な画像を生成する潜時拡散モデルであるImagen 3を紹介する。 安全と表現に関する問題と、モデルの潜在的な害を最小限にするために使用した手法について議論する。
論文 参考訳（メタデータ） (Tue, 13 Aug 2024 16:15:50 GMT)
- Imagen3が発表、性能の高さ「Imagen 3 is preferred over other state-of-the-art (SOTA) models at the time of evaluation.」はさすがとして、「Responsible Development and Deployment」がとても興味深い。
- A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.5]
MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。 本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
論文 参考訳（メタデータ） (Fri, 2 Aug 2024 15:14:53 GMT)
- マルチモーダルなLLMに関するサーベイ。多くの研究機関が取り組んでおり成果も多数。
- 図がとても参考になる。
- CoverBench: A Challenging Benchmark for Complex Claim Verification [31.7]
複雑な推論条件下でのLM出力の検証に重点を置いたベンチマークであるCoverBenchを紹介する。 CoverBenchは、さまざまなドメインにおける複雑なクレーム検証のための多彩な評価を提供する。 低レベルのラベルノイズを確実にするために、手動でデータの品質を検証します。
論文 参考訳（メタデータ） (Tue, 6 Aug 2024 17:58:53 GMT)
- LLMからの出力検証にフォーカスしたベンチマークの提案。Gemini 1.5 Proでも十分なスコアとはいいがたく、非常に難しいタスクに思える。
- リポジトリはgoogle/coverbench · Datasets at Hugging Face
- Downstream Transfer Attack: Adversarial Attacks on Downstream Models with Pre-trained Vision Transformers [95.2]
本稿では、事前訓練されたViTモデルから下流タスクへのこのような逆の脆弱性の伝達可能性について検討する。 DTAは攻撃成功率(ASR)が90%を超え、既存の手法をはるかに上回っていることを示す。
論文 参考訳（メタデータ） (Sat, 03 Aug 2024 08:07:03 GMT)
- 下流タスクをターゲットとした攻撃手法の提案。downstream transfer attacks (DTAs)は有効とのこと。また、「We also found that emerging PETL methods like LoRA are more susceptible to transfer attacks crafted on the pre-trained model.」という指摘はそうだろうと思いつつ、有用な方法なので頭が痛い。
- EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.6]
マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。 実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
論文 参考訳（メタデータ） (Thu, 08 Aug 2024 06:57:49 GMT)
- LLM callを抑えるためLabeler & Tagger、FIlterのモデルを使うタイプのRAG、合成データをうまく使ってトレーニングするアプローチ
- VideoQA in the Era of LLMs: An Empirical Study [108.4]
Video Large Language Models (Video-LLMs) は盛んであり、多くのビデオ直感的なタスクを進歩させている。 本研究は,ビデオQAにおけるビデオLLMの行動に関するタイムリーかつ包括的な研究を行う。 分析の結果,ビデオ-LLMはビデオQAで優れており,文脈的手がかりを相関させ,様々な映像コンテンツに関する質問に対して妥当な応答を生成できることがわかった。 しかし、時間的コンテンツ順序の推論とQA関連時間的モーメントのグラウンド化の両方において、ビデオの時間性を扱うモデルが失敗する。
論文 参考訳（メタデータ） (Thu, 08 Aug 2024 05:14:07 GMT)
- MLLM時代のVideo QAに関する検証。VQAというとVisualを思い浮かべるがVideoなQAも非常に多くのモデルが発表されている。。。
- https://github.com/doc-doc/VideoQA-LLMs がリポジトリとのことだが、現時点では４０４
- Better Alignment with Instruction Back-and-Forth Translation [120.2]
本稿では,世界知識を基盤とした高品質な合成データを構築するために,バック・アンド・フォース・トランスフォーメーション(back-and-forth translation)という新たな手法を提案する。 ウェブコーパスから文書が与えられた場合、Liらによって提案されたバックトランスレーション手法を用いて合成命令を生成し、キュレートする。 我々は,Web上の情報多様性と量を活用しながら,効果的なアライメントに必要な応答の品質を確保しながら,両世界の長所を組み合わさっていることを発見した。
論文 参考訳（メタデータ） (Thu, 08 Aug 2024 17:42:32 GMT)
- アライメントを対象とした合成データ構築
- backtranslation modelの構築、Filtering、Rewritingという流れ。「Overall we find that step (3) Rewriting is more effective compared to (2) Filtering, though using both offers complementary performance benefits.」というのも興味深い記述。
- RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.5]
既存のRAGベンチマークは主に、大言語モデルが一般的な知識に正しく答えられるかどうかを評価することに焦点を当てている。 本稿では,評価データセットを自動生成するフレームワークであるRAGEvalを紹介する。 LLMが生み出す応答を慎重に評価するために, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。
論文 参考訳（メタデータ） (Fri, 02 Aug 2024 13:35:11 GMT)
- RAGを評価するベンチマークの自動生成フレームワーク。DRAGONBall dataset（Diverse RAG Omni-Benchmark for All domains）って・・・。
- 分析結果から見えるGenerate、Retrieverそれぞれのモデルの性能が興味深い。結論には「Notably, while GPT-4o showed superior performance overall, the gap with top-performing open-source models was relatively small.」という指摘も。