Parsing Objects at a Finer Granularity: A Survey

  • Parsing Objects at a Finer Granularity: A Survey [54.7]
    微細な視覚解析は、農業、リモートセンシング、宇宙技術など、多くの現実世界の応用において重要である。 卓越した研究努力は、異なるパラダイムに従って、これらのきめ細かいサブタスクに取り組む。 我々は,パート関係を学習する新たな視点から,先進的な研究を深く研究する。
    論文  参考訳(メタデータ)   (Wed, 28 Dec 2022 04:20:10 GMT)
  • 単純な物体認識ではなくさらに細かく物体を識別を行うfine-grained recognition や part segmentationのサーベイ

What do LLMs Know about Financial Markets? A Case Study on Reddit Market Sentiment Analysis 

  • What do LLMs Know about Financial Markets? A Case Study on Reddit Market Sentiment Analysis [15.2]
    ソーシャルメディアコンテンツに対する市場の感情分析には、金融市場とソーシャルメディアのジャーゴンの両方の知識が必要である。 我々のパイプラインは、大きな言語モデル(LLM)を用いたReddit投稿の弱い財務感情ラベルを生成する。 少数のプロンプトだけで、最終モデルは既存の教師付きモデルと同等に実行される。
    論文  参考訳(メタデータ)   (Wed, 21 Dec 2022 19:11:19 GMT)
  • 大規模言語モデルから知識を得て小さなモデルを学習、ベースラインよりも優れた性能を達成、という報告。金融領域というのも興味深い。(本論ではないがPaLM+CoTめっちゃ優秀やなという感想)

HybridQAのサーベイ

  • A Survey on Table-and-Text HybridQA: Concepts, Methods, Challenges and Future Directions [46.1]
    表とテキストのハイブリッドな質問応答 (HybridQA) は、金融分野や科学分野に広く採用されているNLPタスクである。 本稿では,現在のHybridQAベンチマークと手法を要約し,課題と今後の方向性について分析する。
    論文  参考訳(メタデータ)   (Tue, 27 Dec 2022 12:34:57 GMT)
  • 表+テキストを対象とした質問応答タスクのサーベイ
  • 実用性が高いがまだまだ簡単ではないタスク

PropSegmEnt

A Survey of Face Recognition

  • A Survey of Face Recognition [25.6]
    本稿では,その歴史,パイプライン,従来の手動設計機能やディープラーニングに基づくアルゴリズム,主流トレーニング,評価,データセット,関連するアプリケーションなど,顔認識について紹介する。 我々は、できるだけ多くの最先端の作業を分析し比較し、またバックボーンサイズとデータ分布の影響を調べるために、実験セットを慎重に設計した。
    論文  参考訳(メタデータ)   (Mon, 26 Dec 2022 08:36:58 GMT)

MixDA: Mix-based Data Augmentationのサーベイ

  • A Survey of Mix-based Data Augmentation: Taxonomy, Methods, Applications, and Explainability [13.3]
    データ拡張(DA)は、現代の機械学習やディープニューラルネットワークでは不可欠である。 本研究では、MixDA (Mix-based Data Augmentation) が必須のサブセットについてレビューする。 単一サンプルの操作やドメイン知識を必要とする従来のDAアプローチとは異なり、MixDAはより幅広い新しいデータを作成するのに一般的である。
    論文  参考訳(メタデータ)   (Wed, 21 Dec 2022 09:58:14 GMT)
  • データ拡張の中でも複数のデータを混合するアプローチであるMix-based Data Augmentation (MixDA)のサーベイ
  • リポジトリはGitHub – ChengtaiCao/Awesome-Mix: A curated list of awesome Mix

ReCode: Robustness Evaluation of Code Generation Models

  • ReCode: Robustness Evaluation of Code Generation Models [90.1]
    コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
    論文  参考訳(メタデータ)   (Tue, 20 Dec 2022 14:11:31 GMT)
  • コード生成の頑健性を評価するためのベンチマーク
  • GitHub – amazon-science/recode

高速なt-SNE実装

Large Language Models Encode Clinical Knowledge 

  • Large Language Models Encode Clinical Knowledge [21.6]
    大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
    論文  参考訳(メタデータ)   (Mon, 26 Dec 2022 14:28:24 GMT)
  • FLAN-PaLM+様々なテクニックおよびFLAN-PaLM+instruction prompt tuningで構築したMed-PaLMにより様々な医療分野のベンチマークでSoTA
  • 人間(医者)には及んでいないものの試験合格水準にあるように見え、衝撃的な結果…

Cramming: Training a Language Model on a Single GPU in One Day

  • Cramming: Training a Language Model on a Single GPU in One Day [64.2]
    言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。 我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。 この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
    論文  参考訳(メタデータ)   (Wed, 28 Dec 2022 18:59:28 GMT)
  • 自然言語処理のタスクについて1GPU dayでどこまで性能を伸ばせるかを検証した論文。非常に興味深い設定で広範な実験がされている。
  • データセットによる差、1 GPU dayとはいえ、GPUの種類(≒計算資源)による差についても面白い。
  • リポジトリはGitHub – JonasGeiping/cramming: Cramming the training of a (BERT-type) language model into limited compute.