- A Survey of Mix-based Data Augmentation: Taxonomy, Methods, Applications, and Explainability [13.3]
データ拡張(DA)は、現代の機械学習やディープニューラルネットワークでは不可欠である。 本研究では、MixDA (Mix-based Data Augmentation) が必須のサブセットについてレビューする。 単一サンプルの操作やドメイン知識を必要とする従来のDAアプローチとは異なり、MixDAはより幅広い新しいデータを作成するのに一般的である。
論文 参考訳(メタデータ) (Wed, 21 Dec 2022 09:58:14 GMT) - データ拡張の中でも複数のデータを混合するアプローチであるMix-based Data Augmentation (MixDA)のサーベイ
- リポジトリはGitHub - ChengtaiCao/Awesome-Mix: A curated list of awesome Mix
2023年1月
5 / 5 ページ
ReCode: Robustness Evaluation of Code Generation Models
- ReCode: Robustness Evaluation of Code Generation Models [90.1]
コード生成モデルのための総合的ロバストネス評価ベンチマークであるReCodeを提案する。 ドクストリング、関数と変数名、コード構文、コードフォーマットのコードに特化して、30以上の変換をカスタマイズします。 ヒトのアノテータでは、摂動プロンプトの90%以上が本来のプロンプトの意味を変えていないことが確認された。
論文 参考訳(メタデータ) (Tue, 20 Dec 2022 14:11:31 GMT) - コード生成の頑健性を評価するためのベンチマーク
- GitHub - amazon-science/recode
高速なt-SNE実装
- Accelerating Barnes-Hut t-SNE Algorithm by Efficient Parallelization on Multi-Core CPUs [59.2]
t-SNEは高次元データを視覚化するための最も一般的な埋め込み技術の一つである。 BH t-SNEアルゴリズムは既存のCPU実装では非効率である。我々の実装(Acc-t-SNE)は、32コアのIntel(R) Icelakeクラウドインスタンス上のdaal4pyとScikit-learnよりも4倍から261倍高速である。 - 高速な(CPUで動作する)t-SNE実装
- リポジトリはTrans-Omics-Acceleration-Library/applications/single_cell_pipeline at master · IntelLabs/Trans-Omics-Acceleration-Library · GitHub
Large Language Models Encode Clinical Knowledge
- Large Language Models Encode Clinical Knowledge [21.6]
大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
論文 参考訳(メタデータ) (Mon, 26 Dec 2022 14:28:24 GMT) - FLAN-PaLM+様々なテクニックおよびFLAN-PaLM+instruction prompt tuningで構築したMed-PaLMにより様々な医療分野のベンチマークでSoTA
- 人間(医者)には及んでいないものの試験合格水準にあるように見え、衝撃的な結果…
Cramming: Training a Language Model on a Single GPU in One Day
- Cramming: Training a Language Model on a Single GPU in One Day [64.2]
言語モデリングの最近のトレンドは、スケーリングによるパフォーマンス向上に焦点を当てている。 我々は,1つのコンシューマGPU上で1日間,マスク付き言語モデルを用いてゼロから完全に訓練されたトランスフォーマーベース言語モデルで達成可能なダウンストリーム性能について検討した。 この制約された設定であっても、大規模設定で観測されるスケーリングの法則に密接に従う性能を示す。
論文 参考訳(メタデータ) (Wed, 28 Dec 2022 18:59:28 GMT) - 自然言語処理のタスクについて1GPU dayでどこまで性能を伸ばせるかを検証した論文。非常に興味深い設定で広範な実験がされている。
- データセットによる差、1 GPU dayとはいえ、GPUの種類(≒計算資源)による差についても面白い。
- リポジトリはGitHub - JonasGeiping/cramming: Cramming the training of a (BERT-type) language model into limited compute.