コンテンツへスキップ
- Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives [18.0]
ディープラーニングの最新技術進歩であるTransformerは、自然言語処理やコンピュータビジョンで普及している。 我々は、医療画像に対する最先端のTransformerベースのアプローチを包括的にレビューする。
論文 参考訳（メタデータ） (Thu, 2 Jun 2022 16:38:31 GMT)- 医療分野の画像処理でTransformerがどのように使われているかのサーベイ。
- 医療分野とあるが一般的な画像処理でも重要な考え方が多く参考になる。当然ながらMedical image reconstructionなどドメイン依存のタスクも興味深い。
- Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models [645.0]
言語モデルは、規模が大きくなるにつれて量的改善と新しい質的能力の両方を示す。 ビッグベンチは204のタスクで構成され、132の機関で442人の著者が貢献している。 我々は,OpenAIのGPTモデル,Google内部の高密度トランスアーキテクチャ,BIGベンチ上のスイッチ型スパーストランスの挙動を評価する。
論文 参考訳（メタデータ） (Thu, 9 Jun 2022 17:05:34 GMT)- 204タスクからなる大規模ベンチマークと大規模言語モデルを用いた評価の報告。
- 著者が極めて多く、スコア=645はfugumt.com内で最高。
- 大規模言語モデルを用いたAIでも総合的には人間は及ばない、開発者（OpenAI or Google）が異なっていてもAIは似た挙動を示すなど非常に興味深い。
- 最近の「パラメータ数の増加（大規模化）によりAIの性能は人間に並べる」という雰囲気との整合性は謎で、5ページのPaLMの結果によって解釈が変わるレベルの影響がありそう。PaLMが無ければ総合的に人間のレベルに到達する道のりは長そうだが、PaLMの結果があると行けそうに思える。
- 「During the writing of this work, results for the Pathways Language Model (PaLM) on BIG-bench were published (Chowdhery et al., 2022) and we included them in Figure 1. Most of the analysis in the paper is focused on results from models we evaluated BIG-bench on.」とのことで、この分野は進展が速すぎるという印象
- Augmenting Scientific Creativity with Retrieval across Knowledge Domains [31.7]
論文要約から,エンドユーザが関心のあるテキストコアの一部を選択できる探索検索システムを開発した。 研究者らによるケーススタディは、クロスドメイン探索とインスピレーションを促進することを目的としたシステムにおける機会と設計の意味を明らかにする。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 2 Jun 2022 22:55:51 GMT)
- A Survey on Video Action Recognition in Sports: Datasets, Methods and Applications [60.3]
本稿では,スポーツ分析のための映像行動認識に関する調査を行う。 サッカー、バスケットボール、バレーボール、ホッケー、フィギュアスケート、体操、卓球、ダイビング、バドミントンなど10種以上のスポーツを紹介します。 本研究では,サッカー,バスケットボール,卓球,フィギュアスケート動作認識をサポートするPaddlePaddleを用いたツールボックスを開発した。
論文 参考訳（メタデータ） (Thu, 2 Jun 2022 13:19:36 GMT)
- Hollywood Identity Bias Dataset: A Context Oriented Bias Analysis of Movie Dialogues [20.2]
映画に登場する社会的偏見やステレオタイプは、リーチによって大きなダメージを与える可能性がある。 同一性バイアスに注釈を付けた映画脚本のデータセットを新たに導入する。 データセットには、(i) バイアスラベルに、性別、人種/民族、宗教、年齢、職業、LGBTQ、その他の7つのカテゴリのダイアログがアノテートされている。
論文 参考訳（メタデータ） (Wed, 1 Jun 2022 05:43:53 GMT)
- MentSum: A Resource for Exploring Summarization of Mental Health Online Posts [19.2]
メンタルヘルスは、世界中の公衆衛生にとって重要な課題である。 オンラインプラットフォームの人気が高まるにつれて、多くの人々がプラットフォームを使ってメンタルヘルス状態を共有し、感情を表現し、コミュニティやカウンセラーからの助けを求めている。 Reachoutのようなプラットフォームの中には、ユーザーが助けを求めるために登録する専用のフォーラムもある。 Redditなど他のサービスでは、ユーザーが公開でも匿名でメンタルヘルスの苦痛を投稿するサブレディットを提供している。 ポストの長さは様々であるが、カウンセラーによる高速な処理のために短いが情報的な要約を提供することは有益である。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 2 Jun 2022 03:08:34 GMT)
- CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers [16.3]
大規模事前学習型トランスフォーマーは、テキスト(GPT-3)とテキスト・トゥ・イメージ(DALL-EとCagView)生成のマイルストーンを作成した。 CogVideoは、事前訓練されたテキスト・ツー・イメージモデルであるCogView2を継承することでトレーニングされる。 CogVideoは、マシンと人間の評価において、すべての公開モデルをはるかに上回っている。
論文 参考訳（メタデータ） (Sun, 29 May 2022 19:02:15 GMT)
- Dataset Condensation via Efficient Synthetic-Data Parameterization [40.6]
大量のデータを持つ機械学習は、膨大な計算コストと、トレーニングとチューニングのためのストレージの価格が伴う。 データセットの凝縮に関する最近の研究は、コンパクトなトレーニングデータセットを合成することで、そのような大量のデータへの依存を減らそうとしている。 本稿では,データ規則性を考慮した効率的なパラメータ化により,ストレージ予算に制限のある複数の合成データを生成する,新しい凝縮フレームワークを提案する。
論文 参考訳（メタデータ） (Thu, 2 Jun 2022 05:45:02 GMT)
- CoNT: Contrastive Neural Text Generation [83.1]
対照的なニューラルテキスト生成フレームワークであるCoNTが紹介される。 CoNTは、コントラスト学習が生成タスクで広く採用されるのを防ぐボトルネックに対処する。 我々は,機械翻訳,要約,コードコメント生成,データ-テキスト生成,コモンセンス生成を含む10のベンチマークを用いて,CoNTを5つの生成タスクで検証する。CoNTは、機械翻訳における1.50 BLEUと要約における1.77 ROUGE-1という、テキスト生成における最も競争力のあるコントラスト学習手法をそれぞれ上回っている。
論文 参考訳（メタデータ） (Sun, 29 May 2022 15:18:37 GMT)
- EfficientFormer: Vision Transformers at MobileNet Speed [43.9]
Vision Transformers (ViT) はコンピュータビジョンタスクの急速な進歩を示し、様々なベンチマークで有望な結果を得た。 ViTベースのモデルは一般的に、軽量な畳み込みネットワークの倍遅い。 近年,ネットワークアーキテクチャ検索やMobileNetブロックによるハイブリッド設計によるViTの複雑さの低減が試みられているが,推論速度はまだ不十分である。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 2 Jun 2022 17:51:03 GMT)- MobileNetV2 より高速で高性能なTransformer系モデルの提案。性能と速度のトレードオフでEfficientNetも上回っている。遅い部分の特定や高速化の設計なども参考になる。
- EfficientFormerはパラメータ数が少ないわけではないが高速というのが面白い。実機（iPhone 12）で計測されているのも重要だと思う。
- 「We conclude that nonlinearity should be determined on a case-by-case basis given specific hardware and compiler at hand.」ですよねー