- FETA: Towards Specializing Foundation Models for Expert Task Applications [49.6]
ファンデーションモデル(FM)は、ゼロショット学習、高忠実度データ合成、ドメインの一般化など、前例のない機能を示した。 この論文では、FMは、まだ専門家のタスクにおいて、出来の悪いパフォーマンスを保っていることを示します。 本稿では,FMに技術資料の理解を促すことを目的として,その第1のFETAベンチマークを提案する。
論文 参考訳（メタデータ） (Thu, 8 Sep 2022 08:47:57 GMT)- Text-to-Image (T21) と Image-to-Text (I2T) の検索を対象に、専門家のタスクとして多様な自動車サービスマニュアルと販売(IKEA年次カタログ)にフォーカスしたベンチマークの提案。CLIPやFLAVAなどの既存モデルでは難しい問題になっているとのこと。
- 論文中にデータのダウンロードリンクがある。
抽出型要約も忠実ではない
- Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization [91.9]
本研究は,抽出要約に現れる5種類の広い不信問題を持つ類型論を定義する。 我々は15の多様な抽出システムによって生成された1500の英語の要約の中から、これらの問題をラベル付けするよう人間に求めている。 これらの問題を自動検出するために,要約のための既存の5つの信頼度評価指標は,人間の判断と相関が低いことがわかった。
論文 参考訳（メタデータ） (Thu, 8 Sep 2022 03:25:18 GMT)- 一般的に抽象型要約よりも抽出型要約の要約の方が意味的な忠実度が高いと思われているが、人間による大規模検証によるとそうでもないという結果。
- 既存の各種評価指標との対応を見ると要約の自動評価簡単ではないなーという印象。
- ZhangShiyue/extractive_is_not_faithful (github.com)
Fengshenbang : 中国のFoundationモデル構築プロジェクト
- Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence [34.5]
我々は,認知コンピューティング・自然言語研究センター(CCNL)が主導するFengshenbangというオープンソースプロジェクトを紹介した。 私たちのプロジェクトには、大規模な事前トレーニングモデル、ユーザフレンドリなAPI、ベンチマーク、データセットなど、包括的な機能があります。 オープンソースロードマップであるFengshenbangは、中国の事前訓練された大規模モデルのオープンソースコミュニティを再評価することを目的としている。
論文 参考訳（メタデータ） (Wed, 7 Sep 2022 07:32:37 GMT)- 中国語の大規模モデルのオープンソースプロジェクト。多くのタスクに対応しているようで非常にうらやましい。
- プロジェクトサイトは封神榜 中文语言预训练模型开源计划 — Fengshenbang-LM 1.0 文档 (fengshenbang-doc.readthedocs.io)
A Survey of Machine Unlearning
- A Survey of Machine Unlearning [45.9]
近年の規制では、ユーザに関する個人情報は一般にコンピュータシステムから、特に要求に応じてMLモデルから削除することが要求されている。 この現象は、機械学習モデルを特定のデータを忘れるようにするための新しいパラダイム、すなわち機械学習を求めている。 我々は、マシンアンラーニングの定義、シナリオ、メカニズム、アプリケーションについて、徹底的に調査することを目指している。
論文 参考訳（メタデータ） (Tue, 6 Sep 2022 08:51:53 GMT)- 実務上非常に重要で、かつとても難しいMachine Unlearningのサーベイ。リポジトリtamlhp/awesome-machine-unlearning: Awesome-Machine-Unlearning (github.com)を含め非常に有用な情報
- 直感の通り「no absolute winner that satisfies all design requirements」で研究中というステータス。
Customized Prompts via Language models
- What does a platypus look like? Generating customized prompts for zero-shot image classification [47.8]
本研究は,画像領域の明示的な知識を使わずに,高精度なプロンプトを生成する簡単な手法を提案する。 大規模言語モデル(LLM)に含まれる知識を活用し、各オブジェクトカテゴリにカスタマイズされた多くの記述文を生成する。 このアプローチは、ImageNetの1パーセント以上のポイントゲインを含む、ゼロショット画像分類ベンチマークの精度を改善する。
論文 参考訳（メタデータ） (Wed, 7 Sep 2022 17:27:08 GMT)- 大規模言語モデルからの知識を用いてゼロショット画像分類モデルの精度を上げるアプローチ。手作業で作成する部分をGPT-3のような大規模言語モデルに代替させるのはとても良さそう。
- リポジトリはsarahpratt/CuPL (github.com)
YOLOv6、YOLOv7
- YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications [16.0]
YOLOv6-Nは、NVIDIA Tesla T4 GPU上で1234 FPSのスループットでCOCOデータセットで35.9%APに達する。 YOLOv6-S は 495 FPS で 43.5% AP を攻撃し、他の主流検出器を同じ規模で上回っている。 YOLOv6-M/Lは、同様の推論速度を持つ他の検出器よりも精度(49.5%/52.3%)が高い。
論文 参考訳（メタデータ） (Wed, 7 Sep 2022 07:47:58 GMT)- YOLOv6の論文。オリジナルのYOLO作者によるものではなく、作者の許可を得て命名しているとのこと。比較が難しいがYOLOv7を含む他の手法より優れている状況も多そう。
- リポジトリはmeituan/YOLOv6: YOLOv6: a single-stage object detection framework dedicated to industrial applications. (github.com)
YOLOv7は↓
- YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors [14.2]
YOLOv7は5FPSから160FPSまでの速度と精度で、既知の全ての物体検出器を上回っている。 YOLOv7は、GPU V100上で30FPS以上の実時間オブジェクト検出器の中で、最高精度の56.8%のAPを持つ。 YOLOv7は、他のデータセットやトレーニング済みの重みを使わずに、スクラッチからMSデータセットにのみトレーニングします。
論文 参考訳（メタデータ） (Wed, 6 Jul 2022 14:01:58 GMT)
A Compact Pretraining Approach for Neural Language Models
- A Compact Pretraining Approach for Neural Language Models [21.8]
事前学習したNLMは、データのコンパクトなサブセットから、ドメイン内の情報をより効率的に、より高速に学習できることを示す。 抽象要約と抽出キーワードを組み合わせた非構造化データから,これらのコンパクトな部分集合を構築する。 我々の戦略は、バニラ予習に比べて、予習時間を最大5倍削減します。
論文 参考訳（メタデータ） (Mon, 29 Aug 2022 00:54:42 GMT)- 要約結果＆重要なキーワードの組み合わせにより全データ＆ランダムマスクな方針よりも高速に学習（ターゲットドメインへの適合）ができるとの報告
- ドメインを合わせるために重要な部分のみを使うというのは直感的には良さそうな方針に思えるがBART要約 & KeyBERTで作ってそうなるのかはどうなんだろう。実験結果ではランダムマスクに勝っているのでうまく動いているっぽいが。。。
- 要約結果＆重要なキーワードの組み合わせにより全データ＆ランダムマスクな方針よりも高速に学習（ターゲットドメインへの適合）ができるとの報告
Efficient Methods for Natural Language Processing: A Survey
- Efficient Methods for Natural Language Processing: A Survey [48.1]
結果を改善するためにスケールのみを使用するということは、リソース消費もスケールすることを意味します。 本研究は,NLPにおけるこれらの効率性における方法と知見を関連づけ,合成するものである。
論文 参考訳（メタデータ） (Wed, 31 Aug 2022 20:32:35 GMT)- 自然言語処理の効率化について、データ、モデル設計、学習、推論・圧縮の面でーサーベイした論文。
CounTR: Counting TRansformer
- CounTR: Transformer-based Generalised Visual Counting [94.5]
我々は任意の意味圏からオブジェクト数を数える計算モデルを開発し、任意の数の「例」を用いて計算する。 FSC-147のような大規模カウントベンチマークの徹底的なアブレーション研究を行い、ゼロおよび少数ショット設定の両方で最先端の性能を示す。
論文 参考訳（メタデータ） (Mon, 29 Aug 2022 17:02:45 GMT)- Few-shotのように事例を与えることで任意のオブジェクトをカウントできる手法の提案。 FSC-147でSoTAを主張。
- プロジェクトサイトはCounTR: Transformer-based Generalised Visual Counting (verg-avesta.github.io)
Expert systemとニューラルネットの組み合わせによる音楽生成
- MeloForm: Generating Melody with Musical Form based on Expert Systems and Neural Networks [146.6]
MeloFormは、エキスパートシステムとニューラルネットワークを使用して、音楽形式でメロディを生成するシステムである。 詩やコーラス形式、ロンド形式、変奏形式、ソナタ形式など、様々な形式をサポートすることができる。
論文 参考訳（メタデータ） (Tue, 30 Aug 2022 15:44:15 GMT)- エキスパートシステムとニューラルネットと新旧の技術を組み合わせたという印象もある音楽生成フレームワーク。楽式の制御はエキスパートシステムで行い、表現力の向上をTransformer系のモデルで行っているよう。
- 実務上（問題や場所によっては）ルールベースが有効なことは多いので音楽生成のような分野でもそういうことがあるのだろうと感じた。
- エキスパートシステムとニューラルネットと新旧の技術を組み合わせたという印象もある音楽生成フレームワーク。楽式の制御はエキスパートシステムで行い、表現力の向上をTransformer系のモデルで行っているよう。