Towards Agile Text Classifiers for Everyone

  • Towards Agile Text Classifiers for Everyone [10.4]
    本稿では,アジャイルテキスト分類の手法を紹介し,評価する。 そこで本研究では,PaLM 62Bのような高速チューニング型大規模言語モデルに対して,80例までのラベル付きデータセットを適用すれば,最先端のパフォーマンスを実現することができることを示す。 これはテキスト分類のパラダイムシフト、特により安全なオンライン談話をサポートするモデルに有効である、と我々は主張する。
    論文  参考訳（メタデータ）   (Mon, 13 Feb 2023 17:34:13 GMT)
  • 大規模言語モデル＋ソフトプロンプトの強力さが分かる論文
  • PaLM 62Bモデルのプロンプトチューニングの場合100以下の事例で十分な性能のテキスト分類器を構築可能とのこと。この方針だと大量のアノテーションを行わなくても良く実用的。GPT-3.5などのfew shotも強力だが、頑張ればアノテーションできる量の情報を過不足なく使うという方針もとても有望だと思う。

BigSurvey: 学術論文の大規模データセット

  • Generating a Structured Summary of Numerous Academic Papers: Dataset and Method [20.9]
    本稿では,各トピックに関する多数の学術論文の包括的な要約を生成するための,最初の大規模データセットであるBigSurveyを提案する。 我々は,7千件以上の調査論文から対象要約を収集し,その43万件の参考論文の要約を入力文書として活用する。 数十の入力文書から多種多様な内容を整理するために,カテゴリベースアライメント・スパース・トランスフォーマー (CAST) と呼ばれる要約手法を提案する。
    論文  参考訳（メタデータ）   (Thu, 9 Feb 2023 11:42:07 GMT)
  • 7,000サーベイと430,000の参照論文からなるデータセット。Multi Documentな要約の貴重なデータで長文であることからも難しい対象だと思う。ベースライン実装ではBigBIRD-PEGASUやLEDを上回っている。
  • リポジトリはGitHub – StevenLau6/BigSurvey: A large-scale dataset for numerous academic papers summarization、ライセンスはOpen Data Commons Attribution License (ODC-By) v1.0 — Open Data Commons: legal tools for open data

Weakly Supervised Anomaly Detection: A Survey 

  • Weakly Supervised Anomaly Detection: A Survey [75.3]
    異常検出(AD)は、さまざまなアプリケーションによる機械学習において重要なタスクである。 弱教師付き異常検出法(WSAD)の総合的な調査を行った。 各設定に対して、正式な定義、鍵アルゴリズム、潜在的な将来の方向性を提供する。
    論文  参考訳（メタデータ）   (Thu, 9 Feb 2023 10:27:21 GMT)
  • 弱教師有り設定の異常検知（WSAD: Weakly Supervised Anomaly Detection）に関するサーベイ
  • 異常検知はアノテーションが難しいことが多く、通常の教師有り学習をしにくいことが多い。かといって単純に教師無し学習を適用すると精度的な問題を抱える事も多い。直接的ではないが何らかの情報を与える弱教師ありのようなアプローチは非常に有望だと思う。

ERNIE-Music / Noise2Music

  • ERNIE-Music: Text-to-Waveform Music Generation with Diffusion Models [54.9]
    拡散モデルを用いて任意のテキストを受信できる最初のテキスト-波形音楽生成モデルを提案する。 インターネットからテキストと音楽のペアのデータセットを収集します。 波形領域で生成された音楽は、多様性、品質、およびテキスト・音楽の関連性において、これまでの作品よりも大幅に優れていた。
    論文  参考訳（メタデータ）   (Thu, 9 Feb 2023 06:27:09 GMT)
  • Baiduからの音楽生成モデル（Diffusion Model）の提案。生成系のモデルはテキストや画像（動画）を超えて競争が激化している。
  • Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.7]
    本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
    論文  参考訳（メタデータ）   (Wed, 8 Feb 2023 07:27:27 GMT)
  • こちらはGoogleからの提案
  • Noise2Music (google-research.github.io)

Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning

  • Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning [112.3]
    本稿では,Flamingo上に構築されたRetrieval-augmented Visual Language Model,Re-ViLMを紹介する。 外部データベースに特定の知識を明示的に格納することで、モデルパラメータの数を減らすことができる。 Re-ViLMは画像・テキスト生成タスクの性能を大幅に向上させることを示した。
    論文  参考訳（メタデータ）   (Thu, 9 Feb 2023 18:57:56 GMT)
  • 外部知識を利用可能なマルチモーダルモデル。Image CaptioningでFlamingoをoutperformとのこと。マルチモーダルな外部知識を活用できるのは純粋にすごいと思う。世の中のシステムのほとんどは（WEB検索を除き）画像検索はできない…。

LEXTREME

Toolformer

  • Toolformer: Language Models Can Teach Themselves to Use Tools [62.0]
    言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。 LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。 Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
    論文  参考訳（メタデータ）   (Thu, 9 Feb 2023 16:49:57 GMT)
  • どのAPIを使うかを判断しながら自分で学んでいけるTransformer、と書くととても未来を感じる。外部知識の活用からの進化と考えれば妥当なのかも。
  • GPT-Jをベースに実験がされていて、より大きなモデル（GPT-3）よりも優れた性能を発揮。
  • 昔はやったマッシュアップを思い出して非常に興味深い。

 text-to-protein generation

  • A Text-guided Protein Design Framework [79.0]
    ProteinDTは、タンパク質設計のためのテキスト記述を利用するマルチモーダルフレームワークである。 筆者らは,(1)タンパク質特性予測ベンチマークの6つ中4つにおいて連続的に優れた性能を示すこと,(2)テキスト誘導タンパク質生成の90%以上の精度を示すこと,(3)ゼロショットテキスト誘導タンパク質編集の有望な結果を示すこと,の3つの側面から,ProteinDTの有効性を実証的に検証した。
    論文  参考訳（メタデータ）   (Thu, 9 Feb 2023 12:59:16 GMT)
  • テキストからのたんぱく質設定。珍しいText-to-○○○だと思うが、検索からの進化という意味では正統なのかもしれない。
  • UniProtからデータセットを構築しているとのこと。

Federated Analytics: A survey

  • Federated Analytics: A survey [21.8]
    Federated Analytics(FA)は、複数のリモートパーティでデータ分析を計算するための、プライバシ保護フレームワークである。 本稿では,フェデレーション分析の特徴と,フェデレーション学習との違いについて論じる。
    論文  参考訳（メタデータ）   (Thu, 2 Feb 2023 18:56:24 GMT)
  • プライバシー保護や資源の節約などの理由で限られたデータのみを集約して分析するFederated Analyticsのサーベイ。基本的な話から始まり、Taxonomy、Algorithm、Challenge & Open Oppotunityと整理されている。
  •  federated analyticsは federated learningよりより一般化されたもので、基本的な分析を含むとのこと。

ChatGPTの評価（NLPベンチマーク、失敗事例、エッセイ）

今週もChatGPTの評価報告が複数出ていた。

1つ目はNLPのベンチマークをChatGPTで実施したものでQuestionAnsweringの一部のタスクでは非常に優れた結果となっている。要約は正直イマイチな結果ではあるが、こちらはデータセットの問題（Benchmarking Large Language Models for News Summarization – arXiv最新論文の紹介 (devneko.jp)）かもしれない。にしても低すぎという感覚はある…

  • A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [53.9]
    我々は、ChatGPTのマルチタスク、マルチ言語、マルチモーダルの側面を、21の公開データセットに基づいて評価する。 また、ChatGPTは、ほとんどのタスクでゼロショット学習でLLMよりも優れており、一部のタスクでは微調整モデルよりも優れています。 ChatGPTは論理的推論、非テキスト的推論、コモンセンス推論の10種類の推論カテゴリにおいて平均64.33%正確である。
    論文  参考訳（メタデータ）   (Wed, 8 Feb 2023 12:35:34 GMT)

2つ目は代表的な失敗事例を整理した論文。苦手なタスクも多そうな結果ではあるが、他手法では改善できているものもあり、時間がたてば対応可能そうなものも多い。参照したリポジトリ「GitHub – giuven95/chatgpt-failures: ChatGPT failure archive」も参考になる。

  • A Categorical Archive of ChatGPT Failures [47.6]
    OpenAIが開発したChatGPTは、大量のデータを使って訓練され、人間の会話をシミュレートしている。 それは、広範囲の人間の問い合わせに効果的に答える能力のために、大きな注目を集めている。 しかし、ChatGPTの失敗の包括的分析は欠落しており、これが本研究の焦点となっている。
    論文  参考訳（メタデータ）   (Mon, 6 Feb 2023 04:21:59 GMT)

3つめはエッセイを書くにあたってChatGPTが品質に貢献するかを調査したもの。否定的結論が出ている。

  • Better by you, better than me, chatgpt3 as writing assistance in students essays [0.0]
    本研究は,ChatGPT-3を筆記補助具として使用するか否かを,学生のエッセイの筆記成績と比較した。 影響を受けるエッセイの予測者はいずれも、グループ、執筆期間、モジュール、GPAである。 結論: 本研究は, gptを筆記ツールとして用いると, 操作群がほとんどのパラメータで実験群を上回っていたため, エッセイ品質が向上する証拠は見いだされなかった。
    論文  参考訳（メタデータ）   (Thu, 9 Feb 2023 10:04:18 GMT)