投稿者: staka

Prompting Large Language Model for Machine Translation: A Case Study 

  • Prompting Large Language Model for Machine Translation: A Case Study [87.9]
    我々は機械翻訳戦略の推進に関する体系的研究を行っている。 本稿では,プロンプトテンプレートと実演例選択の要因について検討する。 本稿では,モノリンガルデータの利用と,クロスリンガル,クロスドメイン,文-文書間伝達学習の実現可能性について検討する。
    論文  参考訳（メタデータ）   (Wed, 18 Jan 2023 11:30:05 GMT)
  • 機械翻訳のためのプロンプト戦略の検討
  • プロンプトテンプレートの作り方や最初の例の与え方が翻訳に大きく影響するようで、その点はそうだろうと思うが、一般的に有効な戦略を作るのはなかなか難しそうとの印象。

Dataset Distlillationのサーベイ

最近よく見るデータセット蒸留のサーベイ。基本的には少ないデータで十分な性能のモデル構築ができるようなデータセット作成を目的にしているが、生データを公開しなくてもよくなる場合があり情報保護の観点からも重要な技術になりうる。アプローチも様々で興味深い。

  • Dataset Distillation: A Comprehensive Review [54.3]
    データセット蒸留(DD)は、いくつかの合成サンプルを含むはるかに小さなデータセットを目標としている。 本稿では,最近のDDの進歩と応用について概説する。
    論文  参考訳（メタデータ）   (Tue, 17 Jan 2023 17:03:28 GMT)

  • A Comprehensive Survey to Dataset Distillation [91.4]
    限られた計算能力で無制限に成長するデータに対処することは困難になっている。 ディープラーニング技術はこの10年で前例のない発展を遂げた。 本稿では,多面的なデータセット蒸留の総合的な理解を提供する。
    論文  参考訳（メタデータ）   (Fri, 13 Jan 2023 15:11:38 GMT)

Data Distillationのサーベイ

  • Data Distillation: A Survey [8.5]
    ディープラーニングは、膨大な数の大規模および多言語データセットのキュレーションにつながった。 個々のタスクで人間に近いパフォーマンスを持つにもかかわらず、大規模なデータセットでパラメータハングリーモデルをトレーニングすることは、多面的な問題を引き起こす。 データ蒸留アプローチは、元のデータセットの効果的なドロップイン置換として機能する、簡潔なデータ要約を合成することを目的としている。
    論文  参考訳（メタデータ）   (Wed, 11 Jan 2023 02:25:10 GMT)

AI Maintenance: A Robustness Perspective 

  • AI Maintenance: A Robustness Perspective [91.3]
    我々は、AIライフサイクルにおけるロバストネスの課題を強調し、自動車のメンテナンスに類似させることで、AIのメンテナンスを動機付ける。 本稿では,ロバストネスリスクの検出と軽減を目的としたAIモデル検査フレームワークを提案する。 我々のAIメンテナンスの提案は、AIライフサイクル全体を通して堅牢性評価、状態追跡、リスクスキャン、モデル硬化、規制を促進する。
    論文  参考訳（メタデータ）   (Sun, 8 Jan 2023 15:02:38 GMT)
  • AIメンテナンスに関するフレームワークの提案。妥当・合理的かは議論が分かれると思うが、頭の整理をするには有用。

Graphix-T5

  • Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing [56.2]
    テキストからテキストへのパースにおける大きな課題の1つはドメインの一般化である。我々は,グラフ認識層によって拡張された標準事前学習トランスフォーマモデルを用いた混合モデルであるgraphix-t5を提案する。 大規模な実験と分析により、SPIDER、Syn、REALISTIC、DKの4つのテキスト-SQLベンチマークにおける GraphIX-T5の有効性が示されている。
    論文  参考訳（メタデータ）   (Wed, 18 Jan 2023 13:29:05 GMT)
  • グラフ構造（としてER）を扱うことによってテキストからのSQL生成の性能を向上させたとの報告。この手のSQL生成支援機能が実装される例が増えてきており興味深い
  • リポジトリはDAMO-ConvAI/graphix at main · AlibabaResearch/DAMO-ConvAI · GitHubとのこと。現時点ではcoming soon

Synthcity

LinkGAN

テキスト分類に何を使うか？（GPT-3? T5? ロジスティック回帰?）

  • Which Model Shall I Choose? Cost/Quality Trade-offs for Text Classification Tasks [40.1]
    本稿では,テキスト分類タスクに着目し,この課題の定量的分析を行う。 分類精度を主指標として,様々なモデルの分類器の性能を評価する。 次に、推論に必要なサンプルが多数存在するような状況におけるモデル選択について議論する。
    論文  参考訳（メタデータ）   (Tue, 17 Jan 2023 16:51:58 GMT)
  • テキスト分類を対象に、コスト・分類性能の観点からどのようなアプローチをとるべきか比較した論文。ざっくりとはGPT-3を使ってアノテーションコストをかけないのが良いのか、T5を使ってアノテーションコストを抑えつつトレーニングコストをかけるのが良いのか、ロジスティク回帰を使ってアノテーションを多めにしながらもトレーニングコストを抑えるのが良いのかを比較するものとなっている。
  • アノテーションコスト、トレーニングコスト、インファレンスコスト、性能を比較しているのは面白い。
  • （結局は目的次第ではありつつ）現時点では総合的にBERTやT5が有用そうな結果ではあるが、インファレンスが少ないならGPT-3も優秀で今後に期待が持てそうな気はする。

 HC3 (Human ChatGPT Comparison Corpus) dataset

  • How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection [8.1]
    ChatGPTは、幅広い人間の質問に効果的に反応できる。 人々はChatGPTのような大きな言語モデル(LLM)が社会に与える影響を心配し始めています。 本研究では,人間の専門家とChatGPTの双方から,数万件の比較回答を収集した。
    論文  参考訳（メタデータ）   (Wed, 18 Jan 2023 15:23:25 GMT)
  • ChatGPTの回答と人の回答を比べるためのデータセット。データ件数は約４万件、言語は英語と中国語。短期間でよく作ったなと思う内容。RoBERTaを使えばChatGPTで作ったコンテンツの検出はできそうに見えるが、今後もそうかは謎。
  • 本論には関係ないところで「金融や心理学分野ではChatGPTの回答の方が人の回答より役に立つと判定されたが医療分野では全く逆」、その理由が「医療分野でのChatGPTの回答は長く直接的でない傾向にあるため（と思われる）」という点が面白かった…それと「ChatGPT may fabricate facts.」もですよねーという感想
  • リポジトリはGitHub – Hello-SimpleAI/chatgpt-comparison-detection: Human ChatGPT Comparison Corpus (HC3), Detectors, and more! 🔥

MAQA: A Multimodal QA Benchmark for Negation

  • MAQA: A Multimodal QA Benchmark for Negation [12.1]
    マルチモーダル学習は、事前学習された大規模言語モデル(LLM)の表現力の恩恵を受けることができる 本稿では,AudioSetのラベル付き音楽ビデオから適応したマルチモーダル質問応答(QA)ベンチマークを提案する。 モデルサイズに関わらず,マルチモーダル変圧器の標準的な微調整手法では,否定を正しく解釈することができないことを示す。
    論文  参考訳（メタデータ）   (Mon, 9 Jan 2023 10:11:23 GMT)
  • 現状のモデルが苦手とする否定表現に対応するためのタスク拡張手法の提案。テンプレートベースのタスク拡張に比べてPaLMを利用した場合のほうが性能が良く、大規模言語モデルを併用した戦略は良く機能するよう。
  • 構築したデータセットは公開予定とのこと