コンテンツへスキップ
- Which Model Shall I Choose? Cost/Quality Trade-offs for Text Classification Tasks [40.1]
本稿では,テキスト分類タスクに着目し,この課題の定量的分析を行う。 分類精度を主指標として,様々なモデルの分類器の性能を評価する。 次に、推論に必要なサンプルが多数存在するような状況におけるモデル選択について議論する。
論文 参考訳（メタデータ） (Tue, 17 Jan 2023 16:51:58 GMT)
- テキスト分類を対象に、コスト・分類性能の観点からどのようなアプローチをとるべきか比較した論文。ざっくりとはGPT-3を使ってアノテーションコストをかけないのが良いのか、T5を使ってアノテーションコストを抑えつつトレーニングコストをかけるのが良いのか、ロジスティク回帰を使ってアノテーションを多めにしながらもトレーニングコストを抑えるのが良いのかを比較するものとなっている。
- アノテーションコスト、トレーニングコスト、インファレンスコスト、性能を比較しているのは面白い。
- （結局は目的次第ではありつつ）現時点では総合的にBERTやT5が有用そうな結果ではあるが、インファレンスが少ないならGPT-3も優秀で今後に期待が持てそうな気はする。
- How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection [8.1]
ChatGPTは、幅広い人間の質問に効果的に反応できる。 人々はChatGPTのような大きな言語モデル(LLM)が社会に与える影響を心配し始めています。 本研究では,人間の専門家とChatGPTの双方から,数万件の比較回答を収集した。
論文 参考訳（メタデータ） (Wed, 18 Jan 2023 15:23:25 GMT)
- ChatGPTの回答と人の回答を比べるためのデータセット。データ件数は約４万件、言語は英語と中国語。短期間でよく作ったなと思う内容。RoBERTaを使えばChatGPTで作ったコンテンツの検出はできそうに見えるが、今後もそうかは謎。
- 本論には関係ないところで「金融や心理学分野ではChatGPTの回答の方が人の回答より役に立つと判定されたが医療分野では全く逆」、その理由が「医療分野でのChatGPTの回答は長く直接的でない傾向にあるため（と思われる）」という点が面白かった…それと「ChatGPT may fabricate facts.」もですよねーという感想
- リポジトリはGitHub – Hello-SimpleAI/chatgpt-comparison-detection: Human ChatGPT Comparison Corpus (HC3), Detectors, and more! 🔥
- MAQA: A Multimodal QA Benchmark for Negation [12.1]
マルチモーダル学習は、事前学習された大規模言語モデル(LLM)の表現力の恩恵を受けることができる 本稿では,AudioSetのラベル付き音楽ビデオから適応したマルチモーダル質問応答(QA)ベンチマークを提案する。 モデルサイズに関わらず,マルチモーダル変圧器の標準的な微調整手法では,否定を正しく解釈することができないことを示す。
論文 参考訳（メタデータ） (Mon, 9 Jan 2023 10:11:23 GMT)
- 現状のモデルが苦手とする否定表現に対応するためのタスク拡張手法の提案。テンプレートベースのタスク拡張に比べてPaLMを利用した場合のほうが性能が良く、大規模言語モデルを併用した戦略は良く機能するよう。
- 構築したデータセットは公開予定とのこと
- Scaling Laws for Generative Mixed-Modal Language Models [103.3]
個別のモダリティの貢献とそれら間の相互作用を統一する混合モードスケーリング法則について報告する。 具体的には、過去のユニモーダルスケーリング法則に対する加算項として、データとモデルサイズによる最適シナジーと競合を明示的にモデル化する。 また,訓練中に観察される4つの経験的現象,例えば,自然にモダリティを交互に交互に行う創発的コーディネート・アセット・スタイル・トレーニングを見出した。
論文 参考訳（メタデータ） (Tue, 10 Jan 2023 00:20:06 GMT)
- On the Structural Generalization in Text-to-SQL [36.6]
データベーススキーマ(DS)の構造的多様性について検討する。 同じ入力問題に直面して、DSが別の構造となると、ターゲットSQLはおそらく異なる方法で表現される。 本稿では,テキストからsqlへのタスクの構造的一般化に関する深い議論を行う。実験では, 十分に訓練されたテキスト-SQLモデルの評価において, 構造一般化に関する現在の研究の限界が示される。 包括的分析によると、実際的な理由は(NL, SQL)パターンの過剰適合である。
論文 参考訳（メタデータ） (Thu, 12 Jan 2023 02:52:51 GMT)
- 現在のText-to-SQLのデータセットがテンプレート化されすぎていて汎化性能を測るには適切ではなく、overfittingが生じているとの指摘。
- Myths and Legends in High-Performance Computing [66.0]
このユーモラスで思想的な挑発的な記事では、高性能コンピューティングコミュニティのメンバーの間で伝承される神話や伝説について論じる。 それらは、デナードのスケーリングやムーアの法則など、多くのスケーリング法則の終焉によって引き起こされた、現在の大規模な変革の時代における退化論者を表していると我々は信じている。 いくつかの法則が終わる一方で、アルゴリズムスケーリングや新しいアーキテクチャ研究など、新しい方向性が開かれる。
論文 参考訳（メタデータ） (Fri, 6 Jan 2023 09:32:19 GMT)
- ハイパフォーマンスコンピューティングの12の神話、面白い記事。
- Data-centric AI: Perspectives and Challenges [51.7]
データ中心AI(DCAI)は、モデル進歩からデータ品質と信頼性の確保への根本的なシフトを提唱している。 データ開発、評価データ開発、データメンテナンスの3つの一般的なミッションをまとめる。 今後の探索を動機付けるためのオープンな課題をリストアップする。
論文 参考訳（メタデータ） (Thu, 12 Jan 2023 05:28:59 GMT)
- Data-centric AIに関する解説。5ページと短いが、Training Data Development, Evaluation Data Development, Data Maintenaceに分けて概要と動向を解説している。