コンテンツへスキップ
- Program Synthesis with Large Language Models [40.4]
我々はPythonにおけるプログラム合成のための大規模言語モデルを評価する。 合成性能はモデルサイズと対数的にスケールすることがわかった。 ヒトからの自然言語フィードバックは、モデルの初期予測と比較してエラー率を半減することがわかった。 最高のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。
論文 参考訳（メタデータ） (Mon, 16 Aug 2021 03:57:30 GMT)- 244M～137Bパラメータの言語モデルでプログラム合成タスクを試した論文。合成性能はモデルサイズと対数的にスケールするという結果が興味深い。Scaling Lawが思い浮かぶ。
- 人間からの（自然言語による）フィードバックによってエラー率が減る結果はcoplilotのようなシステムが有望であることを示しているような気がする。（一方である程度コードを読める能力がないと使いづらいのは機械翻訳と同じ印象）
- Graph Capsule Aggregation for Unaligned Multimodal Sequences [16.7]
本稿では,グラフベースのニューラルモデルとカプセルネットワークを用いた非整合マルチモーダルシーケンスをモデル化するために,Graph Capsule Aggregation(GraphCAGE)を導入する。 シーケンスデータをグラフに変換することにより、前述のRNNの問題を回避することができる。 さらに、Capsule Networkの集約機能とグラフベースの構造により、我々のモデルは解釈可能になり、長距離依存の問題をよりよく解決できる。
論文 参考訳（メタデータ） (Tue, 17 Aug 2021 10:04:23 GMT)- グラフベースニューラルモデルとカプセルネットワークを用いたGraphCAGEを提案、Multimodal Sentiment AnalysisのデータセットCMU-MOSI、CMU-MOSEIでSOTAを達成とのこと。
- On the Opportunities and Risks of Foundation Models [260.2]
ファンデーションAIモデルは、大規模なデータに基づいてトレーニングされており、幅広い下流タスクに適応できる。 本報告では,基礎モデルの可能性とリスクについて概説する。 これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
論文 参考訳（メタデータ） (Mon, 16 Aug 2021 17:50:08 GMT)