コンテンツへスキップ
- Inner Monologue: Embodied Reasoning through Planning with Language Models [81.1]
大規模言語モデル(LLM)は自然言語処理以外の領域に適用できる。 具体化された環境でのLLMの計画には、何をすべきかだけでなく、どのように、いつ行うべきかを考える必要がある。 環境フィードバックを活用することで、LLMはロボット制御シナリオにおいてよりリッチな処理と計画を行うことができる内部モノローグを形成することができる。
論文 参考訳（メタデータ） (Tue, 12 Jul 2022 15:20:48 GMT)
- Embedding Recycling for Language Models [38.1]
我々は, 埋込みリサイクル(ER)によるそのような環境下での計算コストの削減について検討する。 我々は、事前訓練されたモデルから中間層の出力をキャッシュし、残りのレイヤを微調整して新しいタスクを行う方法を提案する。 本研究では,本手法が学習中の100%の高速化,55～86%の推論速度向上を実現し,学術領域におけるテキスト分類とエンティティ認識タスクの精度への影響を無視できることを示した。
論文 参考訳（メタデータ） 参考訳（全文） (Mon, 11 Jul 2022 16:36:14 GMT)
- Evolution through Large Models [15.0]
- コードを生成するために訓練された大言語モデル(LLM)は、遺伝的プログラミング(GP)プログラムに適用された突然変異演算子の有効性を大幅に改善することができる。 大型モデル(ELM)による進化の広大さを強調するため、ELMとMAP-Elitesを組み合わせたメイン実験では、動作補助ロボットを出力するPythonプログラムの数十万の関数例が生成される。 トレーニングデータがこれまで利用できなかったドメインにおいて、特定のコンテキストに対して適切なアーティファクトを出力できる新しいモデルをブートストラップする機能には、オープンディペンデンス、ディープラーニング、強化学習といった意味がある。
- 論文 参考訳（メタデータ） (Fri, 17 Jun 2022 17:07:04 GMT)
- 遺伝的プログラミングに大規模言語モデルを組み合わせる（Evolution through Large Models）ことで大規模言語モデルが想定しないような事例にも対応可能なコードを生成することが可能とのこと。
- 論文にもあるようにLLMを使っていれば突然変異の範囲が限定され、より良いものが得られる可能性が高まるように思う。非常に興味深い。
- GLIPv2: Unifying Localization and Vision-Language Understanding [161.2]
本稿では,ローカライズタスクとビジョンランゲージ(VL)理解タスクの両方を提供する,基底VL理解モデルGLIPv2を提案する。 GLIPv2は、ローカライゼーション事前トレーニングとビジョン言語事前トレーニングを3つの事前トレーニングタスクで統合する。 一つのGLIPv2モデルが,様々なローカライゼーションおよび理解タスクにおいて,SoTAに近い性能を達成することを示す。
論文 参考訳（メタデータ） (Sun, 12 Jun 2022 20:31:28 GMT)
- Language Models are General-Purpose Interfaces [109.5]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文 参考訳（メタデータ） (Mon, 13 Jun 2022 17:34:22 GMT)
- Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models [645.0]
言語モデルは、規模が大きくなるにつれて量的改善と新しい質的能力の両方を示す。 ビッグベンチは204のタスクで構成され、132の機関で442人の著者が貢献している。 我々は,OpenAIのGPTモデル,Google内部の高密度トランスアーキテクチャ,BIGベンチ上のスイッチ型スパーストランスの挙動を評価する。
論文 参考訳（メタデータ） (Thu, 9 Jun 2022 17:05:34 GMT)- 204タスクからなる大規模ベンチマークと大規模言語モデルを用いた評価の報告。
- 著者が極めて多く、スコア=645はfugumt.com内で最高。
- 大規模言語モデルを用いたAIでも総合的には人間は及ばない、開発者（OpenAI or Google）が異なっていてもAIは似た挙動を示すなど非常に興味深い。
- 最近の「パラメータ数の増加（大規模化）によりAIの性能は人間に並べる」という雰囲気との整合性は謎で、5ページのPaLMの結果によって解釈が変わるレベルの影響がありそう。PaLMが無ければ総合的に人間のレベルに到達する道のりは長そうだが、PaLMの結果があると行けそうに思える。
- 「During the writing of this work, results for the Pathways Language Model (PaLM) on BIG-bench were published (Chowdhery et al., 2022) and we included them in Figure 1. Most of the analysis in the paper is focused on results from models we evaluated BIG-bench on.」とのことで、この分野は進展が速すぎるという印象
- Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.2]
Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
論文 参考訳（メタデータ） (Mon, 23 May 2022 17:42:53 GMT)
- ElitePLM: An Empirical Study on General Language Ability Evaluation of Pretrained Language Models [78.1]
本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。 実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
論文 参考訳（メタデータ） (Tue, 3 May 2022 14:18:10 GMT)
- Flamingo: a Visual Language Model for Few-Shot Learning [95.9]
この機能を備えたビジュアル言語モデル(VLM)のファミリーであるFlamingoを紹介します。 柔軟性のおかげで、Flamingoモデルは大規模なマルチモーダルWebコーパスでトレーニングできる。 一つのFlamingoモデルが、数ショットの学習で新しい最先端の技術を実現できることを実証する。
論文 参考訳（メタデータ） (Fri, 29 Apr 2022 16:29:01 GMT)- DeepMindの大規模VLM。下記16タスク全てでfew-shotでのSoTA、および6つのタスクでfine tuning以上の結果を主張。
- NextQA
- iVQA
- Flick30K
- STAR
- MSVDQA
- OKVQA
- HatefulMemes
- VizWiz
- VATEX
- VQAv2
- COCO
- VisDial
- TextVQA
- MSRVTTQA
- YouCook2
- RareAct ※fine tuningの結果が得られていないため論文中では省略とのこと
- PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.4]
PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
論文 参考訳（メタデータ） 参考訳（全文） (Sun, 3 Apr 2022 22:31:25 GMT)