投稿者: staka

Inverse Scaling

  • Inverse Scaling: When Bigger Isn’t Better [65.0]
    大規模言語モデル(LM)は、スケールの増大による全体的な損失に対する予測可能な改善を示している。 我々は,LMが逆スケーリングや,スケールの増大に伴うタスクパフォーマンスの悪化を示す可能性があるという主張を裏付ける証拠を示す。
    論文  参考訳（メタデータ）   (Thu, 15 Jun 2023 20:11:23 GMT)
  • 大規模言語モデルでTraining FLOPs（モデルパラメータとも相関）が拡大するにつれ通常とは逆にスコアが悪化するタスクの例と分析、 the Inverse Scaling Prize (§2)の分析
  • U字型だけでなく逆U字型のグラフになるタスクがあるのが興味深い。
  • リポジトリはGitHub – inverse-scaling/prize: A prize for finding tasks that cause large language models to show inverse scaling

Language to Rewards for Robotic Skill Synthesis

  • Language to Rewards for Robotic Skill Synthesis [37.2]
    我々は,大規模言語モデル(LLM)を利用して,様々なロボットタスクを最適化し,達成可能な報酬パラメータを定義する新しいパラダイムを提案する。 LLMが生成する中間インタフェースとして報酬を用いることで、ハイレベルな言語命令と修正のギャップを、低レベルなロボット動作に効果的に埋めることができる。
    論文  参考訳（メタデータ）   (Wed, 14 Jun 2023 17:27:10 GMT)
  • LLMを人間とロボットの仲介役として使うため、人間の指示を報酬を示す関数（コード）に変換するアプローチを提案
  • リポジトリはLanguage to Rewards for Robotic Skill Synthesis (language-to-reward.github.io)

14 Examples of How LLMs Can Transform Materials Science and Chemistry: A Reflection on a Large Language Model Hackathon

  • 14 Examples of How LLMs Can Transform Materials Science and Chemistry: A Reflection on a Large Language Model Hackathon [31.1]
    我々は化学、材料科学などにおける大規模言語モデル(LLM)の適用についてハッカソンを開催した。 この記事ではハッカソンの一部として構築されたプロジェクトを概説する。 多様なトピックや作業プロトタイプが2日以内で生成されるという事実は、LLMが私たちの分野の将来に大きな影響を与えることを浮き彫りにします。
    論文  参考訳（メタデータ）   (Tue, 13 Jun 2023 07:44:32 GMT)
  • 化学分野におけるLLM利用ハッカソンの報告、いろいろなアイデアがあって興味深いのとデモがあるのが凄い。「The diverse topics and the fact that working prototypes could be generated in less than two days highlight that LLMs will profoundly impact the future of our fields.」との記載が印象的。

h2oGPT

MIMIC-IT

AlgoPerf: Training Algorithms benchmark / Benchmarking Neural Network Training Algorithms

  • Benchmarking Neural Network Training Algorithms [46.4]
    トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。 コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。 固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
    論文  参考訳（メタデータ）   (Mon, 12 Jun 2023 15:21:02 GMT)
  • トレーニングアルゴリズムの改善を測るためのベンチマークの提案。多くの研究者が慎重に検討しており論文も長く詳細。勉強になる。

CORR2CAUSE

  • Can Large Language Models Infer Causation from Correlation? [49.2]
    大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
    論文  参考訳（メタデータ）   (Fri, 9 Jun 2023 12:09:15 GMT)
  • 相関から因果関係を決定するタスクの提案、LLMにとって非常に難しいタスクでありGPT-4でもかなり低スコア。finetuneするとスコアが大幅に向上するが堅牢さは十分でない点も興味深い。
  • リポジトリはGitHub – causalNLP/corr2cause: Data and code for the CausalNLI dataset paper

MobileNMT

  • MobileNMT: Enabling Translation in 15MB and 30ms [53.8]
    デバイス上で15MBと30msで翻訳できるMobileNMTを提案する。 モデルとエンジンの共設計により、既存のシステムと比較して47.0xのスピードを上げ、メモリの99.5%を節約し、BLEUの損失は11.6%に留まった。
    論文  参考訳（メタデータ）   (Wed, 7 Jun 2023 08:25:51 GMT)
  • 小規模で高速なニューラル機械翻訳モデルの提案
  • リポジトリはGitHub – zjersey/Lightseq-ARM

Augmenting Language Models with Long-Term Memory

  • Augmenting Language Models with Long-Term Memory [142.0]
    既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
    論文  参考訳（メタデータ）   (Mon, 12 Jun 2023 15:13:39 GMT)
  • LLMを凍結した状態でresidual side-network (SideNet)を使ってメモリ機構を実現する方式の提案。既存手法の性能を上回り、in context learningでも本手法を通したshot数の向上が性能向上に効果があったとのこと
  • リポジトリはGitHub – Victorwz/LongMem

A Survey of Learning on Small Data

  • A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.3]
    ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
    論文  参考訳（メタデータ）   (Tue, 6 Jun 2023 15:44:14 GMT)
  • 小規模データでの学習方法に関すルサーベイ。 2ページの図1にある整理軸が参考になる。