タグ: 最適化

Improving Causal Reasoning in Large Language Models: A Survey、LLM-based Optimization of Compound AI Systems: A Survey

因果推論や最適化の分野でもLLMが活用されつつある。

  • LLM-based Optimization of Compound AI Systems: A Survey [64.4]
    複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
    論文  参考訳（メタデータ）   (Mon, 21 Oct 2024 18:06:25 GMT)

Learning to Solve Combinatorial Optimization under Positive Linear Constraints via Non-Autoregressive Neural Networks

  • Learning to Solve Combinatorial Optimization under Positive Linear Constraints via Non-Autoregressive Neural Networks [103.8]
    組合せ最適化(英: Combinatorial Optimization、CO)は、計算機科学、応用数学などにおける基本的な問題である。 本稿では, 正線形制約下でのCO問題の解法として, 非自己回帰ニューラルネットワーク群を設計する。 本研究では,施設位置,最大被覆率,旅行セールスマン問題を含む代表的CO問題の解決において,この枠組みの有効性を検証する。
    論文  参考訳（メタデータ）   (Fri, 06 Sep 2024 14:58:31 GMT)
  • 組み合わせ最適化へのニューラルネットワークの応用。「For TSP, our LinSAT-augmented non-autoregressive network performed on par with other state-of-the-art neural methods; for facility location and max-set covering, our method achieved comparable performance to commercial solvers like Gurobi and even outperformed them on certain problem instances.」というのは凄い。
  • リポジトリはGitHub – Thinklab-SJTU/NAR-CO-Solver: Official implementation non-autoregressive combinatorial optimizaiton solvers, covering our ICLR 2023 paper and SCIENTIA SINICA Informationis paper

Using Large Language Models for Hyperparameter Optimization

  • Using Large Language Models for Hyperparameter Optimization [31.5]
    本稿では,高パラメータ最適化(HPO)において,基礎的大言語モデル(LLM)を用いて決定を行う。 実験的な評価により,LLMは従来のHPO法と同等あるいは同等に動作可能であることが示された。
    論文  参考訳（メタデータ）   (Thu, 7 Dec 2023 18:46:50 GMT)
  • LLMを用いたハイパーパラメータのチューニング、「LLMs provide useful feedback for the error messages, which is infeasible with traditional approaches. 」というのはLLMの利点（直後に「However, this can suffer from the challenges that affect current language models, such as hallucinations」ともあるが。。。）。

Large Language Models for Compiler Optimization

  • Large Language Models for Compiler Optimization [22.5]
    コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。 最適化前後の命令数と最適化コード自体を予測する。 提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
    論文  参考訳（メタデータ）   (Mon, 11 Sep 2023 22:11:46 GMT)
  • コードの最適化にLLMを使う報告。コンパイオプションを生成し他の手法に比べても有望な結果とのこと。
  • 「We present a 7B-parameter transformer model trained from scratch to optimize LLVM assembly for code size.」というのはLLMと言えるのか・・・？

OPRO: Optimization by PROmpting

  • Large Language Models as Optimizers [111.9]
    本研究では,最適化タスクを自然言語で記述する大規模言語モデル(llms)を最適化器として活用するための,単純かつ効果的な手法であるoproを提案する。 OPROによって最適化された最良のプロンプトは、GSM8Kでは最大8%、Big-Bench Hardタスクでは最大50%性能が向上することを示した。
    論文  参考訳（メタデータ）   (Thu, 7 Sep 2023 00:07:15 GMT)
  • LLMを用いて最適化を行う手法の提案。テキスト入力、テキスト出力なLLM利用におけるプロンプト自体も最適化していけるのが興味深い。
  • 見つかったトップインストラクションの事例「Take a deep breath and work on this problem step-by-step.」や「A little bit of arithmetic and a logical approach will help us quickly arrive at the solution to this problem（GPT-3.5向け）」「Let’s combine our numerical command and clear thinking to quickly and accurately decipher the answer（GPT-4向け）」はベースラインである「Let’s think step by step.」よりかなり良いスコアだが、人間へのアドバイスのようで非常に面白い。

ブラックボックス最適化

Black-box Optimization に関する論文

  • OpenBox: A Python Toolkit for Generalized Black-box Optimization [33.9]
    Black-box Optimization (BBO) には、自動機械学習、実験設計、データベースノブチューニングなど、幅広い応用がある。 本稿では,ユーザビリティを向上したオープンソースのBBOツールキットであるOpenBoxについて述べる。 ユーザがタスクを定義したり管理したりするためのユーザフレンドリーなインターフェースと視覚化を実装している。
    論文  参考訳（メタデータ）   (Wed, 26 Apr 2023 07:13:50 GMT)
  • 様々な手法が実装されているOpenBoxの論文、個別手法のリポジトリとしてはよく見るような気がする
  • GitHub – PKU-DAIR/open-box: Generalized and Efficient Blackbox Optimization System [SIGKDD’21].

Open Source Vizier

Benchopt: 最適化ベンチマーク

  • Benchopt: Reproducible, efficient and collaborative optimization benchmarks [66.3]
    Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
    論文  参考訳（メタデータ）   (Mon, 27 Jun 2022 16:19:24 GMT)