タグ: 最適化

Using Large Language Models for Hyperparameter Optimization

  • Using Large Language Models for Hyperparameter Optimization [31.5]
    本稿では,高パラメータ最適化(HPO)において,基礎的大言語モデル(LLM)を用いて決定を行う。 実験的な評価により,LLMは従来のHPO法と同等あるいは同等に動作可能であることが示された。
    論文  参考訳（メタデータ）   (Thu, 7 Dec 2023 18:46:50 GMT)
  • LLMを用いたハイパーパラメータのチューニング、「LLMs provide useful feedback for the error messages, which is infeasible with traditional approaches. 」というのはLLMの利点（直後に「However, this can suffer from the challenges that affect current language models, such as hallucinations」ともあるが。。。）。

Large Language Models for Compiler Optimization

  • Large Language Models for Compiler Optimization [22.5]
    コードサイズに対してLLVMアセンブリを最適化するために,スクラッチからトレーニングしたトランスフォーマーモデルを提案する。 最適化前後の命令数と最適化コード自体を予測する。 提案手法は,コンパイラよりも命令数の削減が3.0%向上する。
    論文  参考訳（メタデータ）   (Mon, 11 Sep 2023 22:11:46 GMT)
  • コードの最適化にLLMを使う報告。コンパイオプションを生成し他の手法に比べても有望な結果とのこと。
  • 「We present a 7B-parameter transformer model trained from scratch to optimize LLVM assembly for code size.」というのはLLMと言えるのか・・・？

OPRO: Optimization by PROmpting

  • Large Language Models as Optimizers [111.9]
    本研究では,最適化タスクを自然言語で記述する大規模言語モデル(llms)を最適化器として活用するための,単純かつ効果的な手法であるoproを提案する。 OPROによって最適化された最良のプロンプトは、GSM8Kでは最大8%、Big-Bench Hardタスクでは最大50%性能が向上することを示した。
    論文  参考訳（メタデータ）   (Thu, 7 Sep 2023 00:07:15 GMT)
  • LLMを用いて最適化を行う手法の提案。テキスト入力、テキスト出力なLLM利用におけるプロンプト自体も最適化していけるのが興味深い。
  • 見つかったトップインストラクションの事例「Take a deep breath and work on this problem step-by-step.」や「A little bit of arithmetic and a logical approach will help us quickly arrive at the solution to this problem（GPT-3.5向け）」「Let’s combine our numerical command and clear thinking to quickly and accurately decipher the answer（GPT-4向け）」はベースラインである「Let’s think step by step.」よりかなり良いスコアだが、人間へのアドバイスのようで非常に面白い。

ブラックボックス最適化

Black-box Optimization に関する論文

  • OpenBox: A Python Toolkit for Generalized Black-box Optimization [33.9]
    Black-box Optimization (BBO) には、自動機械学習、実験設計、データベースノブチューニングなど、幅広い応用がある。 本稿では,ユーザビリティを向上したオープンソースのBBOツールキットであるOpenBoxについて述べる。 ユーザがタスクを定義したり管理したりするためのユーザフレンドリーなインターフェースと視覚化を実装している。
    論文  参考訳（メタデータ）   (Wed, 26 Apr 2023 07:13:50 GMT)
  • 様々な手法が実装されているOpenBoxの論文、個別手法のリポジトリとしてはよく見るような気がする
  • GitHub – PKU-DAIR/open-box: Generalized and Efficient Blackbox Optimization System [SIGKDD’21].

Open Source Vizier

Benchopt: 最適化ベンチマーク

  • Benchopt: Reproducible, efficient and collaborative optimization benchmarks [66.3]
    Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
    論文  参考訳（メタデータ）   (Mon, 27 Jun 2022 16:19:24 GMT)