- A Survey on LLM Inference-Time Self-Improvement [15.0]
近年,テスト時の計算量の増加による推論向上技術が注目されている。 本稿では,最近の研究を包括的にレビューし,詳細な分類学に貢献し,課題と限界について議論する。
論文 参考訳（メタデータ） (Wed, 18 Dec 2024 21:37:07 GMT) - 最近要注目（？）のInference time self improvementのサーベイ。「We classify these methods into three categories: Independent Self-Improvement, which operates independently; Context-Aware Self-Improvement, which leverages external support (i.e. context and datastore retrieval); and Model-Aided Self-Improvement, which relies on external models for collaboration.」という軸で整理。
- リポジトリはGitHub – dongxiangjue/Awesome-LLM-Self-Improvement: A curated list of awesome LLM Inference-Time Self-Improvement (ITSI, pronounced “itsy”) papers from our recent survey: A Survey on Large Language Model Inference-Time Self-Improvement.
タグ: Test-time adaptation
Beyond Model Adaptation at Test Time: A Survey
- Beyond Model Adaptation at Test Time: A Survey [43.0]
機械学習アルゴリズムは、テストディストリビューションのサンプルがトレーニング中に観察されるものから逸脱し始めたときに苦労する。 テスト時間適応は、ソースデータのみに基づくトレーニングモデルによるドメイン適応とドメイン一般化の利点を組み合わせる。 テスト時間適応に関する総合的かつ体系的なレビューを行い、400以上の最近の論文を取り上げている。
論文 参考訳（メタデータ） (Wed, 06 Nov 2024 06:13:57 GMT) - Test-time adaptationのサーベイ、400以上の論文があるのに驚き。。
- リポジトリはGitHub – zzzx1224/Beyond-model-adaptation-at-test-time-Papers
Test-time Adaptation for Automatic Speech Recognition
- Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.8]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳（メタデータ） (Sun, 27 Mar 2022 06:38:39 GMT)- ASRの共変量シフトに対してTest-Time Adaptation を適用した報告。1回の発話に対してadaptationを行っているのが興味深い
- リポジトリはGitHub – DanielLin94144/Test-time-adaptation-ASR-SUTA