- A Survey of Transformer Enabled Time Series Synthesis [38.9]
生成AIは画像と言語領域で多くの注目を集めている。 本稿では,変換器,生成AI,時系列データの交点におけるこのギャップを明らかにする。 レビューされた研究はアプローチの多様さを示しており、ドメインがもたらす問題に対する決定的な回答にはまだ収束していない。
論文 参考訳（メタデータ） (Tue, 04 Jun 2024 13:52:42 GMT) - Transformerと時系列データに関するサーベイ
- TNNでtransformer neural network はあまり見ない略し方
タグ: 時系列
A Survey of Time Series Foundation Models: Generalizing Time Series Representation with Large Language Mode
- A Survey of Time Series Foundation Models: Generalizing Time Series Representation with Large Language Mode [33.2]
伝統的な時系列モデルはタスク固有であり、特異な機能と限定的な一般化能力を備えている。 大規模な言語基盤モデルは、クロスタスク転送性、ゼロショット/フェーショット学習、意思決定説明性といった、目覚ましい機能を公開した。 本調査は,関連研究の総合的な調査を行うための3E分析フレームワークを提供する。
論文 参考訳（メタデータ） (Fri, 03 May 2024 03:12:55 GMT) - 時系列分析の基盤モデルのサーベイ。LLMから派生させているモデルも多い。
- Why Tabular Foundation Models Should Be a Research Priority – arXiv最新論文の紹介 (devneko.jp)でも思ったが汎用的知識がどのくらいあるのか気になるところ。
- 論文等がGitHub – start2020/Awesome-TimeSeries-LLM-FM: The collection of resources about LLM for Time series tasksにまとまっている
A Survey on Diffusion Models for Time Series and Spatio-Temporal Data
- A Survey on Diffusion Models for Time Series and Spatio-Temporal Data [92.1]
時系列データの研究は、時間とともにトレンドや異常を理解するために不可欠であり、様々な分野にわたる予測的な洞察を可能にする。 近年,拡散モデルが時系列やS時間データマイニングに広く応用されている。 時系列およびS時間データにおける拡散モデルの利用について概説し、それらをモデルカテゴリ、タスクタイプ、データモダリティ、実用的なアプリケーションドメインで分類する。 本調査は,医療,レコメンデーション,気候,エネルギー,オーディオ,交通など,さまざまな分野の応用を幅広くカバーしている。
論文 参考訳（メタデータ） (Mon, 29 Apr 2024 17:19:40 GMT) - Diffusionモデルの時系列データへの応用に関するサーベイ。「They are called after the mathematical process of diffusion, which is commonly used to describe phenomena such as particle movement in a gas or liquid.」との記載を見ると確かに歴史的にはこの応用の方がしっくりくるのか。。
- リポジトリ GitHub – yyysjz1997/Awesome-TimeSeries-SpatioTemporal-Diffusion-Model: A list of current Diffusion Model for Time Series and SpatioTemporal Data with awesome resources (paper, application, review, survey, etc.).、も参考になる。
Is Mamba Effective for Time Series Forecasting
- Is Mamba Effective for Time Series Forecasting? [30.2]
状態空間モデル(SSM)は、シーケンス内の複雑な依存関係をキャプチャする能力によって、注目を集めている。 本稿では,時系列予測(TSF)のための2つの簡単なSSMモデルを紹介する。 S-MambaとD-MambaはGPUメモリとトレーニング時間を節約しながら優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (Sun, 17 Mar 2024 08:50:44 GMT) - 時系列予測へのMambaの応用、「S-Mamba employs one Mamba block to process VC, while D-Mamba incorporates an additional mamba block compared to S-Mamba for VC.」（VC = variates correlations ）という違いを持つ2つの構成で実験、効果を確認とのこと。
- 「The results prove Mamba possesses robust capabilities and exhibits remarkable potential to replace Transformer in the TSF tasks.」とのことだが、ほんまかいなと思わなくもなく、解釈が気になるところ。。。
Time-LLM
- Time-LLM: Time Series Forecasting by Reprogramming Large Language Models [110.2]
時系列予測は多くの実世界の力学系において重要な意味を持つ。 時系列予測のための大規模言語モデルを再利用するための再プログラミングフレームワークであるTime-LLMを提案する。 Time-LLMは、最先端の特殊な予測モデルよりも優れた、強力な時系列学習者である。
論文 参考訳（メタデータ） (Mon, 29 Jan 2024 06:27:53 GMT) - 時系列予測にLLMを活用していこうという報告。「TIME-LLM shows promise in adapting frozen large language models for time series forecasting by reprogramming time series data into text prototypes more natural for LLMs and providing natural language guidance via Prompt-as-Prefix to augment reasoning.」とのことだが、なんでこんなことができるんだろう。。。
- リポジトリはKimMeen/Time-LLM: [ICLR 2024] Official implementation of “Time-LLM: Time Series Forecasting by Reprogramming Large Language Models” (github.com)
RWKV-TS
- RWKV-TS: Beyond Traditional Recurrent Neural Network for Time Series Tasks [42.3]
伝統的なリカレントニューラルネットワーク(RNN)アーキテクチャは、伝統的に時系列タスクにおいて顕著な地位を占めてきた。 近年の時系列予測の進歩は、RNNからTransformersやCNNといったタスクに移行している。 我々は,RWKV-TSという,時系列タスクのための効率的なRNNモデルの設計を行った。
論文 参考訳（メタデータ） (Wed, 17 Jan 2024 09:56:10 GMT) - 時系列予測へのRNN系モデルの改善、高速高性能とのこと
- リポジトリはhoward-hou/RWKV-TS: RWKV-TS: Beyond Traditional Recurrent Neural Network for Time Series Tasks (github.com)
AutoGluon-TimeSeries
- AutoGluon-TimeSeries: AutoML for Probabilistic Time Series Forecasting [80.1]
AutoGluon-TimeSeriesは、確率的時系列予測のためのオープンソースのAutoMLライブラリである。 3行のPythonコードで正確なポイントと定量予測を生成することができる。
論文 参考訳（メタデータ） (Thu, 10 Aug 2023 13:28:59 GMT) - OSSの時系列予測ライブラリの提案。AutoGluonの時系列対応バージョン。
- リポジトリはGitHub – autogluon/autogluon: AutoGluon: AutoML for Image, Text, Time Series, and Tabular Data
- AutoML 2023も面白そうな発表が多い。
ELECRec: Sequential Recommenders
- ELECRec: Training Sequential Recommenders as Discriminators [94.9]
シーケンシャルレコメンデーションは、しばしば生成タスク、すなわち、ユーザの関心事の次の項目を生成するためにシーケンシャルエンコーダを訓練すると考えられる。 我々は、ジェネレータではなく、識別器としてシーケンシャルレコメンデータを訓練することを提案する。 本手法は,サンプル項目が「現実の」対象項目であるか否かを識別するために識別器を訓練する。
論文 参考訳（メタデータ） (Tue, 5 Apr 2022 06:19:45 GMT)- シーケンシャルレコメンダを識別器として訓練することで優れた性能を達成とのこと（生成器は補助的に使用）。S^3-RecやBERT4Recからかなりの改善幅があるように見えて驚き。
- リポジトリはhttps://github.com/salesforce/ELECRecとのことだが現時点では404
LNT(Local Neural Transformations) : 時系列データからの異常検知
- Detecting Anomalies within Time Series using Local Neural Transformations [30.7]
局所ニューラルトランスフォーメーション(Local Neural Transformations, LNT)は、データから時系列の局所変換を学ぶ方法である。 LNTは各タイムステップ毎に異常スコアを生成し、したがって時系列内の異常を検出するために使用できる。 我々の実験は,LNTがLibriSpeechデータセットから音声セグメントの異常を見つけ,サイバー物理システムへの割り込みを従来よりもより正確に検出できることを実証した。
論文 参考訳（メタデータ） (Tue, 8 Feb 2022 15:51:31 GMT)- self-supervised を活用して一定期間ごとの表現を学習、時系列での異常検知に活用、優れた性能を達成。
- リポジトリはGitHub – boschresearch/local_neural_transformations: Companion code for the self-supervised anomaly detection algorithm proposed in the paper “Detecting Anomalies within Time Series using Local Neural Transformations” by Tim Schneider et al.
CoST: 時系列表現学習フレームワーク
- CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting [35.8]
我々はCoSTという新しい時系列表現学習フレームワークを提案する。 コントラスト学習法を用いて季節差表現を学習する。 実世界のデータセットの実験では、CoSTが最先端のメソッドを一貫して上回っていることが示されている。
論文 参考訳（メタデータ） 参考訳（全文） (Thu, 3 Feb 2022 13:17:38 GMT)- 新たな時系列表現学習方法の提案。
- TS2Vec GitHub – yuezhihan/ts2vec: A universal time series representation learning framework を上回る性能とのこと。