写在前面在本文中,我们利用Nixtla的NeuralForecast框架,实现多种基于Transformer的时序预测模型,包括:Transformer,Informer,Autoformer,FEDformer和PatchTST模型,并且实现将它们应用于股票价格预测的简单例子。1NeuralForecastneuralforecast是一个旨在为时间序列预测提供一个丰富的、高度可用和鲁棒的神经网络模型集合的工具库。这个库集成了从传统的多层感知器(MLP)和递归神经网络(RNN)到最新的模型如N-BEATS、N-HiTS、TFT,以及其他高级架构,以适应多样化的预测需求。它的关键功能包括对静态
Autoformer算法与代码分析原文链接:https://arxiv.org/pdf/2106.13008.pdf代码链接:https://github.com/thuml/Autoformer简介Autoformer本质上是基于Transformer结构的时序预测模型,因此如果有Transformer基础,对于理解Autoformer以及所有基于Transformer的时序预测模型都比较有帮助。所有基于Transfomer结构的时序预测模型,本质上都是对于其中最重要的模块:Self-attention进行创新。例如LogsTransformer,reformer,informer,fedf
1.论文简介标题:Autoformer:DecompositionTransformerswithAuto-CorrelationforLong-TermSeriesForecasting作者:HaixuWu,JiehuiXu,JianminWang,MingshengLong(TsinghuaUniversity)发表刊物:NeurIPS2021论文下载地址:https://arxiv.org/abs/2106.13008作者代码地址:GitHub-thuml/Autoformer:AboutCodereleasefor"Autoformer:DecompositionTransformer
原本想要和之前一样写作“代码复现”,然而由于本人一开始对于Autoformer能力理解有限,参考了一定的论文中的源代码,写着写着就发现自己的代码是“加了注释版本”的源代码,故而只能是源代码的浅读,而非复现。模型结构: 零:数据读取的预处理这一部分之所以是零,是因为我在论文复现时没有对dataloader部分进行复现,但是复现完毕之后发现它实际上是有相当的重要性的,故而在此留空,之后有时间会对此进行解读。现在所需要知道的就是,dataloader会返回2个结果:其一是经过标准化之后的x,其二是将时间序列数据根据不同的粒度划分出来的列表,也就是接下来的x_mark。一:Embedding:此处的E
原本想要和之前一样写作“代码复现”,然而由于本人一开始对于Autoformer能力理解有限,参考了一定的论文中的源代码,写着写着就发现自己的代码是“加了注释版本”的源代码,故而只能是源代码的浅读,而非复现。模型结构: 零:数据读取的预处理这一部分之所以是零,是因为我在论文复现时没有对dataloader部分进行复现,但是复现完毕之后发现它实际上是有相当的重要性的,故而在此留空,之后有时间会对此进行解读。现在所需要知道的就是,dataloader会返回2个结果:其一是经过标准化之后的x,其二是将时间序列数据根据不同的粒度划分出来的列表,也就是接下来的x_mark。一:Embedding:此处的E