Time-MoE时间序列预测模型完整配置指南

Time-MoE时间序列预测模型完整配置指南

【免费下载链接】Time-MoETime-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts项目地址: https://gitcode.com/gh_mirrors/ti/Time-MoE

Time-MoE是首个参数规模达到24亿的开源时间序列基础模型，采用混合专家架构实现大规模时间序列数据的分析和预测。该项目支持自动回归操作，能够进行通用预测，并支持长达4096的上下文长度。

前置环境准备

在开始安装之前，请确保您的系统满足以下基础要求：

• Python 3.10或更高版本
• 最新版本的pip包管理器
• Git客户端用于代码仓库克隆

建议运行python --version和pip --version检查当前版本，避免潜在的依赖冲突问题。

完整安装步骤

获取项目源码

打开命令行工具，执行以下命令克隆项目仓库：

git clone https://gitcode.com/gh_mirrors/ti/Time-MoE.git cd Time-MoE

安装核心依赖

在项目根目录下，使用pip安装项目所需的依赖：

pip install -r requirements.txt

核心依赖包包括：

• transformers==4.40.1（严格要求此版本）
• torch
• numpy
• pandas
• scikit-learn
• accelerate==0.28.0
• datasets==2.18.0

性能优化安装

为提高训练和推理速度，并减少内存使用，强烈推荐安装flash-attn优化模块：

pip install flash-attn==2.6.3

安装验证

完成安装后，可以通过运行以下命令来验证安装是否成功：

python main.py --help

如果能够看到命令行帮助信息，则表示Time-MoE已成功安装并准备就绪。

模型架构详解

Time-MoE采用创新的混合专家架构，通过多个专家模型的组合来提高预测的准确性和效率。

该架构包含四个主要部分：

输入处理与Token化：将原始时间序列数据转换为模型可处理的输入Token，通过点对点Token化和多分辨率调度生成多尺度特征。

核心Transformer模块：通过堆叠的MoE Transformer层处理输入序列，包含RMSNorm归一化、因果注意力机制和混合专家模块。

多任务输出优化：针对不同任务的输出进行联合优化，三个任务共享同一MoE输出，但通过不同的前馈神经网络生成任务特定的输出。

推理与训练分支：训练阶段通过输入层接收带标签数据，推理阶段通过多分辨率调度和FFN组合生成最终预测结果。

基础使用示例

加载预训练模型

import torch from transformers import AutoModelForCausalLM context_length = 12 seqs = torch.randn(2, context_length) model = AutoModelForCausalLM.from_pretrained( 'Maple728/TimeMoE-50M', device_map="cpu", trust_remote_code=True, ) # 数据标准化 mean, std = seqs.mean(dim=-1, keepdim=True), seqs.std(dim=-1, keepdim=True) normed_seqs = (seqs - mean) / std # 预测 prediction_length = 6 output = model.generate(normed_seqs, max_new_tokens=prediction_length) normed_predictions = output[:, -prediction_length:] # 反标准化 predictions = normed_predictions * std + mean

使用flash-attn加速

如果安装了flash-attn，可以使用以下配置获得更好的性能：

model = AutoModelForCausalLM.from_pretrained( 'Maple728/TimeMoE-50M', device_map="auto", attn_implementation='flash_attention_2', trust_remote_code=True )

模型微调指南

数据集准备

微调Time-MoE时，您的数据集应转换为jsonl格式，每行代表一个时间序列数据：

{"sequence": [1.0, 2.0, 3.0, ...]}

训练命令

CPU训练：

python main.py -d <data_path>

单节点单GPU或多GPU训练：

python torch_dist_run.py main.py -d <data_path>

多节点多GPU训练： 需要配置额外的环境变量来促进节点间通信。

关键技术特性

• 混合专家架构：通过路由器动态选择专家，实现稀疏激活，降低计算复杂度
• Transformers核心：采用先进的序列处理技术
• PyTorch框架：基于工业级深度学习框架
• 4096上下文长度：支持超长序列分析
• 多任务优化：支持预测、分类、异常检测等多个任务

注意事项

• Time-MoE的最大序列长度为4096，建议上下文长度和预测长度之和不超过此限制
• 如需支持更长的序列长度，请使用所需序列长度对Time-MoE进行微调
• 使用Time-300B数据集时无需额外预处理

通过本指南，您已经完成了Time-MoE时间序列预测模型的完整安装和配置，可以开始探索时间序列预测的无限可能。

【免费下载链接】Time-MoETime-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts项目地址: https://gitcode.com/gh_mirrors/ti/Time-MoE