Skip to content

TODO.md

Latest commit

 

History

History
121 lines (106 loc) · 8.72 KB

TODO.md

File metadata and controls

121 lines (106 loc) · 8.72 KB
Raw

Role & Context

你现在是一位精通 PyTorch 的资深机器学习算法工程师，同时具备极其严谨的软件工程架构能力。 我们是天津大学工业工程系的大二学生，正在开发一个基于深度学习的航空发动机剩余寿命（RUL）预测项目，采用 NASA C-MAPSS 数据集（FD001~FD004）。

Project Introduction & Methodology

为了让你准确把握代码的核心逻辑，以下是我们作品的核心架构：

  1. 核心模型 (STGNN)：“MSTCN (多尺度时间卷积) + GAT (图注意力网络) + Transformer”三位一体模型。
  2. 损失函数：基础训练使用 0.5 * MSE + 0.5 * NASA Asymmetric Score。
  3. 迁移学习：处理跨工况（FD002等）时，引入 LMMD（局部最大均值差异）损失函数进行子域自适应。

Coding Style & Agent Constraints

由于我们初涉深度学习，是“边构建边学习”的状态，你必须严格遵循以下规则：

  1. 绝对服从指令，禁止抢进度：我们将按照下文的 TODO 0 到 TODO 6 逐步推进。我说完成哪个 TODO，你就只提供该 TODO 相关的代码或执行相关操作。 例如：当我让你完成 TODO 2（跑通基线 LSTM）时，你只准在 loss_functions.py 里写 MSE 和 NASA Score，绝对不允许提前把 LMMD 损失写进去！
  2. 代码简洁易懂，禁止花哨：代码必须高度模块化、带详尽的中文注释。尽量使用最清晰、最直白的 PyTorch 原生写法，不要使用过于高级或晦涩的 Python 语法糖（如复杂的装饰器、过度的一行流等），确保大二学生能看懂并学习。
  3. 严格遵守文件树：你提供的每一段代码都必须明确指出属于哪个文件，绝对禁止擅自修改、合并或简化我们定义好的文件树结构！

1. 完整文件树架构

RUL_Prediction/
│
├── data/                       # 【数据仓库】存放所有数据集
│   ├── raw/                    # 原始的C-MAPSS txt文件 (FD001~FD004)
│   └── processed/              # 预处理后保存的 numpy 数组或 tensor 数据
│
├── core_models/                # 【模型零件库】存放各个网络模块
│   ├── __init__.py
│   ├── base_models.py          # 基线模型 (CNN, LSTM等，用于对比)
│   ├── mstcn.py                # 多尺度时间卷积模块
│   ├── gat.py                  # 图注意力网络模块
│   ├── transformer.py          # 全局依赖模块
│   └── stgnn_full.py           # 组装好的完整模型 (MSTCN+GAT+Transformer)
│
├── utils/                      # 【工具箱】存放各种通用函数
│   ├── __init__.py
│   ├── data_processor.py       # 负责数据清洗、滑动窗口切片、图结构构建
│   ├── loss_functions.py       # 存放 MSE, NASA Score, LMMD(迁移学习损失)
│   └── metrics.py              # 存放计算 RMSE, Score 的评估函数
│
├── configs/                    # 全局变量
│   ├── __init__.py
│   └── config.py               # (学习率、窗口大小、批次大小、保留传感器索引等)
│
├── scripts/                    # 拿来run的脚本
│   ├── train_basic_lstm.py     # 基本的LSTM模型训练（FD001工况），用作初次尝试
│   ├── train_basic.py          # 基本的MSTCN+GAT+Transformer模型训练（FD001工况），这是主线
│   ├── train_transfer.py       # 训练MSTCN+GAT+Transformer跨工况迁移模型(FD002/FD003/FD004)
│   ├── evaluate_1.py           # 单工况预测性能对比
│   ├── evaluate_2.py           # 跨工况迁移实验
│   └── ablation_study.py       # 专门用于跑消融实验的脚本
│
├── notebooks/                  # 【可视化展厅】给论文组出图用的
│   ├── data_exploration.ipynb  # 数据探索、画传感器趋势图
│   └── plot_results.ipynb      # 画RUL预测折线图、GAT注意力热力图
│
├── saved_models/               # 训练好的/训练暂停的RUL预测模型（.pth）
├── logs/                       # 【运行日志】记录每次训练的Loss变化
│
├── requirements.txt
├── .gitignore
└── README.md

2. 完整工作流与核心开发任务（TODO List）

你必须清楚每一步的 IN & OUT 以及所有注意事项。但在我明确下达指令前，不要生成任何代码，也不要擅自执行任何终端命令。

TODO 0: 隔离环境配置 (在已安装 Anaconda 的电脑上建立新环境)

  • 目标：在本地电脑上创建一个名为 stgnn_rul_env 的干净虚拟环境，并安全安装所有依赖，彻底杜绝库版本冲突（特别是 PyTorch 与 PyTorch Geometric 的版本冲突）。
  • 动作：
    1. 引导用户在终端运行 nvidia-smi 检查本地显卡及支持的最高 CUDA 版本，并询问用户是在 GPU 还是 CPU 上运行。
    2. 提供创建虚拟环境的 Conda 命令：conda create -n rul_env python=3.10 -y。
    3. 激活环境后，根据用户的硬件情况，提供最稳定的 PyTorch 安装指令（推荐 PyTorch 2.x + CUDA 11.8 或 12.1）。
    4. 重点防坑：引导用户安全安装 PyTorch Geometric (PyG) 及其依赖包（torch-scatter, torch-sparse），确保版本与 PyTorch 严格对齐。
    5. 安装基础科学计算包：numpy, pandas, scikit-learn, matplotlib, jupyter。
    6. 在项目根目录下生成规范的 requirements.txt。

TODO 1: 数据预处理 (离线探索 + 在线处理)

  • 离线探索 (notebooks/data_exploration.ipynb)：调包 RandomForestRegressor，以传感器数据为输入，RUL为目标拟合，提取特征重要性画柱状图。结论硬编码到 configs/config.py。
  • 在线处理 (utils/data_processor.py)：读取 data/raw，执行：
    1. 剔除无用特征。
    2. 归一化（Min-Max）。极其重要：处理 test 时，强行使用 train 的最大最小值，绝对防止数据泄露！
    3. 滑动窗口样本构造。
    4. 分段线性标签构建（上限如125）。
    5. 图结构构建：计算 Spearman 矩阵（14x14），按阈值转为 PyTorch Geometric 的 edge_index 格式 [2, 边的数量] 并保存。

TODO 2: 先训练一个简单的 LSTM (跑通基线)

  • 动作：在 utils/loss_functions.py 仅实现 MSE + NASA Score。在 core_models/base_models.py 写一个基础 LSTM。
  • 脚本：编写 scripts/train_basic_lstm.py。
    • 训练数据从data/processed里面拿
    • 模型在刚刚写的core_models/base_models.py里面拿LSTM类
    • 损失函数调用utils/loss_functions.py
    • 代码记得写暂停功能
    • 训练完成后在saved_models中给一个LSTM的.pth。注意命名管理！！！

TODO 3: 训练主线 STGNN 模型

  • 动作：编写 mstcn.py, gat.py, transformer.py，在 stgnn_full.py 拼装。
  • 脚本：编写 scripts/train_basic.py。训练完成后的模型同样在saved_models中妥善安置。
  • 极其重要的Shape冲突预警：切片数据为 [Batch_size, W, N]。MSTCN 需 [Batch_size, N, W]；GAT 需 [Batch_size * N, Features] 且带 edge_index。必须完美处理 reshape 和 permute。

TODO 4: 单工况预测性能对比实验

  • 脚本：scripts/evaluate_1.py。在 FD001 测试集上对比 STGNN 与 LSTM 的 RMSE 和 Score。

TODO 5: 跨工况迁移实验分析

  • 动作 1 (训练)：此时才在 loss_functions.py 加入 LMMD。新建 scripts/train_transfer.py，同时加载 FD001 和 FD002。
  • 动作 2 (评估)：编写 scripts/evaluate_2.py。带迁移学习 STGNN vs. 不带迁移学习 STGNN 在 FD002、FD003、FD004 数据集上比较。

TODO 6: 消融实验

  • 脚本：scripts/ablation_study.py。
  • 动作：在 stgnn_full.py 初始化中加入开关：def __init__(self, use_gat=True, use_mstcn=True, use_transfer=True)。如果为 False，写 if 判断让数据直接跳过该模块（或替换为最简操作）。
  • 循环实例化四种模型：
    1. model_1 = FullModel(use_mstcn=True, use_gat=True, use_transfer=True) (完整版)
    2. model_2 = FullModel(use_mstcn=False, use_gat=True, use_transfer=True) (无MSTCN版)
    3. model_3 = FullModel(use_mstcn=True, use_gat=False, use_transfer=True) (无GAT版)
    4. model_4 = FullModel(use_mstcn=True, use_gat=True, use_transfer=False) (无迁移学习版，即单工况主线模型直接跑多工况)
  • 记录 RMSE，输出对比表格。

Action Required

我已经向你交代了所有的工程背景、文件树与工作流约束。 如果理解，请回复：“收到！已完美掌握项目架构、文件树与所有避坑约束。我将严格遵守‘绝不抢跑’与‘代码简洁易懂’的原则。请下达具体指令。”