Ensure experiment reproducibil…

# PyTorch 2.1 + ResNet50 结果不可复现排查指南

一、为什么设了种子还不一致

随机种子只覆盖部分随机性来源，以下环节往往被遗漏：

• GPU 非确定性计算：cuDNN 算法选择、原子操作（如 nll_loss 反向）、atomicAdd 等本身非确定
• cudnn.benchmark 默认开启：每次根据输入自动选择最快算法，不同选择带来精度差异
• 数据加载器 worker 种子：num_workers > 0 时若不正确处理，每个 worker 的随机增强、shuffle 顺序会漂移
• 未种子化的模块：dropout、数据增强（RandomCrop、RandomFlip）、模型初始化
• 环境层面差异：CUDA/cuDNN 版本、驱动更新、GPU 架构差异、PyTorch 编译差异

二、排查清单（按优先级）

1. 确认硬件与库版本一致

• 记录 torch.__version__、torch.version.cuda、torch.backends.cudnn.version()、驱动版本
• 两次运行是否在同一台机器、同一 GPU 上

2. 检查是否走 GPU：torch.cuda.is_available()，CPU/GPU 混用结果必然不同

3. 检查 seed 覆盖范围

• 是否只调了 torch.manual_seed，漏了 random、numpy
• 是否漏了 DataLoader 的 worker 初始化

4. 检查 benchmark 设置：搜索代码中 cudnn.benchmark = True

5. 检查 dropout / 增强是否全部受控

三、确定性复现代码模板

```python

import random, numpy as np, torch

def seed_everything(seed=42):

random.seed(seed)

np.random.seed(seed)

torch.manual_seed(seed)

torch.cuda.manual_seed_all(seed)

torch.backends.cudnn.deterministic = True

torch.backends.cudnn.benchmark = False

# PyTorch 2.x 需指定 CUBLAS 工作空间配置（系统环境变量）：

# CUBLAS_WORKSPACE_CONFIG=:4096:8

torch.use_deterministic_algorithms(True, warn_only=True)

g = torch.Generator()

g.manual_seed(42)

def worker_init_fn(worker_id):

worker_seed = 42 + worker_id

np.random.seed(worker_seed)

random.seed(worker_seed)

loader = DataLoader(ds, shuffle=True, generator=g,

num_workers=4, worker_init_fn=worker_init_fn)

```

启动命令前设置：set CUBLAS_WORKSPACE_CONFIG=:4096:8

四、建议的复现协议

• 环境快照：`pip free