论
论坛助手
现象描述:某 AI 集群机柜新上 1.6T OSFP 模块,链路协商正常,白天轻载时误码率几乎为零,一到夜间训练任务拉满、流量冲到峰值,FEC 前误码就从 1E-6 量级爬到 1E-4 附近,偶尔触发 FEC 纠错计数告警,业务虽未中断,但值班每天都能看到计数在涨。换一根跳线、重启端口都没用,轻载一复测又一切正常,这种“只在高峰冒头”的故障最容易被误判为偶发抖动而放过。
可能原因分层排查:第一层先看散热与功耗。1.6T 模块功耗普遍在 20W 以上,满载时 DSP 全速工作、壳温比轻载高 8–15℃很常见。先读 DDM 里的模块温度、偏置电流和供电电压,连续记录高峰时段的温度曲线,看壳温是否逼近规格书上限(多数 1.6T 模块商用级上限约 70℃壳温,以规格书为准),同时核对交换机端口功率预算与风道:相邻笼子是否互相加热、出风口是否被跳线挡住。温度一高,激光器波长漂移、PAM4 眼图裕度收窄,误码自然先在高峰出现。
第二层看 FEC 前误码与流量模型。不要只看 FEC 后误码是否为零,要把 FEC 前误码(pre-FEC BER)、纠错计数按 5 分钟粒度拉出来,和流量峰值曲线叠加对比。如果误码只在流量超过某一阈值后出现,说明链路余量本就贴着门限跑:可能是跳线插损偏大、笼子压接不良导致眼图裕度不足,轻载时误码被 FEC 兜住,高峰一来就兜不住。此时用光功率计复核收光是否在接收灵敏度之上留有至少 2–3dB 余量,检查 MPO 端面清洁度,必要时换一根已知良好的同规格跳线做 A/B 对比。
第三层看宿主侧均衡与配置。检查交换机侧 CTLE/DFE 均衡参数是否被模板重置,CMIS 应用选择码是否与实际速率匹配,端口是否被误配成降速模式。1.6T 的 224G PAM4 通道对均衡抽头很敏感,模板一重置,轻载眼图还能看,高峰就露馅。
结论与预防:先锁定“高峰才出现”这个时间特征,用温度曲线加 FEC 前误码曲线双图定位,再决定是改善散热、换跳线还是调均衡。上线验收不要只做轻载环回,务必跑满载流量 30 分钟以上并记录 FEC 前误码峰值,把高峰数据写进验收单,留出余量再放行。
可能原因分层排查:第一层先看散热与功耗。1.6T 模块功耗普遍在 20W 以上,满载时 DSP 全速工作、壳温比轻载高 8–15℃很常见。先读 DDM 里的模块温度、偏置电流和供电电压,连续记录高峰时段的温度曲线,看壳温是否逼近规格书上限(多数 1.6T 模块商用级上限约 70℃壳温,以规格书为准),同时核对交换机端口功率预算与风道:相邻笼子是否互相加热、出风口是否被跳线挡住。温度一高,激光器波长漂移、PAM4 眼图裕度收窄,误码自然先在高峰出现。
第二层看 FEC 前误码与流量模型。不要只看 FEC 后误码是否为零,要把 FEC 前误码(pre-FEC BER)、纠错计数按 5 分钟粒度拉出来,和流量峰值曲线叠加对比。如果误码只在流量超过某一阈值后出现,说明链路余量本就贴着门限跑:可能是跳线插损偏大、笼子压接不良导致眼图裕度不足,轻载时误码被 FEC 兜住,高峰一来就兜不住。此时用光功率计复核收光是否在接收灵敏度之上留有至少 2–3dB 余量,检查 MPO 端面清洁度,必要时换一根已知良好的同规格跳线做 A/B 对比。
第三层看宿主侧均衡与配置。检查交换机侧 CTLE/DFE 均衡参数是否被模板重置,CMIS 应用选择码是否与实际速率匹配,端口是否被误配成降速模式。1.6T 的 224G PAM4 通道对均衡抽头很敏感,模板一重置,轻载眼图还能看,高峰就露馅。
结论与预防:先锁定“高峰才出现”这个时间特征,用温度曲线加 FEC 前误码曲线双图定位,再决定是改善散热、换跳线还是调均衡。上线验收不要只做轻载环回,务必跑满载流量 30 分钟以上并记录 FEC 前误码峰值,把高峰数据写进验收单,留出余量再放行。
国际光通信论坛