论
论坛助手
最近有工程师遇到这样一件事:批量给光模块升完固件,网管上 DDM 告警一下子多了起来,温度偏高、偏置电流越限、接收光功率低告警轮番出现。可业务侧查了一圈,误码率、丢包率、时延都正常。第一反应往往是“固件有问题,赶紧回退”。先别急,升级后告警变多、业务正常,最常见的根因不是固件把模块搞坏了,而是固件改写了告警门限,或者 DDM 读数的标定方式变了。
先讲清楚一个前提:DDM 读数是“测量值”,告警是“测量值对照门限”得出的结论。固件升级可能动到三处:一是温度、偏置电流、收发光功率的标定系数变了,同一物理状态读出的数字漂了零点几个 dB 或几度;二是告警门限默认值被新固件重写,旧的自定义门限没带过去;三是门限单位或告警逻辑变了,比如由绝对值改成相对基线的偏移量。任何一处变了,告警数量都会变,但光信号本身可能一点没变。
所以排查的第一步不是看告警数量,而是确认业务到底受没受影响。查对端误码率、FEC 纠错前后误码、接口丢包和 CRC 错误,这四项都平稳,说明链路本身大概率没问题,告警更可能是“尺子变了”而不是“东西坏了”。反过来,如果误码确实在爬升,那就别纠结门限,先按链路故障查:对调收发、换纤芯、查对端模块。
业务确认无恙后,第二步是拿升级前后的 DDM 读数做基线对比。把网管里的历史读数翻出来逐项对:温度、偏置电流、发送光功率、接收光功率。重点看变化是“整体平移”还是“个别通道跳变”。整体平移、幅度不大(比如接收功率普遍低 0.5 dB、温度普遍高 2~3 度),多半是标定系数变了;个别通道跳变、幅度大,就要怀疑该通道本身有问题,固件只是把它暴露出来了。
第三步核对门限配置。进 DDM 配置页,把当前告警门限、警告门限逐项抄下来,和升级前的配置记录比对。很多厂商的 release notes 会写“本次升级重置 DDM 告警门限为默认值”,但这句话常藏在更新说明后半段,容易被忽略。确认门限被重置,就按原来的业务经验值重新下发;如果 release notes 明确说新门限修正了旧固件的错误标定,就要接受新读数、重新建立基线,而不是把旧门限硬套回去。
决策树可以这样走:业务指标异常→按链路故障排查,暂不回退;业务正常、读数整体平移、门限被改写→恢复原门限、重新核对基线,观察一到两天;业务正常、个别通道读数跳变且持续恶化→隔离该模块、换备件验证;升级后模块无法识别、反复重启、DDM 读数全是无效值→这才是固件本身的问题,立即回退。回退能解决的是固件缺陷,解决不了门限配置问题,盲目回退只会把一次可解释的告警变成无意义的折腾。
最后说个习惯问题。升级前做三件事:一是备份当前 DDM 门限配置和读数基线;二是读一遍 release notes,重点找 DDM、门限、标定相关的条目;三是先拿一两只非关键链路的模块试点,跑满 24 小时再批量推。固件升级本身不可怕,可怕的是升级前没有基线、升级后没有对照。把“先核对、再决定回退”做成固定动作即可。
先讲清楚一个前提:DDM 读数是“测量值”,告警是“测量值对照门限”得出的结论。固件升级可能动到三处:一是温度、偏置电流、收发光功率的标定系数变了,同一物理状态读出的数字漂了零点几个 dB 或几度;二是告警门限默认值被新固件重写,旧的自定义门限没带过去;三是门限单位或告警逻辑变了,比如由绝对值改成相对基线的偏移量。任何一处变了,告警数量都会变,但光信号本身可能一点没变。
所以排查的第一步不是看告警数量,而是确认业务到底受没受影响。查对端误码率、FEC 纠错前后误码、接口丢包和 CRC 错误,这四项都平稳,说明链路本身大概率没问题,告警更可能是“尺子变了”而不是“东西坏了”。反过来,如果误码确实在爬升,那就别纠结门限,先按链路故障查:对调收发、换纤芯、查对端模块。
业务确认无恙后,第二步是拿升级前后的 DDM 读数做基线对比。把网管里的历史读数翻出来逐项对:温度、偏置电流、发送光功率、接收光功率。重点看变化是“整体平移”还是“个别通道跳变”。整体平移、幅度不大(比如接收功率普遍低 0.5 dB、温度普遍高 2~3 度),多半是标定系数变了;个别通道跳变、幅度大,就要怀疑该通道本身有问题,固件只是把它暴露出来了。
第三步核对门限配置。进 DDM 配置页,把当前告警门限、警告门限逐项抄下来,和升级前的配置记录比对。很多厂商的 release notes 会写“本次升级重置 DDM 告警门限为默认值”,但这句话常藏在更新说明后半段,容易被忽略。确认门限被重置,就按原来的业务经验值重新下发;如果 release notes 明确说新门限修正了旧固件的错误标定,就要接受新读数、重新建立基线,而不是把旧门限硬套回去。
决策树可以这样走:业务指标异常→按链路故障排查,暂不回退;业务正常、读数整体平移、门限被改写→恢复原门限、重新核对基线,观察一到两天;业务正常、个别通道读数跳变且持续恶化→隔离该模块、换备件验证;升级后模块无法识别、反复重启、DDM 读数全是无效值→这才是固件本身的问题,立即回退。回退能解决的是固件缺陷,解决不了门限配置问题,盲目回退只会把一次可解释的告警变成无意义的折腾。
最后说个习惯问题。升级前做三件事:一是备份当前 DDM 门限配置和读数基线;二是读一遍 release notes,重点找 DDM、门限、标定相关的条目;三是先拿一两只非关键链路的模块试点,跑满 24 小时再批量推。固件升级本身不可怕,可怕的是升级前没有基线、升级后没有对照。把“先核对、再决定回退”做成固定动作即可。
国际光通信论坛