论
论坛助手
设备重启后,部分单板迟迟起不来,网管上还弹出“配置丢失”告警,是现场最容易让人手忙脚乱的场景之一。第一反应往往是拔插单板、反复复位,但如果问题根源在配置文件版本,拔插多少次也不会好;反过来,如果是启动加载本身卡住了,只盯着配置文件版本比对,也会白白浪费时间。正确的做法是先把现象分层:是单板根本没有完成启动,还是启动完成了但业务配置没有加载上来。这两者的排查方向完全不同。
第一步,看启动日志,而不是先看告警清单。单板启动过程一般分几个阶段:引导程序加载、操作系统启动、驱动加载、业务软件启动、配置下发。日志停在哪一步,问题就大概率出在哪一层。如果卡在引导或操作系统阶段,表现为单板反复重启、指示灯长时间停在某一个状态,这时要优先怀疑单板硬件、启动介质或启动文件损坏,重点检查该槽位供电、单板版本与设备主控版本的配套关系,以及最近是否有人更换过启动文件。如果日志已经走到“等待配置下发”或“配置加载失败”,那就要立刻转向配置文件。
第二步,核对配置文件版本与备份。OTN 设备通常保存主备两份配置文件,主用配置损坏时会自动尝试备用配置。重启后报配置丢失,常见原因有三种:一是主备配置文件版本不一致,设备升级后只更新了其中一份,重启时加载了旧版本,表现为部分业务配置缺失;二是升级或割接后没有执行保存操作,运行配置与保存配置脱节,重启后回到上一次保存的状态;三是配置文件在写入过程中被中断损坏。核对的方法很直接:查看当前运行的配置文件版本号、生成时间,与升级记录、备份文件逐一比对;同时检查备用配置文件是否存在、版本是否与主用一致。如果发现版本对不上,不要急着手动补配,先把现场的配置文件备份出来,再决定是回退到上一个已知良好的版本,还是从备份恢复。
第三步,单板逐个复位验证,但要有顺序。不要一次性复位所有故障单板。先挑一块故障单板单独复位,观察它能否独立完成启动并加载配置。如果单块复位能恢复,说明问题可能与启动时序有关——多块单板同时启动抢占资源、主控下发配置超时,个别单板就会被“落下”。这种情况下,可以尝试分批复位,或者检查主控的启动加载顺序设置是否合理。如果单块复位仍然失败,就把这块单板换到已知正常的槽位再试一次:能起来,说明原槽位或背板通道有问题;起不来,基本可以锁定单板本身。
日常习惯比事后抢修更重要。每次升级、割接、批量改配之前,先做三件事:备份当前配置文件并记录版本号;核对新版本与设备、单板版本的配套关系;升级后执行一次保存,并做一次计划内的重启验证。很多“重启后配置丢失”并不是重启造成的,而是升级时埋下的版本不一致,重启只是把它暴露了出来。把“改配必保存、升级必核对、备份必验证”做成固定流程,类似的故障至少能少一半。
第一步,看启动日志,而不是先看告警清单。单板启动过程一般分几个阶段:引导程序加载、操作系统启动、驱动加载、业务软件启动、配置下发。日志停在哪一步,问题就大概率出在哪一层。如果卡在引导或操作系统阶段,表现为单板反复重启、指示灯长时间停在某一个状态,这时要优先怀疑单板硬件、启动介质或启动文件损坏,重点检查该槽位供电、单板版本与设备主控版本的配套关系,以及最近是否有人更换过启动文件。如果日志已经走到“等待配置下发”或“配置加载失败”,那就要立刻转向配置文件。
第二步,核对配置文件版本与备份。OTN 设备通常保存主备两份配置文件,主用配置损坏时会自动尝试备用配置。重启后报配置丢失,常见原因有三种:一是主备配置文件版本不一致,设备升级后只更新了其中一份,重启时加载了旧版本,表现为部分业务配置缺失;二是升级或割接后没有执行保存操作,运行配置与保存配置脱节,重启后回到上一次保存的状态;三是配置文件在写入过程中被中断损坏。核对的方法很直接:查看当前运行的配置文件版本号、生成时间,与升级记录、备份文件逐一比对;同时检查备用配置文件是否存在、版本是否与主用一致。如果发现版本对不上,不要急着手动补配,先把现场的配置文件备份出来,再决定是回退到上一个已知良好的版本,还是从备份恢复。
第三步,单板逐个复位验证,但要有顺序。不要一次性复位所有故障单板。先挑一块故障单板单独复位,观察它能否独立完成启动并加载配置。如果单块复位能恢复,说明问题可能与启动时序有关——多块单板同时启动抢占资源、主控下发配置超时,个别单板就会被“落下”。这种情况下,可以尝试分批复位,或者检查主控的启动加载顺序设置是否合理。如果单块复位仍然失败,就把这块单板换到已知正常的槽位再试一次:能起来,说明原槽位或背板通道有问题;起不来,基本可以锁定单板本身。
日常习惯比事后抢修更重要。每次升级、割接、批量改配之前,先做三件事:备份当前配置文件并记录版本号;核对新版本与设备、单板版本的配套关系;升级后执行一次保存,并做一次计划内的重启验证。很多“重启后配置丢失”并不是重启造成的,而是升级时埋下的版本不一致,重启只是把它暴露了出来。把“改配必保存、升级必核对、备份必验证”做成固定流程,类似的故障至少能少一半。
国际光通信论坛