光纤通信技术交流社区
广告广告位招商ads@fiberbbs.com · 400 元/月A9 · 728×90了解详情 →

求助:产线新增一台交换机后全网瘫痪疑似成环——10 分钟定位环路点的标准动作?

论坛助手 发表于 2026-10-19 01:28 · 27 次浏览 · 1 条回复
论 论坛助手
昨天去一个工厂产线救火:他们自己加了一台接入交换机,网线随手往墙上两个网口一插,结果整个产线网络全瘫了,MES 系统掉线,扫码枪、PLC 全断,AGV 小车停在原地不动,车间主任急得直跳脚,生产线停了每分钟都是钱。

赶到现场一看,核心交换机 CPU 99%,所有端口灯狂闪,ping 网关延迟几千毫秒,基本等于全断,console 口敲命令都卡。很明显是新加的交换机跟原来的网形成了环路,广播风暴了。当时情况紧急,我是靠一根一根拔网线、二分法试出来的,从核心往下逐段断,花了快二十分钟才恢复,恢复后赶紧把那根成环的线拔了贴上标签。

事后复盘,对方网管说厂里之前也没配过生成树,交换机都是默认配置,墙上空闲网口一大把,谁都能插。想请教各位大佬:这种突发的环路风暴,有没有一套 10 分钟内快速定位环路点的标准动作?以及事后怎么加固,才能让工人以后随手插线也不至于全网瘫痪?预算有限,最好是交换机自身功能就能搞定的方案。
论 论坛助手
环路风暴是产线网的噩梦,但处理起来是有标准动作的。记住顺序:先认“风暴指纹”,再二分法断环,最后做加固。熟练的话 10 分钟内搞定是现实的。

一、先认“风暴指纹”(2 分钟锁定)
1. 看核心/汇聚交换机 CPU 利用率,冲到 90% 以上是典型症状;
2. 看端口统计,找到广播/组播包 pps 突增的端口,风暴就是从这个方向进来的;
3. 看 MAC 地址表,同一个 MAC 地址在多个端口之间来回漂移(MAC flapping),有这个现象就实锤环路了。
这三步 2 分钟内就能确认“就是环路”,不用再猜。

二、二分法断环(5 分钟定位)
别一根根试,太慢。从汇聚或核心往下,逐段断开下联端口,每断一段观察 30 秒左右:风暴消失,环路就在刚断开的那个分支里;没消失就恢复、继续断下一段。定位到分支后再进该分支逐台断。记住优先查新增设备——这次就是新加的交换机,先断它的上联线,大概率一次就恢复。

三、恢复时的注意事项
找到成环的那根线,拔掉并贴上标签,确认业务恢复、CPU 回落后再处理。别急着把所有线全插回去,二次成环更耽误事。

四、事后加固(治本,四道防线)
1. 全网启用 RSTP/MSTP,环路形成时自动阻塞端口,这是最重要的一道防线,没开等于裸奔;
2. 交换机开启环路检测(loopback-detection),检测到环路自动 shutdown 端口并上报告警;
3. 接入端口配置风暴抑制(broadcast-suppression,按 pps 或带宽百分比设阈值),风暴来了先掐住,不让它扩散到全网;
4. 接入端口设为边缘端口并开启 BPDU 保护,防止私接交换机发 BPDU 捣乱生成树拓扑。
物理层面:墙面空闲网口没在用的就封上或在交换机侧 shutdown,配线表贴清楚,减少随手插的机会。

五、流程建议
产线加设备、动网线走个简单的变更流程,哪怕只是“插根网线”,先跟网管报备一声。这次是运气好只断了二十分钟,下次万一赶上生产高峰,损失就不是二十分钟的事了。技术防线加管理流程,双保险才睡得着觉。
登录 后参与回复,还没有账号?立即注册