11 月 12 日前后,您的 Outlook 是不是打不开邮箱、邮件也迟迟收不到?这不是您的网络问题。小编看了微软 11 月 15 日发布的初步事后报告,结论先说在前面:这次微软 365 宕机持续了将近 24 小时,直接原因是 7 月随更新上线的一个软件缺陷,再叠加 Teams 流量切换和服务器容量减少,三件事凑到一起才引爆。
简单讲,不是黑客,也不是流量暴涨,而是微软自己网络网关里的一个“定时炸弹”。下面按时间线给您捋一遍。
这次宕机到底影响了谁
故障从 11 月 12 日 UTC 16:20 开始,到次日 UTC 16:10 才确认不再有活跃中断,前后接近一整天。
- 受灾最重:Exchange Online。微软称大多数用户无法通过 Outlook 或其他邮件客户端访问邮箱,不少客户的邮件投递也被延迟。
- 间接受影响:Teams、Copilot、SharePoint、OneDrive、Defender、Purview。微软说这些服务基本还能用,但依赖 Exchange Online 的功能出了问题。
根因:7 月的更新里藏着一个缺陷
缺陷是什么
这个缺陷来自专门为微软 365 网络网关服务器开发的一次更新,7 月开始推送,花了几周铺到全球,期间没出过问题。
技术上,它属于“锁竞争”(lock contention):同一个 Windows 内部进程里,多个操作抢同一把“锁”,在特定负载下会把服务器的 CPU 和内存吃光。微软强调,问题只出在这套网关基础设施上,不影响更广泛的 Windows 部署。
为什么测试没发现
微软的解释是,标准负载测试的流量模式和硬件配置跟线上不一样。测试主要跑在性能较弱、核数较少的机器上,而这个缺陷在核数更多的新服务器上更明显。
三个条件凑齐才爆发
- 7 月上线的缺陷一直潜伏着;
- 大约宕机前 15 小时,Teams 流量从备用网关切到了支撑 Exchange Online 的主网关,主网关负载上升;
- 另有约 14% 的网关服务器容量因为一个无关问题不可用。微软说,光是容量减少不足以造成宕机,但 Teams 切换让剩下的服务器压力变大,触发了缺陷。
为什么一台出事,最后全球都跟着出事
这是整件事最值得多看两眼的地方。
服务器开始无响应后,微软的自动流量调度会把连接转给还能用的服务器,结果剩下的服务器压力更大,同一个缺陷在整个网关集群里滚雪球。微软在报告里说,最低时超过 80% 的服务器没有响应,而这个连锁反应在不到两小时内就铺开了。
微软后来确认,高负载并不是总流量变多了,而是不可用的服务器越来越多,把压力全压到剩下的机器上。
按设计,这套网关由成千上万个容量单元分布在多个区域,本该能把故障隔离在分区内。但微软说另有一个问题让隔离机制没起作用,初步报告没有解释这个问题的原因。
还有一点解释了“为什么邮箱最惨”:微软有两套独立的网关,Teams、OneDrive、SharePoint 和 Office 应用能切到另一套,所以早一些恢复;而 Exchange Online 因为扩容上的限制,没法切过去,邮箱访问就一直卡着。
微软是怎么修好的
恢复也不顺利。微软的自动恢复系统不是为这么大范围的故障设计的,重启的服务器很快又被积压的连接请求冲垮。更麻烦的是,缺陷已经上线好几个月,常规回滚和功能开关没法快速撤销。
工程师先尝试重启服务器、重新分配流量,都没能稳定下来;随后关掉部分自动流量转移机制,调低服务负载,给基础设施减压。找到缺陷后,团队做了一个更新,把相关的连接处理代码恢复到之前能正常工作的状态,分批把服务器摘下来、打补丁、重启,再逐步放回去。
- 11 月 13 日开始部署修复更新,确认稳定后才扩大范围;
- UTC 14:17,全球网页版邮箱恢复到预期水平;
- UTC 16:10,微软确认客户不再有活跃中断,之后还在继续处理延迟邮件。
事后微软增加了基础设施容量,补上了针对连接处理问题和流量转移的监控,并加了控制措施,防止流量重分配再引发类似的连锁故障。微软还延长了邮件投递窗口,避免延迟邮件被当作无法投递退回,故障期间排队的邮件之后已处理完毕。
这些是已经完成的紧急措施,更完整的修复清单要等 11 月 20 日的最终事后报告。小编会留意,有新内容再补充。
对您有什么启发
这次事件没法靠个人规避,但有几件小事值得做:
- 重要沟通别只押在一个渠道上。邮箱挂了,团队有没有备用的联系方式?
- 关键业务邮件(合同、对账、审批)预留重发或确认机制,因为延迟投递并不等于丢失。
- 订阅微软 365 管理中心的服务健康通知,出状况时先看官方通告,少走弯路。官方文档在 Microsoft 365 文档中心 可以查到。
顺带一提,微软最近在云基础设施上动作不少,感兴趣的话可以看看小编之前写的 微软重新审视 neocloud 合作。
常见问题(FAQ)
微软 365 这次宕机是被黑客攻击了吗?
不是。微软初步报告把原因归到 7 月上线的软件缺陷、Teams 流量切换带来的额外负载,以及服务器容量减少,没有提到攻击。
宕机期间的邮件会丢吗?
微软延长了邮件投递窗口,避免延迟邮件被当作无法投递退回,并说故障期间排队的邮件之后已处理。
为什么 Teams 和 OneDrive 恢复得比邮箱早?
这些服务能切换到另一套独立网关,而 Exchange Online 因为扩容限制没法切换,所以邮箱访问卡得最久。
这个缺陷会影响我自己的 Windows 电脑吗?
按微软的说法,问题只出现在微软 365 的网络网关基础设施上,不影响更广泛的 Windows 部署。
最终的事后报告什么时候出?
微软计划在 11 月 20 日发布最终事后报告,里面会有更完整的修复措施清单。