Массовый сбой Microsoft 365 вызван изменением IP-адресов на WAN маршрутизаторах

[Artifact]

Microsoft признала ответственность за глобальный сбой своей сетевой инфраструктуры.

Microsoft признала, что глобальный сбой в сетевой инфраструктуре компании, который длился почти пять часов, был вызван ошибкой сетевых инженеров при внесении изменений в конфигурацию WAN-маршрутизаторов. Изменение IP-адреса WAN-маршрутизаторов было сделано с помощью команды, которая не была тщательно проверена и приводила к различному поведению на разных сетевых устройствах" - объяснили в Microsoft
Компания заявила, что изменения в конфигурации маршрутизаторов внесли сетевые инженеры в ходе запланированных работ по обновлению IP-адресов на WAN-маршрутизаторах. Однако, из-за неправильно выполненных изменений в конфигурации, начался каскадный сбой WAN-маршрутизаторов Microsoft, которые отключились от других маршрутизаторов в глобальной сети. Обновление таблиц маршрутизации на устройствах привело к исключению из переадресации автономных систем Microsoft и систем управления трафиком, чтобы оптимизировать потоки данных в глобальной сети
25 января 2023 года компания Microsoft сумела восстановить работу всех основных своих сервисов через 4 часа после глобального сбоя. Инцидент затронул миллионы пользователей по всему миру, поскольку причиной стала ошибка в сетевой инфраструктуре компании.
Заказчики и пользователи во время инцидента не имели доступа к множеству сервисов Microsoft, таким как Azure, Microsoft 365, Microsoft Teams, Exchange Online, Outlook, SharePoint Online, OneDrive for Business, Microsoft Graph, Microsoft Store, Xbox, Minecraft и VS Code.
«Между 07:05 UTC и 12:43 UTC 25 января 2023 года у клиентов возникли проблемы с сетевым подключением, проявляющиеся в длительной сетевой задержке и/или тайм-аутах при попытке подключения к ресурсам, размещенным в регионах Azure, а также к другим службам Microsoft, включая Microsoft 365 и Power Platform», — говорится в опубликованном сегодня предварительном отчете Microsoft.
После глобального сбоя сетевые инженеры компании вручную откатили ранее внесённые изменения и все сервисы были успешно восстановлены. В связи с инцидентом, Microsoft решила запретить любые изменения в конфигурации сетевых устройств, которые не соответствуют рекомендациям по безопасности и не прошли проверку на всем парке сетевого оборудования.
Некорректные изменения в сетевых настройках Microsoft привели к потере связи автономной системы компании с 47 другими ASN, включая AS701 UUNET (Verizon), сообщили эксперты из Qrator. Нарушение работы ощущалось во всем мире.