Работа сервиса Google Cloud Engine прервалась на несколько часов

20 января произошёл крупный сбой в Google Cloud Engine с момента старта этого сервиса. Люди, среди которых были и корпоративные клиенты, на пару часов оказались выключенными от GCE. Не получалось войти в систему, а также получить доступ к нужным ресурсам. С начала во многих новостных сайтах появились статьи, что причина была в хакерской DDoS атаке, которая была проведена специально. Но позже стало понятно что эта была обычной ошибкой.

Компания Google сразу написала в своём блоге объяснение случившемуся. В нём говориться, что проблема была только несколько часов. Расследование, которое окончательно ещё не завершено, показало наличие дефектных элементов в коде программного обеспечения, установленного на этих серверах. Виртуальная сеть GCE работает на специально разработанном ПО, которое не имеет контактов с другими частями сервиса. Это сделано именно для того, чтобы хакеры не смогли нарушить всю систему в случае атаки.

В итоге программа сервиса Cloud Engine внезапно прекратила обновлять информацию, связанную с маршрутизацией серверов. Исходящий трафик перестал отправляться в необходимом количестве, а в какой-то момент целевые запросы и вовсе оборвались. Оставалась информация в кэше системы, которая некоторое время всё-таки позволяла сервису работать. Затем срок её годности подошёл к завершению, что и привело к окончательному обрыву соединения.

В докладе Google было написано, работоспособность GCE можно назвать неприемлемой за последние сутки. Оканчивалась заметка информацией о том, что инженеры корпорации работают над исправлением нарушений, а также обещают клиентам не допускать таких случаев в будущем. Прошлые сбои Cloud Engine, обычно продолжались пару минут.