<div><div style="color:rgb(49,49,49);word-spacing:1px" dir="auto"><div dir="auto" style="font-size:1rem">Considering the outcome of the maint it was the perfect time - if they had failed on a Monday there would have been mass panic.  Grumpy sysops are much more preferable.</div></div><br class="Apple-interchange-newline" style="font-family:-webkit-standard"></div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jun 4, 2019 at 21:44 Matt Hoppes <<a href="mailto:mattlists@rivervalleyinternet.net">mattlists@rivervalleyinternet.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">But 2am on a Sunday?<br>
<br>
On 6/4/19 8:52 PM, Neal Lawson wrote:<br>
> Well google does, and many org’s I have worked for as well prefer <br>
> weekend changes ….<br>
> <br>
> <br>
>> On Jun 4, 2019, at 5:51 PM, Matt Hoppes <br>
>> <<a href="mailto:mattlists@rivervalleyinternet.net" target="_blank">mattlists@rivervalleyinternet.net</a> <br>
>> <mailto:<a href="mailto:mattlists@rivervalleyinternet.net" target="_blank">mattlists@rivervalleyinternet.net</a>>> wrote:<br>
>><br>
>> Who makes critical changes in the middle of a day on Sunday to core <br>
>> infrastructure?<br>
>><br>
>> On Jun 4, 2019, at 2:49 PM, Charles Sprickman <<a href="mailto:spork@bway.net" target="_blank">spork@bway.net</a> <br>
>> <mailto:<a href="mailto:spork@bway.net" target="_blank">spork@bway.net</a>>> wrote:<br>
>><br>
>>> I guess "the cloud" doesn’t have a separate management network. :)<br>
>>><br>
>>> ——<br>
>>> Once alerted, engineering teams quickly identified the cause of the <br>
>>> network congestion, but the same network congestion which was <br>
>>> creating service degradation also slowed the engineering teams’ <br>
>>> ability to restore the correct configurations, prolonging the outage.<br>
>>> ——<br>
>>><br>
>>>> On Jun 4, 2019, at 2:24 PM, Frank Bulk <<a href="mailto:frnkblk@iname.com" target="_blank">frnkblk@iname.com</a> <br>
>>>> <mailto:<a href="mailto:frnkblk@iname.com" target="_blank">frnkblk@iname.com</a>>> wrote:<br>
>>>><br>
>>>> RFO:<a href="https://cloud.google.com/blog/topics/inside-google-cloud/an-update-on-sundays-service-disruption" rel="noreferrer" target="_blank">https://cloud.google.com/blog/topics/inside-google-cloud/an-update-on-sundays-service-disruption</a><br>
>>>> Frank<br>
>>>> *From:*Outages <<a href="mailto:outages-bounces@outages.org" target="_blank">outages-bounces@outages.org</a> <br>
>>>> <mailto:<a href="mailto:outages-bounces@outages.org" target="_blank">outages-bounces@outages.org</a>>>*On Behalf Of*Kevin Day via Outages<br>
>>>> *Sent:*Sunday, June 02, 2019 3:27 PM<br>
>>>> *To:*<a href="mailto:outages@outages.org" target="_blank">outages@outages.org</a> <mailto:<a href="mailto:outages@outages.org" target="_blank">outages@outages.org</a>><br>
>>>> *Subject:*[outages] Google network issues<br>
>>>> Starting at 2019-06-02 12:53 (US/Pacific), Google is reporting a <br>
>>>> network issue affecting their own products as well as "throughout <br>
>>>> all Google Cloud Platform, this is affecting all products currently".<br>
>>>> <a href="https://status.cloud.google.com/incident/cloud-networking/19009" rel="noreferrer" target="_blank">https://status.cloud.google.com/incident/cloud-networking/19009</a><br>
>>>> Anecdotally this appears to have caused intermittent problems to <br>
>>>> complete outages for:<br>
>>>> * Gmail<br>
>>>> * Youtube<br>
>>>> * Google's public DNS (8.8.8.8)<br>
>>>> * Google products like Nest<br>
>>>> * Non-google sites apparently hosted in Google's cloud products such <br>
>>>> as Snapchat, Vimeo, etc.<br>
>>>> _______________________________________________<br>
>>>> Outages-discussion mailing list<br>
>>>> <a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a> <mailto:<a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a>><br>
>>>> <a href="https://puck.nether.net/mailman/listinfo/outages-discussion" rel="noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/outages-discussion</a><br>
>>><br>
>>> _______________________________________________<br>
>>> Outages-discussion mailing list<br>
>>> <a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a> <mailto:<a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a>><br>
>>> <a href="https://puck.nether.net/mailman/listinfo/outages-discussion" rel="noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/outages-discussion</a><br>
>> _______________________________________________<br>
>> Outages-discussion mailing list<br>
>> <a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a> <mailto:<a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a>><br>
>> <a href="https://puck.nether.net/mailman/listinfo/outages-discussion" rel="noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/outages-discussion</a><br>
> <br>
_______________________________________________<br>
Outages-discussion mailing list<br>
<a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages-discussion" rel="noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/outages-discussion</a><br>
</blockquote></div></div>