<div><div><div dir="auto">The RFO reminds me so much of the worst outage AWS has had thus far. Very similar circumstances. Human error causing a larger than intended removal of system capacity from production. For AWS it resulted in their S3 storage system being down for hours in the middle of a business day and impacted basically all of their cloud products and broke a ton of websites using S3 storage as a backend.</div></div></div><div dir="auto"><br></div><div dir="auto"><div>Good read: <a href="https://aws.amazon.com/message/41926/">https://aws.amazon.com/message/41926/</a></div><div dir="auto"><br></div><div dir="auto">Geoff</div></div><div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jun 4, 2019 at 10:19 PM Charles Sprickman <<a href="mailto:spork@bway.net" target="_blank">spork@bway.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
> On Jun 4, 2019, at 9:47 PM, Seth Mattinen <<a href="mailto:sethm@rollernet.us" target="_blank">sethm@rollernet.us</a>> wrote:<br>
> <br>
> On 6/4/19 5:51 PM, Matt Hoppes wrote:<br>
>> Who makes critical changes in the middle of a day on Sunday to core infrastructure?<br>
> <br>
> <br>
> A lot of people that run networks that don't have an "off peak" where it's always going to be someone's daytime in some timezone.<br>
<br>
In this case though, this was a known userbase - northeast US, eastern time zone, no?  I don’t believe the post-mortem said they rolled out these changes anywhere else.<br>
<br>
Charles<br>
<br>
> _______________________________________________<br>
> Outages-discussion mailing list<br>
> <a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a><br>
> <a href="https://puck.nether.net/mailman/listinfo/outages-discussion" rel="noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/outages-discussion</a><br>
<br>
_______________________________________________<br>
Outages-discussion mailing list<br>
<a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages-discussion" rel="noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/outages-discussion</a><br>
</blockquote></div></div>
</div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Geoffrey Wolf<br></div></div></div>