<div dir="auto">Confirmed. 90% of our CPEs down last night, early morning. Customers rebooting to bring them back. Still had to scramble 3 techs to multiple locations where they can't, won't or claim they don't know how. Not a pretty sight this morning!<div dir="auto"><br><br><div data-smartmail="gmail_signature" dir="auto">-- via mobile --</div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Jan 4, 2018 10:35 AM, "Zak Rupas via Outages" <<a href="mailto:outages@outages.org">outages@outages.org</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">




<div dir="ltr" style="font-size:12pt;color:#000000;background-color:#ffffff;font-family:Calibri,Arial,Helvetica,sans-serif">
<p>Good Morning Outages-<br>
</p>
<p><br>
</p>
<p>Is anyone feeling this issue currently? Any truth to the story?<br>
</p>
<p><br>
</p>
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)">From Baicells facebook group:</span><br style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)">
<br style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)">
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)">So this morning I feel a bit like the parent who woke up having discovered his child
 injured someone in a car crash. I'm not directly responsible, but I've some culpability -- or a lot of it -- due to the choices I've made as parent.</span>
<p style="margin:6px 0px;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
Yes, it is true the discovery of the Intel x86 security flaw set the tech industry ablaze last night. Among the reactions Microsoft abruptly shutdown it's Azure cloud servers with no advance notice. Yes, that specific action was beyond our contro<span class="m_-8548514631250607039text_exposed_show" style="display:inline;font-family:inherit">l.
 But, Amazon is dancing, while people who rely upon Azure -- all of us -- are justifiably frustrated and angry.</span></p>
<div class="m_-8548514631250607039text_exposed_show" style="display:inline;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
<p style="margin-right:0px;margin-bottom:6px;margin-left:0px;font-family:inherit">
On this occasion, redundancy across Azure servers AND across various LTE functions, like HSS and MME, did not help us.</p>
<p style="margin:6px 0px;font-family:inherit">Yes, we are going to investigate adding redundancy across multiple cloud providers such as Amazon....but let's be blunt...who's to say that step still will be enough. What needs completion without excuse or
 qualification are the other options we've discussed ad nauseum, the local EPC and Halo B.</p>
<p style="margin:6px 0px;font-family:inherit">Apologies from us aren't gonna cut it, nor will excuses, so I'm not going to waste your time offering them. I'm already this AM discussing with our executive team pushing as top priority the other EPC options.
 Here's what I will tell you.</p>
<p style="margin:6px 0px;font-family:inherit">This past Tuesday a new hire started at Baicells North America. Ronald Mao is ex-Huawei and ex-Motorola and has lived in the US since 1987. His entire career has been centered on product line management. He
 is our new PLM for, shall we say, major things. I've already asked Jesse to brief Ronald on the ongoing cloud issues, as well as local where we are on the local EPC and Halo B. I will ask Ronald to send me an update each week, and I'll pass this one to the
 group via Facebook AND an email UNTIL THIS IS DONE.</p>
<p style="margin:6px 0px;font-family:inherit">One P.S. note, thank you Cameron and Rick. While it's small consolation to our customers, Rick and Cam have been up all night working with the team overseas, reporting to you, and in general trying to manage
 what's been frankly out of their hands.</p>
<p style="margin:6px 0px;font-family:inherit"><a href="https://www.facebook.com/jesse.raasch?fref=gs&dti=1588455311448839&hc_location=group" class="m_-8548514631250607039profileLink" rel="dialog" style="color:rgb(54,88,153);text-decoration-line:none;font-family:inherit" target="_blank">Jesse
 Raasch</a> <a href="https://www.facebook.com/ciaworks?fref=gs&dti=1588455311448839&hc_location=group" class="m_-8548514631250607039profileLink" rel="dialog" style="color:rgb(54,88,153);text-decoration-line:none;font-family:inherit" target="_blank">Cameron Kilton</a> <a href="https://www.facebook.com/rick.harnish.10?fref=gs&dti=1588455311448839&hc_location=group" class="m_-8548514631250607039profileLink" rel="dialog" style="color:rgb(54,88,153);text-decoration-line:none;font-family:inherit" target="_blank">Rick
 Harnish</a> <a href="https://www.facebook.com/savannah.lancaster?fref=gs&dti=1588455311448839&hc_location=group" class="m_-8548514631250607039profileLink" rel="dialog" style="color:rgb(54,88,153);text-decoration-line:none;font-family:inherit" target="_blank">Savannah Lancaster</a> Ronald
 Mao <a href="https://www.facebook.com/minchul.ho?fref=gs&dti=1588455311448839&hc_location=group" class="m_-8548514631250607039profileLink" rel="dialog" style="color:rgb(54,88,153);text-decoration-line:none;font-family:inherit" target="_blank">Minchul Ho</a> <a href="https://www.facebook.com/sonny.may.94?fref=gs&dti=1588455311448839&hc_location=group" class="m_-8548514631250607039profileLink" rel="dialog" style="color:rgb(54,88,153);text-decoration-line:none;font-family:inherit" target="_blank">Sonny
 May</a> <a href="https://www.facebook.com/nitisha.potti?fref=gs&dti=1588455311448839&hc_location=group" class="m_-8548514631250607039profileLink" rel="dialog" style="color:rgb(54,88,153);text-decoration-line:none;font-family:inherit" target="_blank">Nitisha Potti</a> <a href="https://www.facebook.com/bsenekham?fref=gs&dti=1588455311448839&hc_location=group" class="m_-8548514631250607039profileLink" rel="dialog" style="color:rgb(54,88,153);text-decoration-line:none;font-family:inherit" target="_blank">Boun
 Senekham</a></p>
<p style="margin:6px 0px;font-family:inherit">Update: I spoke with Ronald this morning (he is in CA). He has his marching orders. I'll post updates from him until we close on the local EPC and Halo B.</p>
</div>
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)"></span>
<p style="margin-right:0px;margin-bottom:6px;margin-left:0px;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
So Cameron has been trying to post this, but it's getting rejected:</p>
<p style="margin-top:6px;margin-right:0px;margin-left:0px;display:inline;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
For those still having CPE attach issues. Please instruct your customers to have CPE powered off for at least 5 minutes.</p>
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)"> </span>
<p style="margin-top:6px;margin-right:0px;margin-left:0px;display:inline;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
<br>
</p>
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)"></span>
<p style="margin-top:6px;margin-right:0px;margin-left:0px;display:inline;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
<br>
</p>
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)"></span>
<p style="margin-top:6px;margin-right:0px;margin-left:0px;display:inline;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
Micah Deshotel That didn't work for me. The down ones stayed down. Power</p>
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)"></span>
<p style="margin-right:0px;margin-bottom:6px;margin-left:0px;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
System Alert: OMC is currently reporting offline. We are investigating as of 10:12PM EST. UPDATE: 11:07pm EST Azure is rebooting servers to apply a major patch. Most of our instances are back online. OMC should be restored shortly.</p>
<p style="margin:6px 0px;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
UPDATE 2: 1:20am EST. MME VMs also fell victim to the critical issue with Azure. VMs have since been restored. More information about the issue an be found here: <a href="https://l.facebook.com/l.php?u=https%3A%2F%2Fwww.geekwire.com%2F2018%2Fcloud-vendors-secretly-scramble-patch-critical-flaw-intel-chips-performance-hits-expected%2F&h=ATNFZQ-do0svtoa_e5hnQZl0gvZbgu6awtfb_Gk4bHVCd87C26PuC1WMVDtgDyT8qK3fFfPSQ7b34-F2tgFtUfQHStT7qfLlstCNSV7V6lexFW_hL3D1t6kkGbeOa7beRxl6DrJuMP_oeinlJRpZ3wFWRWUumOt1zsrGTV5Hv9Hzc_Br_dwBI54WDVkxt3_FW3zyGrAVA8u2dM_lnJetjxJVrD8N7PCXs3a6glQv0d_nWDmsRvN3MmiTIZV3gBHTITs7lk2JgmLJyKs_p0yfVvwJ3TkLPouV_wTQ" rel="noopener nofollow" style="color:rgb(54,88,153);text-decoration-line:none;font-family:inherit" target="_blank">https://www.geekwire.<wbr>com/…/cloud-vendors-secretly-<wbr>scramble…/</a></p>
<p style="margin-top:6px;margin-right:0px;margin-left:0px;display:inline;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
We will continue to review our cloud infrastructure and investigate cross platform redundancy.</p>
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)"> </span>
<p style="margin-top:6px;margin-right:0px;margin-left:0px;display:inline;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
<br>
</p>
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)"></span>
<p style="margin-top:6px;margin-right:0px;margin-left:0px;display:inline;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
<br>
</p>
<span style="color:rgb(33,33,33);font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;font-size:15px;background-color:rgb(255,255,255)"></span>
<p style="margin-top:6px;margin-right:0px;margin-left:0px;display:inline;font-family:Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:14px;background-color:rgb(255,255,255)">
Cycling the UEs hasnt worked yet either......​<br>
</p>
<p><br>
</p>
<p><br>
</p>
<div id="m_-8548514631250607039Signature">
<div name="divtagdefaultwrapper">
<div style="font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;color:rgb(33,33,33);font-size:15px;margin:0px">
<font face="Times New Roman,serif" size="3"><span style="font-size:12pt"><font face="Calibri,sans-serif" size="2" color="#1F497D"><span style="font-size:11pt"><span class="m_-8548514631250607039highlight" name="searchHitInReadingPane" style="background-color:rgb(255,255,255)">Thanks</span></span></font></span></font></div>
<div style="margin:0px"><font color="#1f497d" face="Calibri, sans-serif"><span style="font-size:14.6667px;background-color:rgb(255,255,255)">Zak Rupas</span></font></div>
<div style="font-family:"Segoe UI","Segoe WP","Segoe UI WPC",Tahoma,Arial,sans-serif;color:rgb(33,33,33);font-size:15px;margin:0px">
<font face="Times New Roman,serif" size="3"><span style="font-size:12pt"><font face="Calibri,sans-serif" size="2" color="#1F497D"><span style="font-size:11pt;background-color:rgb(255,255,255)">Forethought.net</span></font></span></font></div>
</div>
</div>
</div>

<br>______________________________<wbr>_________________<br>
Outages mailing list<br>
<a href="mailto:Outages@outages.org">Outages@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages" rel="noreferrer" target="_blank">https://puck.nether.net/<wbr>mailman/listinfo/outages</a><br>
<br></blockquote></div></div>