<div dir="auto">Facebook is blowing up with 911 outages and claiming it's CenturyLink to blame.<br><br><div data-smartmail="gmail_signature">Josh Luthman<br>Office: 937-552-2340<br>Direct: 937-552-2343<br>1100 Wayne St<br>Suite 1337<br>Troy, OH 45373</div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Dec 28, 2018, 2:09 AM Erik Sundberg via Outages <<a href="mailto:outages@outages.org">outages@outages.org</a> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="m_-6266203021397562373WordSection1">
<p class="m_-6266203021397562373MsoPlainText">Maybe light at the end of the tunnel... <u></u><u></u></p>
<p class="m_-6266203021397562373MsoPlainText"><u></u> <u></u></p>
<p class="m_-6266203021397562373MsoPlainText">latest we got from Centurylink was at 10:45pm CST.<u></u><u></u></p>
<p class="m_-6266203021397562373MsoPlainText">Our engineers and technicians have identified the network element that has affected our customer services. Services are restoring, and the current estimated time for full recovery is four hours.<u></u><u></u></p>
<p class="m_-6266203021397562373MsoPlainText">CenturyLink will be conducting an extensive post-incident investigation and root cause analysis to provide follow-up information to our customers impacted by this event. We will provide one more Sales Alert from this address once services
 are fully restored.<u></u><u></u></p>
<p class="MsoNormal"><b><u></u> <u></u></b></p>
<p class="MsoNormal"><b><u></u> <u></u></b></p>
<p class="MsoNormal"><b><u></u> <u></u></b></p>
<p class="MsoNormal"><b>From:</b> Rich Breton <<a href="mailto:richdbreton@gmail.com" target="_blank" rel="noreferrer">richdbreton@gmail.com</a>> <br>
<b>Sent:</b> Thursday, December 27, 2018 2:59 PM<br>
<b>To:</b> Christopher Conley <<a href="mailto:CConley@forsmarshgroup.com" target="_blank" rel="noreferrer">CConley@forsmarshgroup.com</a>><br>
<b>Cc:</b> Erik Sundberg <<a href="mailto:ESundberg@nitelusa.com" target="_blank" rel="noreferrer">ESundberg@nitelusa.com</a>>; <a href="mailto:outages@outages.org" target="_blank" rel="noreferrer">outages@outages.org</a><br>
<b>Subject:</b> Re: [outages] CenturyLink Outages this morning<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal" style="margin-bottom:12.0pt">I understand that the transport waves went out first, and then they try to reroute to something in Arizona that begin introducing all of the broadcast traffic. How legit that is I’m not sure<u></u><u></u></p>
<div id="m_-6266203021397562373AppleMailSignature">
<p class="MsoNormal">Sent from my iPhone<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><br>
On Dec 27, 2018, at 12:58 PM, Christopher Conley via Outages <<a href="mailto:outages@outages.org" target="_blank" rel="noreferrer">outages@outages.org</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal">> Finally received something useful from centurylink… I have more questions now like how broadcast traffic effect 4x Transport waves.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Ineptitude.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Franklin Gothic Book",sans-serif;color:black">Christopher Conley</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Franklin Gothic Book",sans-serif;color:black">Systems Administrator |</span><span style="font-family:"Franklin Gothic Book",sans-serif"> 
<span style="color:#ff3d00">Fors Marsh Group</span></span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:"Franklin Gothic Book",sans-serif;color:black">Arlington, VA</span><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Outages <<a href="mailto:outages-bounces@outages.org" target="_blank" rel="noreferrer">outages-bounces@outages.org</a>>
<b>On Behalf Of </b>Erik Sundberg via Outages<br>
<b>Sent:</b> Thursday, December 27, 2018 2:46 PM<br>
<b>To:</b> <a href="mailto:outages@outages.org" target="_blank" rel="noreferrer">outages@outages.org</a><br>
<b>Subject:</b> Re: [outages] CenturyLink Outages this morning<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Finally received something useful from centurylink… I have more questions now like how broadcast traffic effect 4x Transport waves.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Update:<u></u><u></u></p>
<p class="MsoNormal">On December 27, 2018 at 02:40 GMT, CenturyLink identified a service impact in New Orleans, LA. The NOC is engaged and investigating in order to isolate the cause. Field Operations were engaged and dispatched for additional investigations.
 Tier IV Equipment Vendor Support was later engaged. During cooperative troubleshooting a device in San Antonio, TX was isolated from the network as it was seeming to broadcast traffic consuming capacity, which seemed to alleviate some impact. Investigations
 remained ongoing. Following the isolation of the San Antonio, TX device troubleshooting efforts focused on additional sites that teams were remotely unable to troubleshoot. Field Operations were dispatched to sites in Kansas City, MO, Atlanta, GA, New Orleans,
 LA and Chicago, IL. Tier IV Equipment Vendor Support continued to investigate the equipment logs to further assist with isolation. Once visibility was restored to the site in Kansas City, MO a filter was applied to the equipment to further alleviate the impact
 observed. All of the necessary troubleshooting teams in cooperation with Tier IV Equipment Vendor Support are working to restore remote visibility to the remaining sites at this time. We understand how important these services are to our clients and the issue
 has been escalated to the highest levels within CenturyLink Service Assurance Leadership.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Outages <<a href="mailto:outages-bounces@outages.org" target="_blank" rel="noreferrer">outages-bounces@outages.org</a>>
<b>On Behalf Of </b>Bruce Freshwater via Outages<br>
<b>Sent:</b> Thursday, December 27, 2018 1:24 PM<br>
<b>To:</b> <a href="mailto:outages@outages.org" target="_blank" rel="noreferrer">outages@outages.org</a><br>
<b>Subject:</b> Re: [outages] CenturyLink Outages this morning<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span style="font-family:"Arial",sans-serif;color:black">CenturyLink finally acknowledged:</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black">Great Lakes Region CenturyLink Partners/Agents:</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black">FYI. Our network is experiencing a disruption affecting customer services. Customers are currently unable to generate tickets through the Control Center portal.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black">We know how important these services are to our customers, and we are working to restore services as quickly as possible.</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black">Our technical teams are working to resolve the issue, and we will provide updates as the situation progresses. </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black"> </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span style="font-family:"Arial",sans-serif;color:black"> </span><u></u><u></u></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black">-bruce</span><u></u><u></u></p>
</div>
<p class="MsoNormal"><span style="font-family:"Arial",sans-serif;color:black"> </span><u></u><u></u></p>
</div>
<p class="MsoNormal" style="margin-bottom:12.0pt"> <u></u><u></u></p>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt">On Thu, Dec 27, 2018 at 10:16 AM -0500, "Erik Sundberg via Outages" <<a href="mailto:outages@outages.org" target="_blank" rel="noreferrer">outages@outages.org</a>> wrote:<u></u><u></u></p>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt">
<div>
<div id="m_-6266203021397562373divtagdefaultwrapper">
<p><span style="font-size:12.0pt;color:black">So it's a bad day for centurylink.</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black"> </span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black">The lady who answered the phone for there NOC said that we are having a nation wide outage and we are unable to open tickets at this time. Please call be in 60-90 mins.</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black"> </span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black">She had no info on what was going on</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black"> </span><u></u><u></u></p>
<div id="m_-6266203021397562373Signature">
<div id="m_-6266203021397562373divtagdefaultwrapper">
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma",sans-serif;color:black"> </span><u></u><u></u></p>
</div>
</div>
</div>
</div>
</div>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="3" width="98%" align="center">
</div>
<div id="m_-6266203021397562373divRplyFwdMsg">
<p class="MsoNormal"><b><span style="color:black">From:</span></b><span style="color:black"> Michael Bolton <<a href="mailto:mbolton@holmeselectricsecurity.com" target="_blank" rel="noreferrer">mbolton@holmeselectricsecurity.com</a>><br>
<b>Sent:</b> Thursday, December 27, 2018 8:55:03 AM<br>
<b>To:</b> Erik Sundberg; <a href="mailto:outages@outages.org" target="_blank" rel="noreferrer">outages@outages.org</a><br>
<b>Subject:</b> RE: CenturyLink Outages this morning</span> <u></u><u></u></p>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</div>
<div>
<div>
<p class="m_-6266203021397562373xmsonormal">Seeing the same in NC. Circuits are up but the routing between POPs has changed and we are seeing higher than normal latency.
<u></u><u></u></p>
<p class="m_-6266203021397562373xmsonormal"> <u></u><u></u></p>
<p class="m_-6266203021397562373xmsonormal">VoIP portal is down also. Allows you to login but you cannot make any changes or view any details.<u></u><u></u></p>
<p class="m_-6266203021397562373xmsonormal"> <u></u><u></u></p>
<div>
<p class="m_-6266203021397562373xmsonormal"> <u></u><u></u></p>
</div>
<p class="m_-6266203021397562373xmsonormal"> <u></u><u></u></p>
<div>
<div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="m_-6266203021397562373xmsonormal"><b>From:</b> Outages <<a href="mailto:outages-bounces@outages.org" target="_blank" rel="noreferrer">outages-bounces@outages.org</a>>
<b>On Behalf Of </b>Erik Sundberg via Outages<br>
<b>Sent:</b> Thursday, December 27, 2018 9:45 AM<br>
<b>To:</b> <a href="mailto:outages@outages.org" target="_blank" rel="noreferrer">outages@outages.org</a><br>
<b>Subject:</b> [outages] CenturyLink Outages this morning<u></u><u></u></p>
</div>
</div>
<p class="m_-6266203021397562373xmsonormal"> <u></u><u></u></p>
<p class="m_-6266203021397562373xmsonormal"> <u></u><u></u></p>
<div style="border:solid #9c6500 1.0pt;padding:2.0pt 2.0pt 2.0pt 2.0pt">
<p class="m_-6266203021397562373xmsonormal" style="line-height:12.0pt;background:#ffeb9c"><b><span style="font-size:10.0pt;color:#9c6500">CAUTION:</span></b><span style="font-size:10.0pt;color:black"> This email originated from outside of the organization. Do not click links or
 open attachments unless you recognize the sender and know the content is safe.</span><u></u><u></u></p>
</div>
<div>
<div id="m_-6266203021397562373x_divtagdefaultwrapper">
<p><span style="font-size:12.0pt;color:black">We are seeing a lot of centurylink circuits and services down this morning.</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black"> </span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black">Centurylink Control Center portal comes up but auth failing unable to login</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black"> </span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black">Waves down or bouncing </span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black">Denver - Seattle (Bouncing)</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black">Denver - Chicago (Bouncing)</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black">New York - Los Angeles (Down)</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black">Chicago - Atlanta (Down)</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black"><br>
ENNI Down in Denver (Down)</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black"> </span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black">Still tying to open tickets with them there portal is not working and stuck on hold right now.</span><u></u><u></u></p>
<p><span style="font-size:12.0pt;color:black"> </span><u></u><u></u></p>
</div>
<p class="m_-6266203021397562373xmsonormal"> <u></u><u></u></p>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="2" width="100%" align="center">
</div>
<p class="m_-6266203021397562373xmsonormal"><span style="font-size:7.5pt;font-family:"Arial",sans-serif;color:gray"><br>
CONFIDENTIALITY NOTICE: This e-mail transmission, and any documents, files or previous e-mail messages attached to it may contain confidential information that is legally privileged. If you are not the intended recipient, or a person responsible for delivering
 it to the intended recipient, you are hereby notified that any disclosure, copying, distribution or use of any of the information contained in or attached to this transmission is STRICTLY PROHIBITED. If you have received this transmission in error please notify
 the sender immediately by replying to this e-mail. You must destroy the original transmission and its attachments without reading or saving in any manner. Thank you.</span><u></u><u></u></p>
</div>
</div>
<p class="MsoNormal">IMPORTANT NOTICE: This e-mail message is intended to be received only by persons entitled to receive the confidential information it may contain. E-mail messages to clients of Holmes Security Systems may contain information that is confidential
 and legally privileged. Please do not read, copy, forward, or store this message unless you are an intended recipient of it. If you have received this message in error, please forward it to the sender and delete it completely from your computer system.
<u></u><u></u></p>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="3" width="100%" align="center">
</div>
<p class="MsoNormal"><span style="font-size:7.5pt;font-family:"Arial",sans-serif;color:gray"><br>
CONFIDENTIALITY NOTICE: This e-mail transmission, and any documents, files or previous e-mail messages attached to it may contain confidential information that is legally privileged. If you are not the intended recipient, or a person responsible for delivering
 it to the intended recipient, you are hereby notified that any disclosure, copying, distribution or use of any of the information contained in or attached to this transmission is STRICTLY PROHIBITED. If you have received this transmission in error please notify
 the sender immediately by replying to this e-mail. You must destroy the original transmission and its attachments without reading or saving in any manner. Thank you.</span><u></u><u></u></p>
</div>
</blockquote>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="2" width="100%" align="center">
</div>
<p class="MsoNormal"><span style="font-size:7.5pt;font-family:"Arial",sans-serif;color:gray"><br>
CONFIDENTIALITY NOTICE: This e-mail transmission, and any documents, files or previous e-mail messages attached to it may contain confidential information that is legally privileged. If you are not the intended recipient, or a person responsible for delivering
 it to the intended recipient, you are hereby notified that any disclosure, copying, distribution or use of any of the information contained in or attached to this transmission is STRICTLY PROHIBITED. If you have received this transmission in error please notify
 the sender immediately by replying to this e-mail. You must destroy the original transmission and its attachments without reading or saving in any manner. Thank you.</span><u></u><u></u></p>
</div>
</blockquote>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal">_______________________________________________<br>
Outages mailing list<br>
<a href="mailto:Outages@outages.org" target="_blank" rel="noreferrer">Outages@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages" target="_blank" rel="noreferrer">https://puck.nether.net/mailman/listinfo/outages</a><u></u><u></u></p>
</div>
</blockquote>
</div>
<br>
<hr>
<font face="Arial" color="Gray" size="1"><br>
CONFIDENTIALITY NOTICE: This e-mail transmission, and any documents, files or previous e-mail messages attached to it may contain confidential information that is legally privileged. If you are not the intended recipient, or a person responsible for delivering
 it to the intended recipient, you are hereby notified that any disclosure, copying, distribution or use of any of the information contained in or attached to this transmission is STRICTLY PROHIBITED. If you have received this transmission in error please notify
 the sender immediately by replying to this e-mail. You must destroy the original transmission and its attachments without reading or saving in any manner. Thank you.<br>
</font>
</div>

_______________________________________________<br>
Outages mailing list<br>
<a href="mailto:Outages@outages.org" target="_blank" rel="noreferrer">Outages@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages" rel="noreferrer noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/outages</a><br>
</blockquote></div>