<div dir="ltr"><div class="gmail-" style="font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:12px;white-space:pre-wrap"><div class="gmail-_1mf gmail-_1mj" style="font-family:inherit"><span style="font-family:inherit">Got this RFO second hand. Apparently someone fumbled the config for a single L3 customer BGP session. </span></div><div class="gmail-_1mf gmail-_1mj" style="direction:ltr;font-family:inherit"><span style="font-family:inherit"><br></span></div><div class="gmail-_1mf gmail-_1mj" style="direction:ltr;font-family:inherit"><span style="font-family:inherit">Root Cause: A configuration issue impacted IP services in various markets across the United States.</span></div></div><div class="gmail-" style="font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:12px;white-space:pre-wrap"><div class="gmail-_1mf gmail-_1mj" style="direction:ltr;font-family:inherit"><span style="font-family:inherit">Fix Action: The IP NOC reverted a policy change to restore services to a stable state.</span></div></div><div class="gmail-" style="font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:12px;white-space:pre-wrap"><div class="gmail-_1mf gmail-_1mj" style="direction:ltr;font-family:inherit"><span style="font-family:inherit">Summary: The IP NOC was informed of a significant client impact which seemed to originate on the east coast. The IP NOC began investigating, and soon discovered that the service impact was occurring in various markets across the United States. The issue was isolated to a policy change that was implemented to a single router in error while trying to configure an individual customer BGP. This policy change affected a major public peering session. The IP NOC reverted the policy change to restore services to a stable state.</span></div></div><div class="gmail-" style="font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:12px;white-space:pre-wrap"><div class="gmail-_1mf gmail-_1mj" style="direction:ltr;font-family:inherit"><span style="font-family:inherit">Corrective Actions: An extensive post analysis review will be conducted to </span><span style="font-family:inherit">evaluate preventative measures and corrective actions that can be implemented to prevent network impact of this magnitude. The individual responsible for this policy change has been identified.</span></div></div><div class="gmail-" style="font-family:'Helvetica Neue',Helvetica,Arial,sans-serif;color:rgb(29,33,41);font-size:12px;white-space:pre-wrap"><div class="gmail-_1mf gmail-_1mj" style="direction:ltr;font-family:inherit"><span style="font-family:inherit">This service impact has concluded; if additional issues are experienced, please contact the CenturyLink Technical Service Center. There may be additional analysis and discovery that occurs as the incident is reviewed by NOC management. Any available updates will be relayed upon event ticket closure. At that time, a customer satisfaction survey link may be available. We strive to provide thorough communications containing the available information during a service disruption. Please let us know if the updates you received during this event were satisfactory.</span></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 6, 2017 at 6:24 PM, Jay Ashworth via Outages <span dir="ltr"><<a href="mailto:outages@outages.org" target="_blank">outages@outages.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><a href="http://wrd.cm/2Ao2NdV" target="_blank">http://wrd.cm/2Ao2NdV</a><span class="HOEnZb"><font color="#888888"><br>
-- <br>
Sent from my Android device with K-9 Mail. Please excuse my brevity.</font></span><br>______________________________<wbr>_________________<br>
Outages mailing list<br>
<a href="mailto:Outages@outages.org">Outages@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages" rel="noreferrer" target="_blank">https://puck.nether.net/<wbr>mailman/listinfo/outages</a><br>
<br></blockquote></div><br></div>