<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<style>
<!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Tahoma;
panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
{font-family:Consolas;
panose-1:2 11 6 9 2 2 4 3 2 4;}
@font-face
{font-family:terminal;
panose-1:0 0 0 0 0 0 0 0 0 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
pre
{mso-style-priority:99;
mso-style-link:"HTML Preformatted Char";
margin:0in;
margin-bottom:.0001pt;
font-size:10.0pt;
font-family:"Courier New";}
span.HTMLPreformattedChar
{mso-style-name:"HTML Preformatted Char";
mso-style-priority:99;
mso-style-link:"HTML Preformatted";
font-family:Consolas;}
span.EmailStyle19
{mso-style-type:personal-reply;
font-family:"Calibri","sans-serif";
color:#1F497D;}
.MsoChpDefault
{mso-style-type:export-only;}
@page Section1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.Section1
{page:Section1;}
-->
</style>
<!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang=EN-US link=blue vlink=purple>
<div class=Section1>
<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>We have TOTAL failure on our level 3 voice ckts. T1’s down since
0900<o:p></o:p></span></p>
<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p> </o:p></span></p>
<div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in'>
<p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span
style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>
outages-bounces@outages.org [mailto:outages-bounces@outages.org] <b>On Behalf
Of </b>Dan Stralka<br>
<b>Sent:</b> Wednesday, August 15, 2012 11:15 AM<br>
<b>To:</b> outages@outages.org<br>
<b>Subject:</b> [outages] Level 3 Problems<o:p></o:p></span></p>
</div>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Seeing high latency on Level 3 out of northern New Jersey.
We saw very slow website loads across many sites and a few page timeouts.
We also see high latency between our Abovenet circuit and Level 3 where
they peer. Level 3 tech support confirms latency problems and did say a lot of
customers are calling about this. See traceroutes below:<o:p></o:p></p>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal>Level 3 Router:<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<div>
<p class=MsoNormal>Type escape sequence to abort.<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal>Tracing the route to <a href="http://france.com">france.com</a>
(96.126.117.104)<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal>VRF info: (vrf in name/id, vrf out name/id)<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 1 159.63.23.213 1 msec 1 msec 1 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 2 64.215.195.230 [AS 3549] 100 msec 103 msec 114 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 3 <a href="http://ae-4-90.edge3.NewYork1.Level3.net">ae-4-90.edge3.NewYork1.Level3.net</a>
(4.69.155.209) [AS 3356] 49 msec 38 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://ae-3-80.edge3.NewYork1.Level3.net">ae-3-80.edge3.NewYork1.Level3.net</a>
(4.69.155.145) [AS 3356] 35 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 4 <a
href="http://te2-5.bbr01.tl01.nyc01.networklayer.com">te2-5.bbr01.tl01.nyc01.networklayer.com</a>
(4.26.34.22) [AS 3356] 99 msec 97 msec 98 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 5 <a
href="http://ae1.bbr01.eq01.chi01.networklayer.com">ae1.bbr01.eq01.chi01.networklayer.com</a>
(173.192.18.132) [AS 36351] [MPLS: Label 348745 Exp 0] 119 msec * 119
msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 6 <a
href="http://ae20.bbr01.eq01.dal03.networklayer.com">ae20.bbr01.eq01.dal03.networklayer.com</a>
(173.192.18.136) [AS 36351] 77 msec 76 msec 128 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 7 <a href="http://po31.dsr01.dllstx3.networklayer.com">po31.dsr01.dllstx3.networklayer.com</a>
(173.192.18.225) [AS 36351] 76 msec 79 msec 80 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 8 <a
href="http://te2-4.dsr01.dllstx2.networklayer.com">te2-4.dsr01.dllstx2.networklayer.com</a>
(70.87.255.110) [AS 21844] [MPLS: Label 991 Exp 0] 73 msec 69 msec 72 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 9 <a href="http://po1.car01.dllstx2.networklayer.com">po1.car01.dllstx2.networklayer.com</a>
(70.87.254.74) [AS 21844] 76 msec 76 msec 82 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 10 <a href="http://router1-dal.linode.com">router1-dal.linode.com</a>
(67.18.7.90) [AS 21844] 137 msec 142 msec *<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<div>
<p class=MsoNormal>NJASR1#trace 4.69.151.49<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal>Type escape sequence to abort.<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal>Tracing the route to <a
href="http://ge-7-15-19.car1.Atlanta1.Level3.net">ge-7-15-19.car1.Atlanta1.Level3.net</a>
(4.69.151.49)<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal>VRF info: (vrf in name/id, vrf out name/id)<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 1 159.63.23.213 1 msec 1 msec 1 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 2 64.215.195.230 [AS 3549] 94 msec * *<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 3 <a href="http://vlan60.csw1.NewYork1.Level3.net">vlan60.csw1.NewYork1.Level3.net</a>
(4.69.155.62) [AS 3356] 34 msec * 36 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 4 <a href="http://ae-71-71.ebr1.NewYork1.Level3.net">ae-71-71.ebr1.NewYork1.Level3.net</a>
(4.69.134.69) [AS 3356] 30 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://ae-61-61.ebr1.NewYork1.Level3.net">ae-61-61.ebr1.NewYork1.Level3.net</a>
(4.69.134.65) [AS 3356] 100 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://ae-71-71.ebr1.NewYork1.Level3.net">ae-71-71.ebr1.NewYork1.Level3.net</a>
(4.69.134.69) [AS 3356] 34 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 5 *<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://ae-10-10.ebr2.Washington12.Level3.net">ae-10-10.ebr2.Washington12.Level3.net</a>
(4.69.148.50) [AS 3356] 36 msec 46 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 6 *<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://ae-1-100.ebr1.Washington12.Level3.net">ae-1-100.ebr1.Washington12.Level3.net</a>
(4.69.143.213) [AS 3356] 122 msec 108 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 7 <a href="http://ae-6-6.ebr1.Atlanta2.Level3.net">ae-6-6.ebr1.Atlanta2.Level3.net</a>
(4.69.148.105) [AS 3356] 132 msec * *<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 8 <a href="http://ae-11-51.car1.Atlanta1.Level3.net">ae-11-51.car1.Atlanta1.Level3.net</a>
(4.69.150.3) [AS 3356] 23 msec * 23 msec<o:p></o:p></p>
</div>
</div>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal>Abovenet (for comparison):<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<div>
<p class=MsoNormal>Type escape sequence to abort.<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal>Tracing the route to <a href="http://france.com">france.com</a>
(96.126.117.104)<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal> 1 209.66.88.145 1 msec 1 msec 1 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 2 <a href="http://xe-4-1-0.cr1.lga5.us.above.net">xe-4-1-0.cr1.lga5.us.above.net</a>
(64.125.31.170) [AS 6461] [MPLS: Label 677655 Exp 0] 1 msec 1 msec 1 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 3 <a href="http://xe-1-0-1.er3.lga5.us.above.net">xe-1-0-1.er3.lga5.us.above.net</a>
(64.125.24.165) [AS 6461] 1 msec 1 msec 1 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 4 <a href="http://above-ntt-2.lga5.us.above.net">above-ntt-2.lga5.us.above.net</a>
(64.125.13.182) [AS 6461] 1 msec 1 msec 1 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 5 <a href="http://ae-3.r05.nycmny01.us.bb.gin.ntt.net">ae-3.r05.nycmny01.us.bb.gin.ntt.net</a>
(129.250.4.204) [AS 2914] 2 msec 1 msec 2 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 6 <a
href="http://xe-1-0-0.bbr01.tl01.nyc01.networklayer.com">xe-1-0-0.bbr01.tl01.nyc01.networklayer.com</a>
(165.254.16.2) [AS 2914] 1 msec 1 msec 1 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 7 <a
href="http://ae7.bbr02.tl01.nyc01.networklayer.com">ae7.bbr02.tl01.nyc01.networklayer.com</a>
(173.192.18.177) [AS 36351] [MPLS: Label 400085 Exp 0] 1 msec 2 msec 1 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 8 <a
href="http://ae1.bbr01.eq01.chi01.networklayer.com">ae1.bbr01.eq01.chi01.networklayer.com</a>
(173.192.18.132) [AS 36351] [MPLS: Label 347833 Exp 0] 20 msec 40 msec 34 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 9 <a
href="http://ae20.bbr01.eq01.dal03.networklayer.com">ae20.bbr01.eq01.dal03.networklayer.com</a>
(173.192.18.136) [AS 36351] 44 msec 42 msec 45 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 10 <a href="http://po31.dsr02.dllstx3.networklayer.com">po31.dsr02.dllstx3.networklayer.com</a>
(173.192.18.227) [AS 36351] 42 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://po31.dsr01.dllstx3.networklayer.com">po31.dsr01.dllstx3.networklayer.com</a>
(173.192.18.225) [AS 36351] 40 msec 41 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 11 <a
href="http://te2-4.dsr02.dllstx2.networklayer.com">te2-4.dsr02.dllstx2.networklayer.com</a>
(70.87.255.126) [AS 21844] [MPLS: Label 504 Exp 0] 45 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://te2-4.dsr01.dllstx2.networklayer.com">te2-4.dsr01.dllstx2.networklayer.com</a>
(70.87.255.110) [AS 21844] [MPLS: Label 991 Exp 0] 44 msec 40 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 12 <a href="http://po2.car01.dllstx2.networklayer.com">po2.car01.dllstx2.networklayer.com</a>
(70.87.254.78) [AS 21844] 40 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://po1.car01.dllstx2.networklayer.com">po1.car01.dllstx2.networklayer.com</a>
(70.87.254.74) [AS 21844] 44 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://po2.car01.dllstx2.networklayer.com">po2.car01.dllstx2.networklayer.com</a>
(70.87.254.78) [AS 21844] 43 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 13 <a href="http://router1-dal.linode.com">router1-dal.linode.com</a>
(67.18.7.90) [AS 21844] 42 msec 41 msec 44 msec<o:p></o:p></p>
</div>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<div>
<p class=MsoNormal>Tracing the route to <a
href="http://ge-7-15-19.car1.Atlanta1.Level3.net">ge-7-15-19.car1.Atlanta1.Level3.net</a>
(4.69.151.49)<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal> 1 66.6.235.11 2 msec 2 msec 2 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 2 209.66.88.149 [AS 6461] 2 msec 1 msec 2 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 3 <a href="http://xe-3-3-0.cr2.lga5.us.above.net">xe-3-3-0.cr2.lga5.us.above.net</a>
(64.125.28.218) [AS 6461] [MPLS: Label 769773 Exp 0] 2 msec 2 msec 1 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 4 <a href="http://xe-2-2-0.cr2.dca2.us.above.net">xe-2-2-0.cr2.dca2.us.above.net</a>
(64.125.26.105) [AS 6461] [MPLS: Label 590170 Exp 0] 47 msec 6 msec 6 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 5 <a href="http://xe-1-0-1.er2.iad10.us.above.net">xe-1-0-1.er2.iad10.us.above.net</a>
(64.125.26.242) [AS 6461] 6 msec 7 msec 7 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 6 <a href="http://above-level3.iad10.us.above.net">above-level3.iad10.us.above.net</a>
(64.125.13.234) [AS 6461] 33 msec 32 msec 32 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 7 <a href="http://vlan60.csw1.Washington1.Level3.net">vlan60.csw1.Washington1.Level3.net</a>
(4.69.149.62) [AS 3356] 105 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://vlan70.csw2.Washington1.Level3.net">vlan70.csw2.Washington1.Level3.net</a>
(4.69.149.126) [AS 3356] 45 msec *<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 8 <a
href="http://ae-61-61.ebr1.Washington1.Level3.net">ae-61-61.ebr1.Washington1.Level3.net</a>
(4.69.134.129) [AS 3356] 31 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://ae-81-81.ebr1.Washington1.Level3.net">ae-81-81.ebr1.Washington1.Level3.net</a>
(4.69.134.137) [AS 3356] 20 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://ae-71-71.ebr1.Washington1.Level3.net">ae-71-71.ebr1.Washington1.Level3.net</a>
(4.69.134.133) [AS 3356] 26 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 9 <a href="http://ae-2-2.ebr3.Atlanta2.Level3.net">ae-2-2.ebr3.Atlanta2.Level3.net</a>
(4.69.132.85) [AS 3356] 51 msec 51 msec 50 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 10 4.69.148.242 [AS 3356] 125 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> <a
href="http://ae-73-73.ebr2.Atlanta2.Level3.net">ae-73-73.ebr2.Atlanta2.Level3.net</a>
(4.69.148.254) [AS 3356] 53 msec 48 msec<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal> 11 <a href="http://ae-11-51.car1.Atlanta1.Level3.net">ae-11-51.car1.Atlanta1.Level3.net</a>
(4.69.150.3) [AS 3356] 61 msec * 44 msec<o:p></o:p></p>
</div>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal>Looking glass trace from Level 3:<o:p></o:p></p>
</div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div><pre><span style='font-size:7.5pt;font-family:"terminal","serif";
color:black'> 1 <a href="http://ge-6-17-17.car1.Atlanta1.Level3.net">ge-6-17-17.car1.Atlanta1.Level3.net</a> (4.69.151.45) 12 msec<o:p></o:p></span></pre><pre><span
style='font-size:7.5pt;font-family:"terminal","serif";color:black'> <a
href="http://ge-6-13-18.car2.Atlanta1.Level3.net">ge-6-13-18.car2.Atlanta1.Level3.net</a> (4.69.151.73) 16 msec<o:p></o:p></span></pre><pre><span
style='font-size:7.5pt;font-family:"terminal","serif";color:black'> <a
href="http://ge-6-17-17.car1.Atlanta1.Level3.net">ge-6-17-17.car1.Atlanta1.Level3.net</a> (4.69.151.45) 12 msec<o:p></o:p></span></pre><pre><span
style='font-size:7.5pt;font-family:"terminal","serif";color:black'> 2 <a
href="http://ae-2-52.edge5.Atlanta2.Level3.net">ae-2-52.edge5.Atlanta2.Level3.net</a> (4.69.150.78) 28 msec * * <o:p></o:p></span></pre><pre><span
style='font-size:7.5pt;font-family:"terminal","serif";color:black'> 3 64.208.27.209 [AS3549 {GBLX}] 12 msec 12 msec 16 msec<o:p></o:p></span></pre><pre><span
style='font-size:7.5pt;font-family:"terminal","serif";color:black'> 4 67.16.131.134 [AS3549 {GBLX}] 60 msec 64 msec<o:p></o:p></span></pre><pre><span
style='font-size:7.5pt;font-family:"terminal","serif";color:black'> <a
href="http://pos3-0-0-2488M.asr1.JFK1.gblx.net">pos3-0-0-2488M.asr1.JFK1.gblx.net</a> (67.16.131.138) [AS3549 {GBLX}] 128 msec<o:p></o:p></span></pre><pre><span
style='font-size:7.5pt;font-family:"terminal","serif";color:black'> 5 159.63.23.214 [AS3549 {GBLX}] 64 msec 60 msec 128 msec<o:p></o:p></span></pre><pre><span
style='font-size:7.5pt;font-family:"terminal","serif";color:black'> 6 * * <o:p></o:p></span></pre><pre><span
style='font-size:7.5pt;font-family:"terminal","serif";color:black'> 66.6.224.47 [AS40073 {NBA-ASN-USA}] !filtered </span><o:p></o:p></pre></div>
<div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
<div>
<p class=MsoNormal><span style='font-size:7.5pt;color:silver'>-- Webmail</span><o:p></o:p></p>
</div>
<p class=MsoNormal><o:p> </o:p></p>
</div>
</div>
</body>
</html>