Mike,<br><br>My two cents here, anyone in Operations who does not understand that s$%t happens and that any company can be taken down by a set of circumstances that they were not prepared for either does not really "work" in Operations or is just harping on this to take a shot at GoDaddy. I have seen "perfect storm" circumstances that set off long term outages that no one could have predicted. I respect that fact that you spoke out on this list and appreciate  what you could share and based on past and present experience believe that your teams did a good the public announcement and your comments on this list.<br>
<br>Thank You<br><br>Tony Pasqualini<br>Ops Director<br><br><div class="gmail_quote">On Fri, Oct 5, 2012 at 11:49 AM,  <span dir="ltr"><<a href="mailto:mdob@godaddy.com" target="_blank">mdob@godaddy.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Obviously the explanation of the incident had to be consumed by the general public, however we encountered an unknown bug that was found which started the domino effect. Aside from this group, that level of detail wouldn't be understood by a majority of the recipients.<br>


<br>
With that said, please feel free to take this off list with Jason or Myself.<br>
<br>
Mike Dob<br>
Manager, Network Engineering<br>
<div><br>
<br>
<br>
-------- Original Message--------<br>
Subject:: Re: [outages] Godaddy / Premium DNS outage?<br>
</div>From: ryanL <<a href="mailto:ryan.landry@gmail.com" target="_blank">ryan.landry@gmail.com</a>><br>
Date: Oct 5, 2012 11:32 AM<br>
To:: "Jason LeBlanc" <<a href="mailto:jleblanc@godaddy.com" target="_blank">jleblanc@godaddy.com</a>><br>
CC: <a href="mailto:outages@outages.org" target="_blank">outages@outages.org</a><br>
<br>
We encountered a new bug when we executed our change.<br>
<div><br>
<br>
-------- Original Message--------<br>
Subject:: Re: [outages] Godaddy / Premium DNS outage?<br>
</div><div><div>From: ryanL <<a href="mailto:ryan.landry@gmail.com" target="_blank">ryan.landry@gmail.com</a>><br>
Date: Oct 5, 2012 11:32 AM<br>
To:: "Jason LeBlanc" <<a href="mailto:jleblanc@godaddy.com" target="_blank">jleblanc@godaddy.com</a>><br>
CC: <a href="mailto:outages@outages.org" target="_blank">outages@outages.org</a><br>
<br>
so, redistributed eBGP into IGP? how does one 210x their routing table? i<br>
appreciate the openness, but it doesn't sound like a "perfect storm" to me.<br>
it sounds like someone screwed up.<br>
<br>
<br>
On Fri, Oct 5, 2012 at 10:18 AM, Jason LeBlanc <<a href="mailto:jleblanc@godaddy.com" target="_blank">jleblanc@godaddy.com</a>> wrote:<br>
<br>
> I made a commitment to get everyone on here the RFO.  Its presented in<br>
> layman's terms:<br>
><br>
> <a href="http://inside.godaddy.com/inside-story-happened-godaddy-com-sept-10-2012/" target="_blank">http://inside.godaddy.com/inside-story-happened-godaddy-com-sept-10-2012/</a><br>
><br>
> Regards,<br>
><br>
> Jason LeBlanc<br>
> Network Engineering<br>
> <a href="tel:%28480%29505-8800%20x7202" value="+14805058800" target="_blank">(480)505-8800 x7202</a><br>
><br>
><br>
> Please contact my direct supervisor <a href="mailto:mdob@godaddy.com" target="_blank">mdob@godaddy.com</a> with any feedback.<br>
><br>
</div></div><div><div>_______________________________________________<br>
Outages mailing list<br>
<a href="mailto:Outages@outages.org" target="_blank">Outages@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages" target="_blank">https://puck.nether.net/mailman/listinfo/outages</a><br>
<br>
<br>
_______________________________________________<br>
Outages mailing list<br>
<a href="mailto:Outages@outages.org" target="_blank">Outages@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages" target="_blank">https://puck.nether.net/mailman/listinfo/outages</a><br>
</div></div></blockquote></div><br>