<p>We are done with this.  Please drop this topic from the list.</p>
<p>Josh Luthman<br>
Office: 937-552-2340<br>
Direct: 937-552-2343<br>
1100 Wayne St<br>
Suite 1337<br>
Troy, OH 45373</p>
<div class="gmail_quote">On Sep 23, 2011 9:36 PM, "kevin kelley" <<a href="mailto:xirin6@yahoo.com">xirin6@yahoo.com</a>> wrote:<br type="attribution">> Sorry I was interested in outages not Jays mistakes. I really just need a site that reports outages as it effects business and not the details on how Jay fixed his issues.<br>
>  <br>> <br>> From: Jay Ashworth <<a href="mailto:jra@baylink.com">jra@baylink.com</a>><br>> To: <a href="mailto:outages@outages.org">outages@outages.org</a><br>> Sent: Friday, September 23, 2011 7:17 PM<br>
> Subject: [outages] Lessons Learned: RRTB outage<br>> <br>> So I had to renumber some servers this afternoon, cause I was expanding to <br>> a larger netblock (a 28 instead of a 29).<br>> <br>> I renumbered my servers and my DNS (which I'd set the TTL on to 300 like a<br>
> good boy on Wednesday), and then pulled the trigger with Road Runner.  He<br>> "rescripted" his SMC router (the likely cause of some standard deviation noted<br>> by a couple of reporters -- the router, not the rescripting), and I pinged<br>
> it and it was ok, and I mtr'd it and it was ok, so I hit the webserver,<br>> and that came up fine, too.<br>> <br>> So then my boss calls me 15 minutes later: it's not working.<br>> <br>> "I wonder what that could be", sez I; I'd even traced and hit the webserver<br>
> from my Android phone (Sprint; Opera Mobile 11), and it had worked fine.<br>> <br>> That was Red Herring #1.<br>> <br>> So my boss uses a Mac.  So does my best friend, and while he was on the way<br>> out the door to a second-anniversary-wake for a guy we went to school with,<br>
> he took a moment to try to hit it as well.  No luck.<br>> <br>> That was Red Herring #2 (both of them use Macs).<br>> <br>> Those of you who've been playing close, careful attention here may have<br>> noticed by now the thing I did *not* say I'd done: <br>
> <br>> Changing the default gateway on the server.<br>> <br>> My office lan could hit it *because its uplink was in the same network*;<br>> *it* had a route for that network.  Everyone else... couldn't.<br>
> <br>> Apparently, Sprint operates a caching server, even if you're using the <br>> version of Opera (Mobile, not Mini) that does *not*, which explains Red<br>> Herring #1.<br>> <br>> As for Red Herring #2, well... Macs don't, apparently, hard-cache IPs the<br>
> way WinXP does (I'm looking at *you*, "ipconfig/ flushdns"), but I already<br>> knew that, because boss had the right address.<br>> <br>> Lesson Learned: Make sure you know what your diagnostic tests are telling <br>
> you, before you use them to rule out possible problems.  Better yet: don't<br>> rule those potential problems out at all: work your whole diagnostic tree<br>> every time<br>> <br>> Oh: I forgot Red Herring #3: the traces that broke *didn't hit that carrier<br>
> edge router* for some reason.  No clue why.<br>> <br>> Thanks to the dozen or so people who responded; a couple of whom have<br>> way too {much time,many servers} on their hands.  :-)<br>> <br>> Followups to -discuss<br>
> <br>> Cheers,<br>> -- jra<br>> -- <br>> Jay R. Ashworth                  Baylink                      <a href="mailto:jra@baylink.com">jra@baylink.com</a><br>> Designer                    The Things I Think                      RFC 2100<br>
> Ashworth & Associates    <a href="http://baylink.pitas.com">http://baylink.pitas.com</a>        2000 Land Rover DII<br>> St Petersburg FL USA      <a href="http://photo.imageinc.us">http://photo.imageinc.us</a>            +1 727 647 1274<br>
> _______________________________________________<br>> Outages mailing list<br>> <a href="mailto:Outages@outages.org">Outages@outages.org</a><br>> <a href="https://puck.nether.net/mailman/listinfo/outages">https://puck.nether.net/mailman/listinfo/outages</a><br>
</div>