
<html xmlns="http://www.w3.org/1999/xhtml">

<head>

<title></title>

</head>

<body>

<div name="messageBodySection">

<div dir="auto">This belongs on the outages discussion list, NOT here. This is only for outages and the immediate outage info. If you don’t understand why, go ask on THAT list. </div>

</div>

<div name="messageSignatureSection"><br />

--<br />

Carlos Alvarez<br />

602-368-6403</div>

<div name="messageReplySection">On Mar 26, 2023 at 5:13 PM -0700, T.Suzuki via Outages <outages@outages.org>, wrote:<br />

<blockquote type="cite" style="border-left-color: grey; border-left-width: thin; border-left-style: solid; margin: 5px 5px;padding-left: 10px;">On Sun, 26 Mar 2023 08:35:29 -0700<br />

Hugo Slabbert <hugo@slabnet.com> wrote:<br />

<br />

<blockquote type="cite">What would be the symptoms here of a "water torture attack" rather than<br />

what John had indicated as a firewall failure in their infrastructure:<br />

<br />

<blockquote type="cite">Initial looks from the firewall team point to an automatic failover event<br /></blockquote>

and the secondary failed.<br />

<br />

And the symptoms of which lined up with network level info from Paul<br />

earlier:<br />

<br />

<blockquote type="cite">They only seem to have two auth nameservers for faa, both within the<br /></blockquote>

faa.gov domain. Don't seem to be anycasted and the 2 v4 and 2 v6 blocks the<br />

servers are in all die just within each block run by the FAA.<br />

<blockquote type="cite"><br />

Seems like an internal routing meltdown making the only 2 nameservers<br /></blockquote>

unreachable reliably.<br />

<br />

Are you saying that your open resolvers have a per client rate limit<br />

applied, that rate limit got tripped, and shortly thereafter the resolvers<br />

became unavailable, suggesting query floods for the domain(s) that knocked<br />

the resolvers offline (or from the other discussion, possibly was the thing<br />

that overwhelmed that firewall layer, causing the initial failover and<br />

possibly also causing the firewall secondary to fail to come online)?<br /></blockquote>

<br />

Yes. (limitting per client, and per second for all)<br />

Perhaps, large numbers open resolvers including no ratelimit are used.<br />

Then massive random subdomain queries caused the firewall symptoms.<br />

(It's only my guess.)<br />

<br />

<blockquote type="cite">On Sun, Mar 26, 2023, 01:13 T.Suzuki via Outages <outages@outages.org><br />

wrote:<br />

<br />

<blockquote type="cite">Hi, I'm a researcher of DNS vulnerabilities.<br />

<br />

It loos like random subdomain attacks (water tourtue attack).<br />

<br />

This is the data of my rate-limitted openresolver as a honeypot.<br />

http://www.e-ontap.com/dns/todaydowngov.txt<br />

http://www.e-ontap.com/dns/todaydown.txt<br />

(You can not view these page if you are using 8.8.8.8, sorry.)<br />

<br />

Raw logs of my Unbound (Time is JST)<br />

local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "SERVFAIL" | head<br />

-5<br />

Mar 26 12:00:35 unbound[48103:0] error: SERVFAIL <<br />

unnamed568.orphaned.faa.gov. A IN>: exceeded ratelimit for zone faa.gov.<br />

Mar 26 12:00:35 unbound[48103:0] reply: 24.199.82.210<br />

unnamed568.orphaned.faa.gov. A IN SERVFAIL 9.226781 0 45<br />

Mar 26 12:04:31 unbound[48103:0] error: SERVFAIL <amax.faa.gov. A IN>:<br />

exceeded ratelimit for zone faa.gov.<br />

Mar 26 12:04:31 unbound[48103:0] reply: 24.199.82.210 amax.faa.gov. A IN<br />

SERVFAIL 15.112813 0 30<br />

Mar 26 12:04:37 unbound[48103:0] error: SERVFAIL <dallatx.faa.gov. A IN>:<br />

exceeded ratelimit for zone faa.gov.<br />

local/etc/unbound%<br />

local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "all servers" |<br />

head -5<br />

Mar 26 12:05:26 unbound[48103:0] error: SERVFAIL <epoxy.faa.gov. A IN>:<br />

all servers for this domain failed, at zone faa.gov. from<br />

2620:74:27::2:30 no server to query nameserver addresses not usable<br />

Mar 26 12:05:27 unbound[48103:0] error: SERVFAIL <lyndas365project.faa.gov.<br />

A IN>: all servers for this domain failed, at zone faa.gov. no server to<br />

query nameserver addresses not usable<br />

Mar 26 12:05:28 unbound[48103:0] error: SERVFAIL <lmn.faa.gov. A IN>: all<br />

servers for this domain failed, at zone faa.gov. no server to query<br />

nameserver addresses not usable<br />

Mar 26 12:05:30 unbound[48103:0] error: SERVFAIL <host244.faa.gov. A IN>:<br />

all servers for this domain failed, at zone faa.gov. upstream server<br />

timeout<br />

Mar 26 12:05:33 unbound[48103:0] error: SERVFAIL <leased-line188.faa.gov.<br />

A IN>: all servers for this domain failed, at zone faa.gov. upstream<br />

server timeout<br />

local/etc/unbound%<br />

local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "all servers" |<br />

tail -5<br />

Mar 26 13:41:08 unbound[48103:0] error: SERVFAIL <asm.faa.gov. A IN>: all<br />

servers for this domain failed, at zone faa.gov. no server to query<br />

nameserver addresses not usable<br />

Mar 26 13:41:15 unbound[48103:0] error: SERVFAIL <sas-uss.edc.nas.faa.gov.<br />

A IN>: all servers for this domain failed, at zone faa.gov. no server to<br />

query nameserver addresses not usable<br />

Mar 26 13:41:22 unbound[48103:0] error: SERVFAIL <<br />

eforms-stagedev.hq.faa.gov. A IN>: all servers for this domain failed, at<br />

zone faa.gov. no server to query nameserver addresses not usable<br />

Mar 26 13:41:23 unbound[48103:0] error: SERVFAIL <<br />

faardm-mceast2.idrac.faa.gov. A IN>: all servers for this domain failed,<br />

at zone faa.gov. no server to query nameserver addresses not usable<br />

Mar 26 13:41:28 unbound[48103:0] error: SERVFAIL <chronos3.faa.gov. A<br />

IN>: all servers for this domain failed, at zone faa.gov. no server to<br />

query nameserver addresses not usable<br />

local/etc/unbound%<br />

local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "SERVFAIL" | tail<br />

-5<br />

Mar 26 13:41:22 unbound[48103:0] reply: 24.199.82.210<br />

eforms-stagedev.hq.faa.gov. A IN SERVFAIL 0.000000 0 44<br />

Mar 26 13:41:23 unbound[48103:0] error: SERVFAIL <<br />

faardm-mceast2.idrac.faa.gov. A IN>: all servers for this domain failed,<br />

at zone faa.gov. no server to query nameserver addresses not usable<br />

Mar 26 13:41:23 unbound[48103:0] reply: 24.199.82.210<br />

faardm-mceast2.idrac.faa.gov. A IN SERVFAIL 0.000000 0 46<br />

Mar 26 13:41:28 unbound[48103:0] error: SERVFAIL <chronos3.faa.gov. A<br />

IN>: all servers for this domain failed, at zone faa.gov. no server to<br />

query nameserver addresses not usable<br />

Mar 26 13:41:28 unbound[48103:0] reply: 24.199.82.210 chronos3.faa.gov. A<br />

IN SERVFAIL 0.000000 0 34<br />

local/etc/unbound%<br />

local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "all server" | wc<br />

-l<br />

1408<br />

<br />

--<br />

T.Suzuki<br />

--<br />

T.Suzuki / E.F.シューマッハーとI.イリイチを読もう<br />

_______________________________________________<br />

Outages mailing list<br />

Outages@outages.org<br />

https://puck.nether.net/mailman/listinfo/outages<br />

<br /></blockquote>

</blockquote>

<br />

<br />

--<br />

T.Suzuki / E.F.シューマッハーとI.イリイチを読もう<br />

_______________________________________________<br />

Outages mailing list<br />

Outages@outages.org<br />

https://puck.nether.net/mailman/listinfo/outages<br /></blockquote>

</div>

</body>

</html>