<div dir="auto"><div dir="auto">What would be the symptoms here of a "water torture attack" rather than what John had indicated as a firewall failure in their infrastructure:<div dir="auto"><br></div><div dir="auto">> Initial looks from the firewall team point to an automatic failover event and the secondary failed.</div><div dir="auto"><br></div><div dir="auto">And the symptoms of which lined up with network level info from Paul earlier:</div><div dir="auto"><br></div><div dir="auto">> They only seem to have two auth nameservers for faa, both within the <a href="http://faa.gov">faa.gov</a> domain. Don't seem to be anycasted and the 2 v4 and 2 v6 blocks the servers are in all die just within each block run by the FAA.</div><div dir="auto">> </div><div dir="auto">> Seems like an internal routing meltdown making the only 2 nameservers unreachable reliably.</div><div dir="auto"><br></div><div dir="auto">Are you saying that your open resolvers have a per client rate limit applied, that rate limit got tripped, and shortly thereafter the resolvers became unavailable, suggesting query floods for the domain(s) that knocked the resolvers offline (or from the other discussion, possibly was the thing that overwhelmed that firewall layer, causing the initial failover and possibly also causing the firewall secondary to fail to come online)?</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Mar 26, 2023, 01:13 T.Suzuki via Outages <<a href="mailto:outages@outages.org" rel="noreferrer noreferrer" target="_blank">outages@outages.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi, I'm a researcher of DNS vulnerabilities.<br>
<br>
It loos like random subdomain attacks (water tourtue attack).<br>
<br>
This is the data of my rate-limitted openresolver as a honeypot.<br>
<a href="http://www.e-ontap.com/dns/todaydowngov.txt" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">http://www.e-ontap.com/dns/todaydowngov.txt</a><br>
<a href="http://www.e-ontap.com/dns/todaydown.txt" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">http://www.e-ontap.com/dns/todaydown.txt</a><br>
(You can not view these page if you are using 8.8.8.8, sorry.)<br>
<br>
Raw logs of my Unbound (Time is JST)<br>
local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "SERVFAIL" | head -5<br>
Mar 26 12:00:35 unbound[48103:0] error: SERVFAIL <<a href="http://unnamed568.orphaned.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">unnamed568.orphaned.faa.gov</a>. A IN>: exceeded ratelimit for zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>.<br>
Mar 26 12:00:35 unbound[48103:0] reply: 24.199.82.210 <a href="http://unnamed568.orphaned.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">unnamed568.orphaned.faa.gov</a>. A IN SERVFAIL 9.226781 0 45<br>
Mar 26 12:04:31 unbound[48103:0] error: SERVFAIL <<a href="http://amax.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">amax.faa.gov</a>. A IN>: exceeded ratelimit for zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>.<br>
Mar 26 12:04:31 unbound[48103:0] reply: 24.199.82.210 <a href="http://amax.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">amax.faa.gov</a>. A IN SERVFAIL 15.112813 0 30<br>
Mar 26 12:04:37 unbound[48103:0] error: SERVFAIL <<a href="http://dallatx.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">dallatx.faa.gov</a>. A IN>: exceeded ratelimit for zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>.<br>
local/etc/unbound%<br>
local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "all servers" | head -5<br>
Mar 26 12:05:26 unbound[48103:0] error: SERVFAIL <<a href="http://epoxy.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">epoxy.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. from 2620:74:27::2:30 no server to query nameserver addresses not usable<br>
Mar 26 12:05:27 unbound[48103:0] error: SERVFAIL <<a href="http://lyndas365project.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">lyndas365project.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. no server to query nameserver addresses not usable<br>
Mar 26 12:05:28 unbound[48103:0] error: SERVFAIL <<a href="http://lmn.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">lmn.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. no server to query nameserver addresses not usable<br>
Mar 26 12:05:30 unbound[48103:0] error: SERVFAIL <<a href="http://host244.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">host244.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. upstream server timeout<br>
Mar 26 12:05:33 unbound[48103:0] error: SERVFAIL <<a href="http://leased-line188.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">leased-line188.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. upstream server timeout<br>
local/etc/unbound% <br>
local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "all servers" | tail -5<br>
Mar 26 13:41:08 unbound[48103:0] error: SERVFAIL <<a href="http://asm.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">asm.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. no server to query nameserver addresses not usable<br>
Mar 26 13:41:15 unbound[48103:0] error: SERVFAIL <<a href="http://sas-uss.edc.nas.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">sas-uss.edc.nas.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. no server to query nameserver addresses not usable<br>
Mar 26 13:41:22 unbound[48103:0] error: SERVFAIL <<a href="http://eforms-stagedev.hq.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">eforms-stagedev.hq.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. no server to query nameserver addresses not usable<br>
Mar 26 13:41:23 unbound[48103:0] error: SERVFAIL <<a href="http://faardm-mceast2.idrac.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faardm-mceast2.idrac.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. no server to query nameserver addresses not usable<br>
Mar 26 13:41:28 unbound[48103:0] error: SERVFAIL <<a href="http://chronos3.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">chronos3.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. no server to query nameserver addresses not usable<br>
local/etc/unbound%<br>
local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "SERVFAIL" | tail -5<br>
Mar 26 13:41:22 unbound[48103:0] reply: 24.199.82.210 <a href="http://eforms-stagedev.hq.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">eforms-stagedev.hq.faa.gov</a>. A IN SERVFAIL 0.000000 0 44<br>
Mar 26 13:41:23 unbound[48103:0] error: SERVFAIL <<a href="http://faardm-mceast2.idrac.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faardm-mceast2.idrac.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. no server to query nameserver addresses not usable<br>
Mar 26 13:41:23 unbound[48103:0] reply: 24.199.82.210 <a href="http://faardm-mceast2.idrac.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faardm-mceast2.idrac.faa.gov</a>. A IN SERVFAIL 0.000000 0 46<br>
Mar 26 13:41:28 unbound[48103:0] error: SERVFAIL <<a href="http://chronos3.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">chronos3.faa.gov</a>. A IN>: all servers for this domain failed, at zone <a href="http://faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">faa.gov</a>. no server to query nameserver addresses not usable<br>
Mar 26 13:41:28 unbound[48103:0] reply: 24.199.82.210 <a href="http://chronos3.faa.gov" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">chronos3.faa.gov</a>. A IN SERVFAIL 0.000000 0 34<br>
local/etc/unbound% <br>
local/etc/unbound% grep "\.faa\.gov" unbound.log | grep "all server" | wc -l<br>
    1408<br>
<br>
-- <br>
T.Suzuki<br>
-- <br>
T.Suzuki / E.F.シューマッハーとI.イリイチを読もう<br>
_______________________________________________<br>
Outages mailing list<br>
<a href="mailto:Outages@outages.org" rel="noreferrer noreferrer noreferrer" target="_blank">Outages@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/outages</a><br>
</blockquote></div></div>