<div dir="ltr"><br><div><br></div><div>At $PREVIOUS_EMPLOYER, we had good success with increasing the size of our external NAT pools, spreading the requests over a larger swath of IP space.</div><div><br></div><div>Have you looked at the flow stats coming from the external side of your NAT devices to see how many connections per second each IP in the pool is making to Google, and correlating that with which client machines on the inside are making the requests, to make sure there's no inappropriate software running that may be generating more requests than you would otherwise anticipate?</div><div><br></div><div>Sometimes the sorry page is a reasonable canary in the coal mine, indicating someone's doing something internally that they shouldn't really be doing.</div><div><br></div><div>Best of luck!</div><div><br></div><div>Matt</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jun 28, 2020 at 4:55 PM Chapman, Brad (NBCUniversal) <<a href="mailto:Brad.Chapman@nbcuni.com">Brad.Chapman@nbcuni.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">Greetings Outages-Discussion,<br>
<br>
I hope you are all having a pleasant Sunday afternoon / evening with no P1 / SevA / 4-alarm fires caused by a violation of Read-only Friday.  <br>
<br>
Given the number of sysadmins and telecom / network engineers on this list, I am guessing that we have seen (or been asked to explain) the Google “Sorry” page.<br>
<br>
Occasionally, our company gets a burst of calls about this issue, until the lockout expires on Google’s side.   We manage >50,000 computers so even short lockouts can generate dozens of calls.  <br>
<br>
Has anyone ever approached Google’s NOC team to request an exemption from the Sorry page for their busiest external IP addresses? Or, if not a blanket exemption, to request an increase in the threshold before it is tripped?<br>
<br>
Hope you’re all staying safe.<br>
<br>
Cheers,<br>
Brad Chapman<br>
NBCUniversal<br>
<br>
—Sent from my iPhone<br>
_______________________________________________<br>
Outages-discussion mailing list<br>
<a href="mailto:Outages-discussion@outages.org" target="_blank">Outages-discussion@outages.org</a><br>
<a href="https://puck.nether.net/mailman/listinfo/outages-discussion" rel="noreferrer" target="_blank">https://puck.nether.net/mailman/listinfo/outages-discussion</a><br>
<br>
</blockquote></div>