googlebot - 是否可以让 fail2ban 忽略谷歌?

由于我的服务器上有很多攻击尝试,我需要使用 fail2ban,我还有必须激活/创建的过滤器来阻止攻击尝试。

但现在我很确定某些 google ip 最终进入了我的 fail2ban jail ......

我在 jail.local 文件的 ignoreip 指令中添加了一些 ip,但它们只是我在 access.log 中设法识别为真实 google ip 的那些(我也有很多假 google)

如果能够给 fail2ban 忽略的 ip 列表会很好,但是 google 不会发布它的 ip 列表,google 说:https://support.google.com/webmasters/answer/80553?hl=en

所以问题是:是否可以做一个反向 dns 来了解一个 ip 是否属于 google 并告诉 fail2ban 忽略它?

可以通过 fail2ban 完成吗?你需要任何外部脚本吗?对服务员来说会不会太重、太长、太累?

最佳答案

是的,您可以使用反向 IP 查找来识别谷歌机器人。 所有爬虫机器人都将以 xxxxxx.google.com 或 xxxxxxx.googlebot.com 结尾

for e.g. crawl-203-208-60-1.googlebot.com

但无法在 fail2ban 中识别,但一旦知道它是否是 Googlebot,您可以将 IP 地址列入白名单。

有很多方法可以执行反向 IP 查找。

您可以使用 Python、Ruby 或 bash 来找出答案。查看以下文章。

http://searchsignals.com/tutorials/reverse-dns-lookup/

有些网站可以通过反向 IP 查找找到您。

https://dnschecker.org/reverse-dns.php

http://reverseip.domaintools.com/

如果您可以使用 Python 编写代码,则可以轻松地将 IP 地址列表中的反向 IP 数据转储到文件中。

https://stackoverflow.com/questions/60627267/

相关文章:

image - Flutter web Image.network旋转图片

npm - 错误 : pngquant failed to build, 确保安装了 libpng-

vue.js - 元标记在 Nuxt.js 应用程序的页面源中无法正确显示

node.js - 找不到 NodeJS nodegui 模块

reactjs - 在 react-testing-library 中使用 getByRole 按可

react-native - React Native 风格 textDecorationLine

amazon-web-services - 如何让我的 Auth0 权限进入 AWS HTTP AP

python - 加载模型时没有 GPU 的机器上的 Cuda 驱动程序错误

typescript - 如何在 WebStorm/IntelliJ 中使用 ts-node 导入项

c++ - 这是带有 std::any 或 std::is_copy_constructible 的