特别注意：在正式启用服务器安全策略之前，将负载均衡的ip地址加入FortiWeb的ip白名单中

使用场景：
网络爬虫是一种按照一定的规则，自动抓取Web网站信息的程序或脚本。但是网络中存在大量的恶意爬虫，恶意盗取目标网 站内容，甚至进行复制站点等恶意行为。FortiWeb基于User-agent，IP，客户端事件以及基于人工智能的人机识别技术精 准识别爬虫，对恶意爬虫进行阻断。针对常规搜索引擎爬虫，FortiWeb内置了百度、Google、搜狗等国内外常见的搜索引 擎信息，可以控制是否对搜索引擎这类善意爬虫进行拦截。

使用方法：
全面的反爬虫中包含两 脚本配置和机器学习
脚本配置：在AntiCrawler.txt全选所有内容（注意：包括文档末尾的空行）,SSH登陆成功登陆FortiWeb之后，右键黏贴即可。
机器学习：按照“基于机器学习的机器人识别基础模型库快速使用方法.pdf”过程进行操作