禁止任何形式的违法内容,如发现将强制停止其使用权,并提交至有关部门进行处理。
  • 首 页
  • 当前位置:首页 » 帮助中心 » linux主机使用htaccess屏蔽垃圾蜘蛛方式

    linux主机使用htaccess屏蔽垃圾蜘蛛方式

    对于大量的不良垃圾蜘蛛抓取网站内容,浪费流量的行为,使用我司linux主机的用户可以在网站根目录下面建立一个 .htaccess文件对其进行屏蔽.

     

    规则如下.

    RewriteEngine on

    RewriteCond %{HTTP_USER_AGENT} "Bingbot|MSNbot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu" [NC]
    RewriteRule ^(.*)$ http://127.0.0.1/$1 [R=301,L]

     

     

    此外,对于已经建立过.htaccess的客户,只需要添加以下的内容即可.

    RewriteCond %{HTTP_USER_AGENT} "Bingbot|MSNbot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu" [NC]
    RewriteRule ^(.*)$ http://127.0.0.1/$1 [R=301,L]

    阅读次数: 5543      发布日期:2015-10-31      【关闭窗口
    综合业务
    业务咨询
     320005869  320005868  537076877
     320005874  320005878  320005871
     537076875  76015525  537077365
     860803591  537076876  320005876
    因版面限制,以上为部分售前客服专员,点击 查看更多
    业务相关,请咨询售前客服专员。
    售后支持
     9678710  79666106
    售后以及技术性相关问题,请咨询售后技术。
    投诉/合作
    杨经理:  860910552
    赵经理:  77169016
    处理:投诉、意见建议。
    赵经理:  77169016
    处理:大客户,渠道合作,商务合作。