当前位置:  操作系统/服务器>linux

apache禁止搜索引擎收录、网络爬虫采集的配置方法

    来源: 互联网  发布时间：2014-08-25

    本文导语:  Apache中禁止网络爬虫，之前设置了很多次的，但总是不起作用，原来是是写错了，不能写到Dirctory中，要写到Location中 代码如下: SetEnvIfNoCase User-Agent "spider" bad_bot BrowserMatchNoCase bingbot bad_bot BrowserMatchNoCase Googlebot bad_bot Order D...

Apache中禁止网络爬虫，之前设置了很多次的，但总是不起作用，原来是是写错了，不能写到Dirctory中，要写到Location中

代码如下:


SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬虫
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot

这是禁止了所有包含spider字符的爬虫。
如果要针对性的禁止爬虫，改成精确匹配的爬虫字符串，如果bingbot、Googlebot等等


    
 
 
 
本站(WWW.)旨在分享和传播互联网科技相关的资讯和技术，将尽最大努力为读者提供更好的信息聚合和浏览方式。
本站(WWW.)站内文章除注明原创外，均为转载、整理或搜集自网络。欢迎任何形式的转载，转载请注明出处。












  • 相关文章推荐
  • Apache如何启用gzip压缩
  • 想用APACHE做WEBSERVER，但不会用APACHE，请教。
  • Apache Hadoop 项目主页及介绍
  • apache日志文件总是空的，重起apache也没用。
  • 修改配置真正解决php文件上传大小限制问题(apache+php)
  • 安装完apache测试主页发现用的是系统自带的apache，该怎么办？
  • Apache hadoop当前各个版本说明
  • SUN OS5.8怎么没有make ,我想装APACHE2.0不知道怎么下手,原来的APACHE1.3有不知道怎么卸载
  • Windows下php 5.3.5和apache2安装配置及测试
  • 假设现在需要从网上下载的压缩包apache2，如何以dso模式安装在/home 目录的apache目录中，写出完整命令
  • Apache HTTP服务器2.4中的新功能概览
  • Apache 2.0 好像不支持Tomcat，我没看到哪位用 Apache 2.0 连接上 Tomcat 的
  • Apache HTTP Server(httpd)下载安装以及如何配置java(tomcat)和php详细介绍
  • linux下重装apache，却无法安装apache模块？
  • Apache默认是不支持SSI如何给Apache增加SSI支持
  • 我装了一个redhat9.0, 我如何卸载掉它原来的apache,然后重新装一个apache?
  • 请问TOMCAT和APACHE怎样结合使用呢？就像PHP和APACHE结合使用一样？
  • 真痛苦：resin装好了，Apache装好了(开始用pws改成Apache还是不行)，但就是不执行我的jsp，在Win98下面
  • 我连接apache和tomcat之后为什么apache不能启动？
  • 100分！tomcat4.0.4+Apache可以不用从新编译apache就可以集成tomcat吗？因为我看到:.....
  • 急！Ubuntu10.04 apache2和tomcat6 mod_jk 整合 实现apache2的代理问题


    • 站内导航:


    特别声明:169IT网站部分信息来自互联网,如果侵犯您的权利,请及时告知,本站将立即删除！

    ©2012-2021,,E-mail:www_#163.com(请将#改为@)

    浙ICP备11055608号-3