在线客服与您一对一交流
当前位置: 主页 > 行业新闻 > IT技术 >

利用robots.txt禁止百度蜘蛛Baidusppider抓取



 

User-agent: *
Disallow: /
Allow: /complain/
Allow: /media_partners/
Allow: /about/
Allow: /user_agreement/
 
User-agent: ByteSpider
Allow: /
 
User-agent: ToutiaoSpider
Allow: /

  以上是今日头条的robots.txt,禁止所有搜索引擎收录,同时又允许字节蜘蛛、头条蜘蛛抓取。比较牛,不依靠其他搜索引擎,和淘宝一样!

  robots协议文件屏蔽百度蜘蛛抓取

  robots协议是一个放在网站根目录下协议文件,可以通过URL地址:http://你的域名/robots.txt进行访问。当百度蜘蛛抓取我们网站时,会先访问这个文件。因为里面告诉了蜘蛛哪些可以抓取,哪些不可以抓取。

  robots协议文件的设置比较简单,可以通过User-Agent、Disallow、Allow这三个参数进行设置。

  User-Agent:对不同搜索引擎的声明;

  Disallow:不允许抓取的目录或页面;

  Allow:允许抓取的目录或页面,一般可以省略不写,因为你不写什么是不可以抓的那就都是可以抓的;

  下面我们来看一个示例,场景是我不希望百度抓取我网站所有的css文件,data目录、seo-tag.html页面

  User-Agent: Baidusppider

  Disallow: /*.css

  Disallow: /data/

  Disallow: /seo/seo-tag.html

  如上,user-agent声明的蜘蛛名称,这个意思也就是说,针对百度蜘蛛。下面不能抓取”/*.css”,首先前面的/指的是根目录,也就是你的域名。*是通配符,代表任意内容。其意思就是所有文件,以.css结尾的都不能抓取。下面两个你自己体会吧。逻辑是一样的。

相关文章:

  • 帝国CMS是什么程序 帝国CMS是一套开源的静态页面程序,凭借超高的扩展性,很多知名的新闻站点、行业站点都是应用的帝国CMS后端。因为帝国CMS和dedecms一样都是生成静态页面的,所以非常利于...

  • 域名解析DNS分为显性URL和隐形URL,显性URL和隐形URL有什么区别?隐形URL和显性URL哪个更有利于SEO?显性URL相当于域名了302重定向,隐形URL使用iframe框架技术隐藏真实目标地址,显性URL更有利于...

  • 在常见的CMS系统中,我对dedecms算是比较熟悉的,自己网站用的也是这个系统。系统功能强大使用灵活,相信这也是它受到大多数中小站长青睐的原因。 再好的系统也有照顾不周的地方,很多站...

  • 这篇文章主要为大家详细介绍了dedecms后台增加php导出excel功能实现办法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,有需要的朋友可以收藏方便以后借鉴。 不少朋友希望织梦的后台...

  • 第一次使用的插件是 pdfobject.js 百度网盘下载地址:http://pan.baidu.com/s/1kUPhYdT 加载 script src=/style/js/pdfobject.js /script script type=text/javascript window.onload = function (){ var success = new PDFObject({ url: pdf文件地...

  • 网上有一种方法是copy+unlink来移动文件,但是遇到大文件时会消耗大量时间,对性能不怎么友好,可以使用rename()来移动文件,速度非常快 关于rename()函数 bool rename ( string $oldname , string $newname...

  • 基于我们公司可选的几种推广方式: 一、关键词优化排名推广(推荐) 指定关键词推广,按天付费,推广我们业务中最重要的一些关键词,达到百度首页才收费,大概一个关键词10元/天左右。...

  • 插件介绍 wordpress程序网站在发布文章时可以给每一片文章添加与之相关的TAG标签,对于TAG标签可以生成很多页面,增加搜索引擎对内容的抓取量。 WP Auto Keywords插件就是一款能自动给文章添加...

  • 5.7 生成列表页 改动 include/arc.listview.class.php 1.先设置 关闭副栏目(在系统----系统基本参数性能选项里) 2.一般网站不需要 栏目交叉 交叉 所以 找到94行注释掉: //获得交叉栏目ID /*if($this-Type...

  • 使用preg_replace将删除所有空白(包括制表符等) $string = user na me $string = preg_replace(/\s+/, , $string); echo $string; // username preg_replace(/\s/u, ,$string) u (PCRE8) 此修正符打开一个与perl不兼容的附加功能. 模式...

  • 公司:西安蟠龙网络科技有限公司
  • 联系人:张经理
  • 手机/微信:
  • Q Q: 点击这里给我发消息
  • 地址:西安市雁塔区唐延南路11号逸翠园i都会