在线客服与您一对一交流
当前位置: 主页 > 行业新闻 > seo >

如何查看网站被百度抓取的情况?

  百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。
  查看日志的方式:
  通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。专业制作网站西安,西安制做网站公司推荐阅读>>> 网站日志的作用,
  因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。
  日志内容如下:
  61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
  分析:
  GET /bbs/thread-7303-1-1.html   代表,抓取/bbs/thread-7303-1-1.html 这个页面。
  200  代表成功抓取。
  8450  代表抓取了8450个字节。
  如果你的日志里格式不是如此,则代表日志格式设置不同。百度影楼竞价账户托管,西安网站建设工作室推荐阅读>>> 网站日志分析方法,
  很多日志里可以看到 200 0 0和200 0  64 则都代表正常抓取。
  抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。
  在网站出现问题的情况下,通过查看网站日志,查看网站的HTTP返回值是否正常,
 

相关文章:

  • 1、什么是网站日志 网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以log结尾的文件,确切的讲,应该是服务器日志。网站日志最大的意义是记录网站运营中比如空间的...

  • 最近有不少朋友问我怎么看SEO日志,Emmar在网上找了一些相关的资料并且结合自己的经验,为大家提供一个比较完整的日志文件的阅读和分析方法: 废话不多说,进入主题: 问题一、网站LOG日志...

  • 做百度优化的过程中很重要的一点,就是IIS日志的分析。通过来访记录的代码我们能准备的了解到网站出现的很多问题。以IIS日志上的百度蜘蛛IP为例: 123.125.68.*这个蜘蛛每每来,另外来的少,示...

  • #Software: Microsoft Internet Information Services 6.0 #Software:表示软件名称 #Version: 1.0 #Version:表示版本号 #Date: 2013-03-13 00:05:17 #Date:表示时间 #Fields:说明如下#Fields: date time s-sitename s-ip cs-method cs-uri-s...

  • 网站日志一般存放在虚拟主机的logfiles文件夹下,可以通过FTP工具将网站日志下载下来,下载下来的为log格式的文档,可通过txt文档方式查看。 如何查看自己的服务器的日记? (以Windows 2003系统...

  • 通过网站日志可以清楚的得知访客和服务端等应用是否正常运行,或者存在哪些缺陷,失效组件等信息。 对于专业从事搜索引擎优化工作者而言,网站日志可以记录各搜索引擎蜘蛛机器人爬行...

  • 1、访问次数、停留时间、抓取量 从这三项数据中我们可以得知:平均每次抓取页面数、单页抓取停留时间和平均每次停留时间。 平均每次抓取页面数=总抓取量/访问次数 单页抓取停留=每次停...

  • 网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以log结尾的文件,确切的讲,应该是服务器日志。网站日志最大的意义是记录网站运营中比如空间的运营情况,被访问...

  • 作SEO时,我们经常会在日志上看到类似这样的代码: 61.135.166.232 - - [31/Dec/2007:02:30:11 +0800] GET /category21.html HTTP/1.1 200 10968 - Baiduspider+(+http://www.baidu.com/search/spider.htm) 66.249.70.172 - - [31/Dec/2007:03:36...

  • 公司:西安蟠龙网络科技有限公司
  • 联系人:张经理
  • 手机/微信:
  • Q Q: 点击这里给我发消息
  • 地址:西安市雁塔区唐延南路11号逸翠园i都会