做网站,尤其是新站,毫无疑问得每天检测网站的日志情况,看一下每天是否有蜘蛛过来爬行,这很重要!这几次查看新站星战风暴的时候,总是发现有成对的百度蜘蛛出现,不知道这是怎么回事?如下表所示:

1227021244 / HTTP/1.1 GET Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) []  123.125.71.59 
1227021312 / HTTP/1.1 GET Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) []  220.181.108.92

希望高手能给指导一下,我只知道123.123.71.* 这个ip如果来的话,表示权重比较低。220.181.108.* 是高权重ip。关于百度蛛蛛ip大家可以参考一下这篇文章:http://blog.sina.com.cn/s/blog_693852bb0101ieh2.html

Last modification:April 11th, 2020 at 09:18 pm
如果觉得我的文章对你有用,请随意赞赏