文章正文
搜索引擎机器人的抓取规律
【SEO优化】2024-08-11
简介搜索引擎机器人的抓取规律
站长对于搜索引擎的蜘蛛一定不会陌生,蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的Html网页,建立索引数据库,使用户能在百度搜索引擎
中搜索到网站的网页。简单来讲,它就是网站与搜索引擎交流的工具,正是有了蜘蛛,搜索引擎才知道你的站点,进而才有收录排名。也正是因为蜘蛛只是一个自动程序,所以并不是非常智能化,只能依靠各项规则来行动,通过跟踪蜘蛛的动向和搜索引擎的反应,就总结出了一些关于蜘蛛的活动规律。
(1) 新站的初期收录
网站上线后,首先向搜索引擎提交页面。
Google: http://www.Google.com/intl/zh-CN/add—url.html
百度: http://www.baidu.com/search/url submit.html
搜索引擎会分析出其中含有的链接,然后进行爬行,由于是新站,所以在提交之后,蜘蛛的反应也不会很快,一次可能只抓取一两个页面就走,下次来再抓取几个页面。
在网站初期有一个需要注意的问题,不能有死链坏链,服务要稳定,也就是说一定要给蜘蛛营造一个好的爬行环境,因为蜘蛛一旦碰上死链就会直接走掉,如
果服务器不稳定,可能蜘蛛转一圈,一个页面还没有抓取就迫不及待要走了。新站的内部链接要有层次,而且四通八达,这样蜘蛛更好爬取,对于用户的浏览也方便的多。新站建立初期,一个友链的作用还是很大的,它可以大大增加蜘蛛在新站的爬取次数,可以一定程度上缩短收录时间。新站上线时,数据不能太少,要有足够的数据,同时内部链接要合理,这样就是一个成型的站点,蜘蛛爬取时对于这个站点的印象分也不会很低,就好比是现实交友一样,对千一个新朋友的第一印象不错,可能很快就见第二次,第三次,蜘蛛也同样。一个新站,百度的收录时间大概在半个月左右, Google蜘蛛在网络上爬行的比百度蜘蛛更加频繁,可能2天就收录了。熟悉地掌握蜘蛛对网站爬行的时间规律和蜘蛛比较喜爱爬行的栏目,都可以很好地帮助站长提高收录数量和收录速度,同时也可以从侧面对比出哪个频道的权重比较高。
(2) 站点的中期收录
在搜索引擎对网站的收录进入稳定阶段时,有一个小诀窍可以增加百度蜘蛛的爬行次数。每天的更新内容不要一次更新完,可以2个小时更新一部分或者上午一部分,下午一部分。因为在这个阶段,有一部分的百度蜘蛛是通过首页进入的,一旦发现首页没有变化就离开。这样定时定量更新的好处就显现出来了,蜘蛛进入首页一次发现首页变动一次,爬行的当然就更加频繁了。同时,多注意蜘蛛爬行的时间段,在这个时间段内进行更新,收录的速度是最快的。当然,这就需要一款可以随时查看蜘蛛动向的工具了,很多CMS都具备这样的功能,能够很清晰的记录各个大型搜索引擎的机器人痕迹,包括停留时间、爬行过的页面等都有详细数据,可以对每日爬行进行分析,或者对比几个栏目哪个爬行的次数最多。
打赏支持
感谢您的支持,加油!

打开微信扫码打赏,你说多少就多少
找书,联系客服快速查找!

在线客服8:30-23:00,若离线请留言!
获取教程,请联系在线客服!

在线客服8:30-23:00,若离线请留言!
热门阅读
-
孟子正义 上下 (清)焦循撰;沈文倬点校 北京:中华书局 PDF 9787101125009 出版时间:2017.pdf
孟子正义 上下 (清)焦循撰;沈文倬点校 北京:中华书局 PDF 9787101125009 出版时间:2017.pdf ...
-
十六大以来重要文献选编 上中下 全三册 中共中央文献研究室编 北京:中央文献出版社 PDF 7507317692 2005.pdf
十六大以来重要文献选编 上中下 全三册 中共中央文献研究室编 北京:中央文献出版社 PDF 7507317692 2005.pdf ...
-
一本书明白鲫鱼健康养殖关键技术 官少飞,付辉云主编 南昌:江西科学技术出版社 PDF 9787539059198 2017.pdf
一本书明白鲫鱼健康养殖关键技术 官少飞,付辉云主编 南昌:江西科学技术出版社 PDF 9787539059198 2017.pdf ...
-
全球古板块再造、岩相古地理及古环境图集 李江海 等主编 地质出版社 PDF 9787116085091 出版时间:2013年09月.pdf
全球古板块再造、岩相古地理及古环境图集 李江海 等主编 地质出版社 PDF 9787116085091 出版时间:2013年09月.pdf ...
-
中国稀土战略开发及出口产业规制政策研究 叶仁荪,吴一丁主编 北京:科学出版社 PDF 9787030408860 出版时间:2014.pdf
中国稀土战略开发及出口产业规制政策研究 叶仁荪,吴一丁主编 北京:科学出版社 PDF 9787030408860 出版时间:2014.pdf ...
-
台湾红学论文选 胡文彬,周雷编 天津:百花文艺出版社 PDF 978710151538 出版时间:1981.pdf
台湾红学论文选 胡文彬,周雷编 天津:百花文艺出版社 PDF 978710151538 出版时间:1981.pdf ...
-
生命的不可思议 胡因梦自传 [原版书名:死亡与童女之舞] 胡因梦著 深圳:深圳报业集团出版社 PDF 9787807093763 2011.pdf
生命的不可思议 胡因梦自传 [原版书名:死亡与童女之舞] 胡因梦著 深圳:深圳报业集团出版社 PDF 9787807093763 2011.pdf ...
-
OUT:越界 [日]桐野夏生 上海文艺出版社 9787532166664 PDF_出版时间:2018年07月.pdf
OUT:越界 [日]桐野夏生 上海文艺出版社 9787532166664 PDF_出版时间:2018年07月.pdf ...
-
周易译注 新修订本 黄寿祺,张善文撰 上海:上海古籍出版社 PDF 9787532587902 2018.pdf
周易译注 新修订本 黄寿祺,张善文撰 上海:上海古籍出版社 PDF 9787532587902 2018.pdf ...
-
翻译大师教你学写作 文法结构篇 郭岱宗,邹政威,卢逸禅著 贝塔出版有限公司 PDF 9577297914 出版时间:2010.pdf
翻译大师教你学写作 文法结构篇 郭岱宗,邹政威,卢逸禅著 贝塔出版有限公司 PDF 9577297914 出版时间:2010.pdf ...