首页 > seo技术 > 搜索引擎的抓取机制
201109月30

搜索引擎的抓取机制

今天给大家分享的是搜索引擎的抓取机制,这次都是一些比较重要的资料,分享给大家主要这次是国庆,祝大家节日快乐,感谢一直支持胖子的明白,搜索引擎的抓取机制(调度,爬虫,种子站点,深度优先,广度优先)

定期收集:早几年的搜索引擎的大更新,05和06年很明显,一个月更新一次。将数据库中的所有网页全部进行抓取一遍。现在已经不明显了,谷歌AD检查作弊非常相似的。

增量收集:目前搜索引擎使用最广泛的商业信息,网页的收集方式。

1.收集新出现的网页。最短的时间收集,快速的收集,搜索引擎收集最新的信息给用户。新出现收录减慢的原因是为了清除前几年留下很多的垃圾信息(站点)。

2.抓取上次修改过后的网页。如果没有修改将不进行任何的分析,学编程的可能清楚,网页数据包有一个头部信息,只要搜索引擎建立一个连接,就会知道最后的修改时间,如果没有变将不进行任何分析。如果改了重新抓取回去再进行分析,重新建立索引。增加快照更新的时间。搜索引擎会过来看头部的信息。

问题:如果我的网站内容一篇都不更新,想要搜索引擎每天更新我的首页快照,怎么办?
随机调用,因为搜索引擎每一次来页面的时候,页面内容是不一样的。比如CMS发布一篇文章,首页就会多一个链接,就意味着首页已经改变了。搜索引擎来的时候,页面是不一样的,就会再次抓取,拿回去分析,然后再建立索引。在其中一个版块当中,调用网站内部的随机文章。

3.检查已经不存在的页面去掉排名甚至删除。

网速更新速度有好处也有坏处,如果网站更新很快,快照也更新的很快。如果服务器不稳定,蜘蛛就会访问到服务器错误。所以以更新速度来说明一个网站的权重很片面。网站快照更新太快反而不好,比如服务器不稳定的网站。如果想要网页快照快,访问稳定就需要稳定的空间。

比如淘宝,是不允许蜘蛛抓取的,所以抓取淘宝网站是没有标题也没有摘要的,不允许抓取不到跟抓取不到是一样的,百度为了快照,但数据是空的怎么办,那蜘蛛就会把这个网站使用外链中最多的锚文本过来,来建立快照。

比如百度搜索SEO,第一页全部都是404,那么对百度是非常不利的,所以打不开,会出现排名下降的时候,所以要碰到排名下降的时候不要着急,过几天再说,查看日志是不是蜘蛛过来抓取不到,访问不了。

种子站点:从种子站点开始抓取可以抓取到互联网绝大部分的网页,从孤岛站点开始抓则做不到。

比如我做了一个网站,单页面 一个链接都没有,这就是孤岛页面,因为搜索引擎无法从这个页面上来得到更多的URL,抓取不到互联网的绝大网页。什么样的网站会成为种子站点,就是非孤岛站点的反面例子,一个页面有大量的链接指向各大行业的站点,更新速度快,导出数量比较多,指向网站链接权重高。比如hao123,新浪等就是种子站点,所以我们不要小气自己的友情链接,当你指向重要的网页的时候,就像相关的网页,不作弊的站点,当你是非常有好处。 因为百度对种子站点的更新速度大概是几分钟。因为搜索引擎从这些种子站点开始抓取,向沿着A标签抓取,抓取绝大部分网页。所以抓取你网站60%就行了。

如果想要抓取快点,就是离种子站点越近的地方留下链接。比如有人跟hao123有交换的话,你就要去跟他交换,你网站抓取的速度更快。

深度优先:先往深的地方抓取,先抓首页,第一栏目,第一栏目下面的第一个内容,并列的两个内容,再回来抓取第二个栏目。看图。

深度优先,可以抓取完整的网站数据。获得有价值的文章。

什么样因素让搜索引擎进行深度优先抓取,提高权重,权重和信息量达到一定的程度,新的网站做不到。

广度优先:跟深度优化形成一个鲜明的对比。先抓取首页,然后抓取栏目页,然后抓取二级栏目,最后是内容。

新的网站一般都是先收录首页,不管你的文章页有多少外链,但也是先收录首页。使用广度优先抓取,因为你的首页权重更高。

这样处理的好处是:优先抓取更加有价值的页面。一个新的网站最有价值是首页。还有就是节省资源和时间。

蜘蛛怎么分辨栏目页,只管这个页面的权重怎么样。从高到低排上来,先抓取权重最高的。

http协议:这个里面最重要的是他有一个“应答头”,一个应答体。

应答头:服务器的信息,页面最新修改的时间,页面大小等,通过抓包软件 http analyzer。

应答体:网页的源代码。

Url库:网址库,有两个类型的库,已经抓取和未抓取的数据库。

调度:公交都有一个调度室。发车时间,发车间隔,控制蜘蛛去抓取。调度有dns缓存数据器,第一次访问你的IP地址缓存回来,保持24个小或是48个小时,下次直接去IP下面抓取。搜索引擎服务器就是直接去映射你的IP地址,提高效率,减少资源。

网站要是换空间,IP的时候要怎么办,把影响降低到最低。让两个网站畅通48个小时,搜索引擎服务器与域名服务器建立socket一个链接。

所以说搜索引擎就是一个程序,由调度控制这个程序,就只有一个工作:就是与服务器建立soctet连接,发出一个请求,获取应答头和应答体信息,然后存入数据库,这就是一个蜘蛛。

域名和IP,一个域名可以多个IP,也可以一个IP。比如百度 也可以一个IP地址对应很多域名,比如虚拟主机。

域名和一个IP的关系表DNS。

抓取策略:优先抓取网页权重高的页面。28法则。抓取60%已经正常页面正常。搜索引擎有一个随机抓取机制。

怎么照顾那么低权重的页面。提高这个页面的权重。

网页大小限制:是不是太大是不是就不要了,目前百度超过5M大小就放弃。所以基本上没有这种可能。达不到这个上限。

收集类型:html,pdf,doc可转换为文本的类型文件。

主要有三个大的领域,首先是搜索引擎原理图详解,二是搜索引擎的抓取机制,二是搜索引擎的预处理,三是搜索引擎的的查询机制,另外一个就是搜索引擎的的一些算法。我们站长解搜索引擎原理,是让大家明白搜索引擎与SEO行为间是一种良性的共生关系,让更多人了解搜索引擎的工作机制,引导广泛合理的SEO行为,这就是百度搜索引擎优化指南专题站创建的初衷。

分享到:

文章作者:admin
本文地址:http://www.pangziseo.com/seo_service/242.html
版权所有 © 转载时必须以链接形式注明作者和原始出处!

11 Responses to “搜索引擎的抓取机制”

  1. #1 面包机什么牌子好 回复 | 引用 Post:2011-10-01 00:13

    博主的这篇文章不错,一定要来支持一下了

  2. #2 BB霜 回复 | 引用 Post:2011-10-01 03:43

    看不到优势跟卖点在哪里。。。

  3. #3 指甲油 回复 | 引用 Post:2011-10-01 04:50

    这样考虑一下~不错

  4. #4 北京SEO 回复 | 引用 Post:2011-10-01 06:32

    博主分析的很不错

  5. #5 灰指甲 回复 | 引用 Post:2011-10-01 07:02

    比较好的文章~

  6. #6 车载导航仪12 回复 | 引用 Post:2011-10-01 07:03

    好文,收藏了。12

  7. #7 上海数学家教 回复 | 引用 Post:2011-10-01 07:39

    看了博主的文章,特地回复来支持一下

  8. #8 北京SEO 回复 | 引用 Post:2011-10-01 07:54

    支持下了啊 看来我还是沙发啊。。

  9. #9 博客导航 回复 | 引用 Post:2011-10-01 09:01

    我把贵站加入我的导航了哈。

  10. #10 suy 回复 | 引用 Post:2011-10-02 01:31

    胖子奉献。不得不看啊。。

  11. #11 泉州seo 回复 | 引用 Post:2011-10-11 10:25

    抓取这样的机制进行学习!!

发表评论