搜索引擎抓取原则

    搜索引擎爬行：
    蜘蛛爬行系统是搜索引擎数据来源的重要保障，如果把网络理解为一个有向图，那么蜘蛛的工作过程就可以认为是经过这个有向图的。
    从几个每周重要的网址开始，通过页面上的超链接，不断地发现和抓取新的网址，尽可能多地抓取有价值的网页。

    从搜索引擎的工作原理解读影响爬取的因素：
    1.爬坡友好的互联网资源是巨大的数量级，这就要求爬取系统尽可能高效地利用带宽，在有限的硬件条件下尽可能多地爬取。和带宽资源宝贵的资源。
    2、用抓取返回码表示百度支持的几种返回码的简单介绍：
    1）最常见的404表示“NOTFOUND”。该网页被视为已过期，通常会从图书馆中删除。.同时，如果蜘蛛很快再次找到它，URL也不会被抓取；
    2)503表示“服务不可用”。该网站被视为暂时不可用。通常该站点是暂时关闭的。并且带宽有限。
    3)403表示“禁止”，认为该网页当前已被禁止。如果是新的URL，蜘蛛暂时不会被抓取，短时间内会被多次访问；如果包含一个URL，则不会直接删除，会被重复访问。在很短的时间内。如果网页访问正常，就会正常抓取；如果访问仍然被禁止，则此URL也将被视为无效链接并从库中删除。
    4)301表示“永久移动”，并认为网页被重定向到新的url。当您遇到网站迁移、域名更换或网站审核时，我们建议您使用301返回码，并使用网站平台审核工具，以减少审核造成的网站流量损失。
    3.优先级分配由于互联网资源规模的巨大而快速的变化，搜索引擎几乎不可能全部捕获并合理更新以保持一致性，因此需要设计爬虫系统。拉西亚。分配策略以获取优先级。主要包括：deep-first跨策略、wide-first跨策略、pre-first策略、反链策略、社交分享引导策略等。
    4、反欺骗蜘蛛在爬行过程中经常会遇到所谓的黑洞或者面对大量的黑洞。
    中断网页爬行频率的原理：
    1更新站点的频率：更新快，更新慢会直接影响百度蜘蛛的访问频率
    2.网站更新质量：更新频率增加，只引起百度蜘蛛的关注。百度蜘蛛有严格的质量要求。如果内容量大。网站每天更新都是由Baiduspider判断的，对于低质量的页面，还是没有意义。
    3、连通性：网站要安全稳定，对百度蜘蛛保持开放，百度蜘蛛经常关闭是不好的条件。它是百度搜索引擎网站的基本排名。