大家可能都很想了解网站搜索引擎的是怎么样抓取网站内容的，只有更加了解其中的奥秘才能更好的做好网站搜索引擎的的优化工作，今天我们就来看一下网站搜索引擎优化内容！

一、爬行与抓取

首先我们要了解到搜索引擎蜘蛛要想爬行和抓取一个页面必须要满足两个特点，第一、足够的外链来吸引蜘蛛抓取;第二、网站的更新频率。在百度站长平台里面每个站点都会有一个抓取频次，而抓取频次我们可以特定的看作站点受蜘蛛的喜爱程度，也可以通俗的理解站点抓取频次越高，那么你站点被蜘蛛喜爱程度就会越高，从而你的收录就会加快。如果使用蜘蛛池这类程序的同学，我想就应该非常清楚，但是很多朋友即使使用了蜘蛛池那也只是外部链接进行吸引蜘蛛，如果配上站点更新频率，效果更佳!

二、收录与索引

大家都会通常的认为页面收录与页面建立索引并无太大区别，其实不然，在整个站点页面文档中会有两种情况发生：

1、URL收录=是，索引=否;代表已经进入了索引，只是这个网页的“权重”非常非常低，可以视作是“无效索引”。

2、URL收录=是，索引=是;代表已经有资格参与排名，但是不保证100%能获取排名，可以视作是“有效索引”。

三、检索与排名

在整个检索与排名中，会体现出最常用的两个搜索引擎原理，一个就是倒排索引，另外一个就是TF-IDF算法，首先我们来了解下倒排索引的更新策略，如下图所示(来自百度百科-倒排索引)：

在整个倒排索引结构中，最常见的有四种更新策略，而上述的案例中就用到了其中两种，如果大家仔细的去观察我的每一个文章，就不难发现即使我的页面是纯抄袭文章，但是我抄袭的每一个标题和原来标题不相同，并且标题会更加的去符合页面内容，提升页面词频需求(TF-IDF)。其次则是抄袭的文章不会直接复制粘贴，我会进行重新排版，重构页面从而达到页面并非采集的作用。