在搜索引擎优化中想要获得网站排名基础的展示就的网站收录，这里就涉及到了网站页面内容的可抓取性和页面的可索引性。这两个概念大家想必乍看之下都有一定的了解，但是如果要具体来说明一下，估计是有点困难的。因此下面的内容我们就从搜索引擎的基础知识入手，和大家一起去了解下到底什么是搜索引擎的抓取性和可索引性。

    我们都是知道百度的是一个比较神奇的存在但是当我们仔细观察时，会发现由于搜寻和建立索引，网站出现在搜索结果中。这就意味着要使我们的网站出现在搜索结果中，它必须是可爬网的并且可以建立索引。搜索引擎拥有这些我们称为爬虫的机器人。他们基本上是在互联网上找到网站，抓取其内容，跟踪该网站上的任何链接，然后为他们抓取的网站创建索引。

    索引是一个庞大的URL数据库，像百度这样的搜索引擎通过其算法对其进行排名。当我们搜索某些内容并加载结果页面时，我们会看到爬网和索引的结果。这是搜索引擎抓取的所有网站并基于一系列不同的因素将其视为与我们的搜索相关的网站。我们可能不会谈及百度和其他搜索引擎用来确定与搜索相关的内容的算法，但是我们可以访问我们的网站以了解更多信息。

    那么回到最基本的概念到底什么是可爬网性和可索引性呢？

    可抓取性意味着搜索引擎抓取工具可以阅读和跟踪我们网站内容中的链接，我们可以将它们像蜘蛛一样跟随网络上的大量链接。

    可索引性意味着我们允许搜索引擎在搜索结果中显示我们网站的页面。

    如果我们的网站可抓取并可以建立索引，那就太好了。如果不是这样，我们可能会失去来自百度搜索结果的大量潜在流量，而这种流量的损失会转化为潜在客户的损失和业务收入的损失。但是，我们如何知道我们的网站是否已建立索引呢？其实也是很简单的。只要转到百度或其他搜索引擎，然后输入站，再输入我们站点的地址即可。这时候我们应该就可以看到我们的站点上已被索引的页面数的结果了。不过如果我们什么都看不到，也不要太过担心，笔者接下来会告诉大家如何解决这个问题。

    接下来的问题，如何使我们的网站页面爬行并建立索引呢？

    1、内部链接

    我们想让搜索引擎的搜寻器进入我们网站上的每个页面，然后确保我们网站上的每个页面都有指向该页面的链接。以站点为例，我们可以轻松地浏览其导航中的链接以逐页获取。如果我们点击建站，则可以看到更多链接到不同类型的建站案例，然后在该菜单中看到更多类型的站点的链接。有指向每个页面的链接，爬网程序将跟随这些链接。如果我们没有太多内部链接，则HTML网站地图可以为抓取工具提供链接，便以我们在网站上进行跟踪。HTML网站地图适用于人员和搜索引擎，它们列出了指向我们网站上每个页面的链接。通常，我们可以在网站的页脚中找到站点地图的入口。而最佳做法是在我们网站的所有相关内容以及导航选项卡中都包含指向每个页面的链接。

    2、反向链接

    同样的链接对我们的站点很重要。但是，反向链接比内部链接更难获得，因为它们来自我们企业之外的用户。当另一个站点包含指向我们的页面之一的链接时，我们的站点将获得反向链接。因此，当抓取工具访问该外部网站时，只要允许他们跟踪该外部网站，它们就会通过该链接访问我们的网站。如果我们在内容中链接到其他网站，也会发生同样的情况。

    3、XML网站地图

    我们最好将网站的XML网站地图提交给百度等搜索引擎。XML站点地图应包含我们所有的页面URL，以便爬网程序知道我们希望它们进行爬网的内容。它们与HTML网站地图不同，因为它们仅适用于爬虫。我们可以自己创建XML网站地图，使用XML网站地图工具或者如果它与我们网站的CMS兼容，甚至可以使用插件。但不要在站点地图中包含我们不想爬网和编制索引的链接。

    4、Robots.txt

    关于Robots.txt就有点技术性了。robots.txt文件是我们网站后端上的文件，可告诉抓取工具他们无法抓取哪些内容并在我们的网站上建立索引。如果我们熟悉robots.txt，就要确保我们不会意外阻止抓取工具执行其工作。如果我们要阻止某个搜索引擎的搜寻器，如：（禁止百度爬虫访问）“User-agent: Baiduspider  Disallow: /”。如果我们不确定如何确定问题或对robots.txt文件进行更改，可以与找专门的优化人员帮我们制作，这样可以避免破坏我们的网站。