众所周知，在网站优化中，robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的，什么是不可以被查看的，蜘蛛知道了这些以后，就可以将所有的精力放在被我们允许访问的页面上面，从而将有限的权重集中起来。

同时，我们还不能互略最重要的一点就是，robots.txt是搜索引擎访问网站要查看的第一个文件。明白了这一点，我们就有必要，也可能针对这一条做一些文章。

• 将sitemap.xml写入robots文件

前面提到了，robots.txt文件是搜索引擎中访问网站要查看的第一个文件，那么，如果我们将sitemap.xml(网站地图)文件地址写入robots.txt文件里面，自然而然会被搜索引擎蜘蛛在第一时间发现，也增大了网站页面被快速抓取和收录的可能性。此种做法，对于新站作用明显，对于大站更具有积极和现实的作用。 (more…)

今天接着SEO概念篇的分享，欢迎大家阅读交流。
第八节：robots.txt
大家知道robots.txt是什么。
这里再详细介绍下：
搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。 (more…)