现在位置 >首页 > robots
0℃
众所周知,在网站优化中,robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的,什么是不可以被查看的,蜘蛛知道了这些以后,就可以将所有的精力放在被我们允许访问的页面上面,从而将有限的权重集中起来。 同时,我们还不能互略最重要的一点就是,robots.txt是搜索引擎访问网站要查看的第一个文件。明白了这一点,我们就有必要,也可能针对这一条做一些文章。 将sitemap.xml写入robots文件 前面提到了,robots.txt文件是搜索引擎中访问网站要查看的第一个文件,那么,如果我们将sitemap.xml(网站地图)...
阅读全文
0℃
2012年04月21日 优化推广
今天接着SEO概念篇的分享,欢迎大家阅读交流。 第八节:robots.txt 大家知道robots.txt是什么。 这里再详细介绍下: 搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人。 搜索引擎机器人每次来到要抓取的网站,都会先访问这个网站根目录下的一个文件(robots.txt),如果不存在该文件,则搜索引擎机器人默认这个网站允许其全部抓取。 robots.txt是一个简单的纯文本文件(记事本文件),搜索引擎机器人通过robots.txt里的“说明”,理解该网站是否可以全部抓取或部分抓取。 如果你希望搜索引擎收录你网站的全...
阅读全文