现在位置 >首页 > g.cn
0℃
对于标题有些朋友可能不明白是什么意思,这里我给大家介绍下inurl:robots.txt的作用。 首先,对于新站长要了解inurl:robots.txt的作用,我一定要先说下robots.txt,当然前期我也有写过关于robots.txt的文《利用robots提高页面的抓取率》大家可以参考一下。 总结性的说:robots.txt文件就是一个普通的文本文件,名称用小写,一般放在网站的根目录下。当一个搜索引擎机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问...
阅读全文