robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
robots.txt应该放在站点目录下的source
文件中,网站生成后在网站的根目录(站点目录/public/
)下。
在source
文件夹下新建robots.txt
,添加如下内容:
1 |
|
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
robots.txt应该放在站点目录下的source
文件中,网站生成后在网站的根目录(站点目录/public/
)下。
在source
文件夹下新建robots.txt
,添加如下内容:
1 | # welcome to : www.zhyong.cn |