hexo添加robots.txt文件

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt应该放在站点目录下的source文件中,网站生成后在网站的根目录(站点目录/public/)下。

source文件夹下新建robots.txt,添加如下内容:

1
2
3
4
5
6
7
8
9
10
11
12
13
# welcome to : www.zhyong.cn 
User-agent: *
Allow: /
Allow: /archives/
Allow: /categories/
Allow: /about/

Disallow: /js/
Disallow: /css/
Disallow: /fonts/
Disallow: /vendors/
Disallow: /lib/
Sitemap: https://www.zhyong.cn/sitemap.xml

坚持原创技术分享,您的支持将鼓励我继续创作!
0%