hexo添加robots.txt文件

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt应该放在站点目录下的source文件中，网站生成后在网站的根目录(站点目录/public/)下。

在source文件夹下新建robots.txt，添加如下内容：

# welcome to : www.zhyong.cn 
User-agent: *
Allow: /
Allow: /archives/
Allow: /categories/
Allow: /about/

Disallow: /js/
Disallow: /css/
Disallow: /fonts/
Disallow: /vendors/
Disallow: /lib/
Sitemap: https://www.zhyong.cn/sitemap.xml