Robots协议也称为爬虫协议、爬虫规则、机器人协议等等,也就是robots.txt,网站通过Robots协议告诉搜索引擎可以抓取哪些页面和不能抓取哪些页面,优化网站的收录和权重。 Robots协议规
Robots协议也称为爬虫协议、爬虫规则、机器人协议等等,也就是robots.txt,网站通过Robots协议告诉搜索引擎可以抓取哪些页面和不能抓取哪些页面,优化网站的收录和权重。
Markup
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login*
Disallow: /?s=*
sitemap: https://域名/wp-sitemap-posts-post-1.xml
在网站根目录创建名为robots.txt的文件,把以上内容粘贴到txt文件内,再把内容的最后一条的域名修改成自己网站的域名并保存文件。
暂无管理员
粉丝
0
关注
0
收藏
0