SEO怎么禁止百度蜘蛛爬某个文件夹
发布时间：2022-01-19 10:41:06 所属栏目：搜索优化 来源：互联网
导读：问题：SEO怎么禁止百度蜘蛛爬某个文件夹？ 回答：禁止搜索引擎抓取网站页面，最常用的就是使用robots文件，禁止百度蜘蛛爬行和抓取某个文件夹，可以用下面这段代码： User-agent: Baiduspider Disallow: wenjianjia/ 这里简单解释下几个字段概念： Baiduspid
|
问题：SEO怎么禁止百度蜘蛛爬某个文件夹？ 回答：禁止搜索引擎抓取网站页面，最常用的就是使用robots文件，禁止百度蜘蛛爬行和抓取某个文件夹，可以用下面这段代码： User-agent: Baiduspider Disallow: wenjianjia/ 这里简单解释下几个字段概念： Baiduspider：这个是百度搜索引擎蜘蛛； Disallow：这表示禁止，不需要蜘蛛抓取； wenjianjia/：这里替换你要禁止百度蜘蛛爬行的文件夹名，这里要注意下，如果在文件夹名称的后面加了 / ，就表示禁止抓取文件夹下面的页面 ，就要去掉后面的 / ，也就是下面这样的代码： User-agent: Baiduspider Disallow: wenjianjia 关于SEO怎么禁止百度蜘蛛爬某个文件夹的问题，本文就简单的介绍到这里，总之使用robots文件是比较方便的，大家可以使用上面的代码，修改成自己的文件夹名称即可。如果要禁止两个文件夹，那就多复制一行，比如： User-agent: Baiduspider Disallow: wenjianjia_one/ Disallow: wenjianjia_two/ （编辑：92站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
