如何禁止所有搜索引擎访问或者收录网站??
2022-09-15 | 维护
当网站不想被搜索引擎收录的时候，创建robots.txt文本文件可以告诉搜索引擎不要抓取，收录本网站。
1、禁止所有搜索引擎访问网站的所有部分
User-agent:*
Disallow:/
2、禁止百度收录网站所有部分
User-agent:Baiduspider
Disallow:/
3、禁止Google收录全站
User-agent:Googlebot
Disallow:/
4、禁止除了Google 外的一切搜索引擎搜录全站
User-agent:Googlebot
Disallow:
User-agent:*
allow:/
4、禁止除了百度外的一切搜索引擎搜录全站
User-agent:Baiduspider
Disallow:
User-agent:*
allow:/
5、禁止所有搜索引擎 访问某个目录 (比如禁止根目录下的admin和css)
User-agent:*
Disallow:/css/
Disallow:/admin/
