robots.txt文件常用规则

■禁止任意搜索引擎访问网站任意内容

User-agent: *

Disallow: /

■允许任意搜索引擎访问网站任意内容

User-agent: *

Disallow:

■禁止任意搜索引擎访问网站指定内容

User-agent: *

Disallow: /admin/