禁止所有搜索引擎访问网站的几个部分(下例中的cgi-bin、tmp、private目录)
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
l 禁止某个搜索引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /
l 只允许某个搜索引擎的访问(下例中的WebCrawler)
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: / 上一页 [1] [2] [3]
|
普及型网站设计套餐 
