如有一些特定的网站目录或内容不想被搜索引擎收录,避免网站敏感信息泄露等风险,可以在网站的根目录中建立一个文本文件,将以下内容进行修改并命名为:robots.txt
User-agent: * Disallow: /目录一/文件名.asp Disallow: /目录二
按照以上实例进行修改并保存即可。
如:
Disallow: /目录一/文件名.asp 不想被收缩引擎收录【目录一】下的【文件名.asp】
Disallow: /目录二 不想被搜索引擎收录【目录二】下的全部内容
在线列表1589813