《robots协议》由会员分享，可在线阅读，更多相关《robots协议（1页珍藏版）》请在金锄头文库上搜索。
议访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 纯文本文件，这个文件用于指定 您网站上的抓取范围。件放在哪里?件应该放置在网站根目录下。首先会检查该网站中是否存在 * 这里的“*”指的是允许所有搜多引擎抓取 许抓取，这里路径要写相对路径，如要屏蔽百度百科，只要写成/好了 这里同 样，都是相对路径*和$ 的含义持使用通配符 *和$来模糊匹配 明：当我们需要屏蔽多处内容的时候，不可能一一列举，这里就要用到通配符，$ 匹配行结束符 * 匹配 0 或多个任意字符例如：* * *等
