懂robots.txt的朋友请进

来源: 于 2013-07-13 15:55:59 [博客] [旧帖] [给我悄悄话] 本文已被阅读：次

在网站根目录里发现一个文件名为robots.txt的文件, 这是干什么的? 文件就两行内容:

User-agent: *
Disallow: /

可以删处吗? 多谢.