懂robots.txt的朋友请进

在网站根目录里发现一个文件名为robots.txt的文件, 这是干什么的? 文件就两行内容:

User-agent: *
Disallow: /

可以删处吗? 多谢.

所有跟帖： 

• please google robots.txt disallowed -用户名被占用了- ♂ (0 bytes) () 07/13/2013 postreply 16:55:39

• 就是不欢迎搜索引擎造访 -横流沧海- ♂ (0 bytes) () 07/22/2013 postreply 09:03:42

• 可删 -横流沧海- ♂ (0 bytes) () 07/22/2013 postreply 09:04:18