用途：你的论坛或网站之内容及资料，将不会被搜索引擎的蜘蛛bots查找
这一般比较少人用，使用的情况有
1.论坛或网站架在免费PHP托管空间随着文章变多后，hits点击数及流量容易超出限制
2.论坛或网站的内容比较隐私，不想被搜索引擎加入索引
3.不想让搜索蜘蛛bots抓取资料时，可参考本篇做修改
如果是discuz论坛，请先将原本的robots.txt改成robots2.txt，以后要用到时，更名回去就可以了
这个用记事本就可以，或用notepad++文件编辑软体
建一个robots.txt文件，内容如下
User-agent: *
Disallow: /
Disallow: /*