1、这段代码是禁止搜索引擎抓取你的论坛中所有的数据和页面；这样操作不利用你的网站优化和排名；
2、如果你的论坛是老站，你不希望蜘蛛抓取你的网站某些内容，你是可以禁止抓取；但如果是新站，同时希望通过搜索引擎推广网站，建议你把robot.txt直接删除；
论坛的默认robots定义 基础上把常见都列出来了，要是有其实特别内容不想要搜索引擎爬取，还可以针对某一要求改写
有的开源程序装好就有robots文件了，不需要改了，主要是屏蔽一些不需要让搜索引擎的收录的信息。对于这个如果你不懂就不需要去改了，如果你对于这个很了解的话，可以自主的去屏蔽网站的具体内容。前提是你自己知道怎么改。
Discuz! X2 默认就可以
没有伪静态什么的 就不用改动
内容全部来源于网络收集，如有侵权，请联系网站删除！