robots是网站的和搜索引擎的一个文件协议，你要做的话要把文件写好了上传的网站的根目录，然后再你网站的域名后面加上robots。txt就能查看到了，那些内容就要看你网的那些内容是不想搜索引擎抓取的就屏蔽那些内容。比如：一般网站都会屏蔽用户的登陆页面或者是用户的资料页面，或者是网站后台的登陆页面，或者是网站的死链接页面等很多不想让搜索引擎抓取的页面。希望我的回答能帮到你。龙术SEO
