由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容 - 搞什麼鬼咯

2025-04-14 14:07:53
推荐回答(1个)
回答1:

robots.txt 是网站设置来限制搜索引擎网络爬虫的,上面的意思是robots.txt 设置的是不允许 搜索引擎抓取 但是网站是可以正常使用