想用scrapy爬100万个网站,

2025-04-17 06:28:52
推荐回答(1个)
回答1:

关键的问题是看你的这100万个网站有没有什么联系,
也就是: 如果这100万个url地址是 绝对对立的。那么肯定没有什么办法了。

文本的话,可以放在另一个文件中,依次读取执行。

如果有联系,那么想办法在用其中的一个url做入口,在这个入口中 获取其他url,继续遍历