首页
一站直销
>
求教一个关于”scrapy双向爬取的问题“
求教一个关于”scrapy双向爬取的问题“
2025-04-05 16:59:30
推荐回答（1个）
回答1：
当初就是因为无法增量抓取所以放弃 scrapy 的。
因为我们的场景，定时更新，增量抓取是非常重要的，这要求很强 url 去重，调度策略逻辑。
而 scrapy 的内存去重实在是太简陋了。
相关问答
最新问答
苏泊尔电饭煲煮稀饭往外溢是怎么回事
建筑八大员报考条件，报名考试后多久能拿证
求详细步骤和解答过程和思路。谢谢
为什么云南离边界近 ，怎么不发达呢？而是穷不拉机的
我的tiffany银项链发黑了，该怎么办啊？平常也不怎么戴的。。。太可惜了
万全T168G5 重装操作系统的问题
《Sex Therapy》的中文歌词
手机系统坏了，维修要多少钱？
谁能介绍一下戈麦斯啊，这个人看上去怪怪的
山东保瑞达建安工程有限公司怎么样？
