requests 和 scrapy 在不同的爬虫应用中,各自有什么优势

2025-04-09 12:13:34
推荐回答(1个)
回答1:

requests 是库,主要是构造网络请求,获取网页内容,后续的解析、存储都要另行解决。

scrapy 是框架,可以说是爬虫的打包方案,除了上述构造请求、拿内容、解析、存储外,还可以做分布式爬虫,挂代理,等等一大堆功能。
区别就是,假如是要做一个特别复杂的爬虫,可以用 scrapy。假如是临时小需求,可能学会配置 scrapy 的时间,已经足够用 requests 抓完数据了。