分布式爬虫
ScrapyScrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬
Redis通常被认为是一种持久化的存储器关键字-值型存储，可以用于几台机子之间的数据共享