使用Python开发的定向数据采集框架

使用Python开发的定向数据采集框架

事实上现在已经有很多非常不错的数据采集工具了，有收费的也有免费的，闻道软件工作室在做第一个与爬虫相关的软件定制开发项目时最先考虑的方案就是使用现成的数据采集工具采集数据，然后再做二次加工。然而事与愿违，我们使用的好几款工具或多或少都有一些不尽人意的地方。要么是配置做得太死没办法扩展数据采集需求，要么是功能做得太强又导致配置相当复杂。为此，我们决定使用python写一个定向数据采集的框架。