利用云服务器部署爬虫

开发了一个简单的爬虫，对方没有任何反爬手段，直接多线程循环遍历即可。

问题在于，对方数量略多，大约10000条，而且每条数据包含很多图片，在国内的网络下访问速度很慢。

更不用说爬虫运行完后要上传到Google Drive中。

通过实测：10000条记录在我自己的笔记本上大约要20个小时才能执行完，再花5个小时上传。太耗时间了。

虽然最终任务完成了，但是每次都这么折腾肯定是不行的。于是想到了用云服务器来完成。

先说结论：在Google Cloud Platform中创建了一个24核的机器。大约4小时不到完成爬虫任务。之后再花10分钟完成上传。当然安装命令行版的Google Drive花了额外的一点点时间。

过程：

爬虫的瓶颈应该在于网络吞吐。机器核心数只是提高了并发的线程数。但是究竟要开多台小机器，还是开一台大机器，其中的成本又该如何计算，这确实是个问题。

所以对于之后的爬虫任务，就有几个问题要考虑：

任务是否要分发到多台机器上？考虑的条件有：

• 成本
• 复杂度
• 最终输出的结果的打包问题（我还没试过在多个磁盘间转移数据，所以默认打包只能在各个磁盘内各自进行）

下次开发这样的脚本的备注：

• 脚本务必要考虑好出错的情况，尤其是文件编码方面，其次是网络访问出错，不过在服务器上这样的情况应该不多见。
• 事先估算好最终数据打包的情况，进而进行拆分到多个机器中运行。
• 做好python脚本中的log功能，最好能输出到Google的日志控制台中。
• 脚本结束即自动销毁机器。不过实际上最终上传数据还是需要一台机器的。