一次即兴的爬虫经历：A站B站数据分析实战

在很多领域都需要用数据来说话，整个数据的采集过程也是对思维方式的一次考验。本篇文章作者介绍了自己的一次爬虫经历，其中也讲述了自己是如何通过转换思维的方式使得整个过程更加流畅。

说明：我不是技术人员，整个过程并没有涉及到一定需要技术的地方。

不过，非技术人员去抓取数据，岂不是更有意思的一件事情？

前几天，在看B站时，突然想，是不是可以抓取数据分析一下？

曾抓取过B站番剧的数据，用于建立一个番剧排行榜，这次是投稿，难度比抓取简单的静态页面要大。

一、精益思维，第二桌面 看着电脑屏幕，遇到了第一个困难：爬虫中很多步骤很耗费资源，笔记本日常要用，我需要第二台电脑。

灵机一动，服务器是不是可以做第二个桌面呢？刚好双11各大云服务器商都在做活动，云服务器除了linux系统外，还有windows系统。

没有用过windows系统的服务器，是否该买一个呢？

想到了精益思维，我需要逐步验证来确定最适合的选项。

一步步的改变配置，来验证最适合自己的配置，从CPU核心数到内存到带宽，云服务器商都提供了按需使用的选项，可以在测试后立刻释放服务器。

在进行了多次测试后，我陷入了一个新的困惑之中：真的需要第二台电脑吗？

这真的是一个必要的选择吗？

甚至爬取数据进行分析真的是一个有意义的事情吗？

我正在整理收藏，还有大量的文章没有归档，因此耽误了计划，是否值得？

还没有开始，就已经引发思维碰撞了，这一定会是一次有趣的经历，我决定立刻行动。

此时，确认了需要第二台电脑，我面临两个选择：是选2核心4G还是选4核心8G的机子，在测试中，我使用的是2核心4G，是可以满足运行几个软件的需求的，测试中使用的带宽是3-4M，过程中并未出现卡顿情形，这说明3M绝对足够；

最终选择了4核8G2M的华为云机器，选择时，还不知道我将面临什么，在真正使用时，我将为这个选择骄傲。