无 Cookie 微博爬虫系列：话题爬虫升级

点击上方 月小水长 并 设为星标，第一时间接收干货推送

金庸老先生的《神雕侠侣》中有对于独孤求败前辈一生的剑术中有一段这样的描述：

纵横江湖三十余载，杀尽仇寇，败尽英雄，天下更无敌手，无可奈何，惟隐居深谷，以雕为友。呜呼，生平求一敌手而不可得，诚寂寥难堪也。剑魔独孤求败既无敌于天下，乃埋剑于斯。呜呼！群雄束手，长剑空利，不亦悲夫！
第一柄剑长四尺，锋利无比，剑下石片下写着：「凌厉刚猛，无坚不摧，弱冠前以之与河朔群雄争锋。」
第二片石片上没有剑，下面写着：「紫薇软剑，三十岁前所用，误伤义士不祥，悔恨无已，乃弃之深谷。」
剑魔独孤求败的第三把武器：「重剑无锋，大巧不工。四十岁前恃之横行天下。」外表黑黝，剑身深黑之中隐隐透出红光，三尺多长，共重八八六十四斤，两边剑锋都是钝口，剑尖圆圆的似是个半球。
第四个阶段才是渐入化境，第四柄木剑，石片上文字道：「四十岁之后不滞于物，草木竹石均可为剑。自此精进，渐入无剑胜有剑之境

大概意思是说，独孤求败年轻血气方刚的时候喜欢用锋利刚猛的剑，三十岁左右喜欢用紫薇软剑，按时年轻人经历世事后变成温润宽容的中年，四十岁的时候已经用上了钝剑，说明已经剑术高超，不在乎剑本身锋利与否，最后手中无剑，已达到心中有剑的化境了。

其实这几个境界，用在我这个微博爬虫系列的发展上，也有那么三分适用，最开始是手动复制 Cookie，正是凌厉刚猛的时候，接着自动生成 Cookie，差不多是重剑无锋的地步，最后就是今天正式开篇的无 Cookie 系列，渐有代码无 Cookie 胜似有 Cookie 之境界。

七分不适用说的是，我这个微博无 Cookie 系列想比较之前的并不是递进关系，而是分叉关系，另辟了一条小路，正是那句工程学那句至高无上的典籍，简单可依赖。

本系列至少会有两个 feature 的爬虫，一个是今天正式发布的话题爬虫，还有一个是无 Cookie 爬单条评论 10w+ 的评论爬虫。

无 Cookie 话题爬虫其实在 免 cookie 微博话题爬虫发布 已经初步发布过，今天是正式的升级，主要的不同的是字段信息全部和其他爬虫全部对齐和提升了可用性稳定性，其结果 csv 文件如下。

该爬虫代码全部开源在 Github 上，点击阅读原文即可直达。

拿到这份代码，唯一需要修改的地方就是 keyword，即话题的名字。

同时需要注意的是，可在for page in range处修改起始和结束页码。

无 Cookie 拿到话题下的微博数据，再有无 Cookie 抓取这些微博的评论，简直就是空手套白狼，妙哉！