微博话题爬虫新增发布手机、超话字段

    点击上方 月小水长 并 设为星标，第一时间接收干货推送

最新的话题爬虫新增了 source 字段，这个字段包含了发布手机、超话等诸多信息，可以去 2021 新版微博话题爬虫发布 获取最新的爬虫文件。该爬虫爬取保存的 csv 文件如下：

文件是边抓取边保存的，保存路径在项目的 topic 文件夹下，建议在 Pycharm 中直接打开保存的 csv 文件。

新加了之后，新版话题爬虫的字段已经多达十四个，无论是微博 ID、发布时间，内容等微博信息，还是转发数、点赞数和评论数等社区信息，亦或者是用户名、用户主页等用户信息，还是地理位置、发布手机等其他信息，均可以抓取保存，看到很多读者在后台留言说想要新增一个发布用户的 UID，其实这个 UID 在字段用户主页 user_link 就体现出来了，user_link 里面的数字串就是 UID。可以下面的方式提取。

 if '?' in user_link:    user_link = user_link[:user_link.index('?')]user_id = user_link[user_link.rindex('/')+1:]

同时，最近使用新版微博话题爬虫时，出现 UnboundLocalError 较多

 local variable 'like_num' referenced before assignment

也一并修复了。

最后，公众号后台留言问题较多，可能有遗漏无法一一回复，新开了交流群，欢迎进群讨论。