weibo crawler简介

weibo crawler是一个新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频。感兴趣的可以下载玩玩~

功能:

连续爬取一个或多个新浪微博用户(如Dear-迪丽热巴、郭碧婷)的数据,并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据,主要有用户信息和微博信息两大类,前者包含用户昵称、关注数、粉丝数、微博数等等;后者包含微博正文、发布时间、发布工具、评论数等等,因为内容太多,这里不再赘述,详细内容见输出部分。具体的写入文件类型如下:

写入csv文件(默认)
写入json文件(可选)
写入MySQL数据库(可选)
写入MongoDB数据库(可选)
写入SQLite数据库(可选)
下载用户原创微博中的原始图片(可选)
下载用户转发微博中的原始图片(可选)
下载用户原创微博中的视频(可选)
下载用户转发微博中的视频(可选)
下载用户原创微博Live Photo中的视频(可选)
下载用户转发微博Live Photo中的视频(可选)
下载用户原创和转发微博下的一级评论(可选)
下载用户原创和转发微博下的转发(可选)
如果你只对用户信息感兴趣,而不需要爬用户的微博,也可以通过设置实现只爬取微博用户信息的功能。程序也可以实现爬取结果自动更新,即:现在爬取了目标用户的微博,几天之后,目标用户可能又发新微博了。通过设置,可以实现每隔几天增量爬取用户这几天发的新微博。具体方法见定期自动爬取微博。

输出:

用户信息

用户id:微博用户id,如”1669879400″
用户昵称:微博用户昵称,如”Dear-迪丽热巴”
性别:微博用户性别
生日:用户出生日期
所在地:用户所在地
教育经历:用户上学时学校的名字
公司:用户所属公司名字
阳光信用:用户的阳光信用
微博注册时间:用户微博注册日期
微博数:用户的全部微博数(转发微博+原创微博)
粉丝数:用户的粉丝数
关注数:用户关注的微博数量
简介:用户简介
主页地址:微博移动版主页url,如https://m.weibo.cn/u/1669879400?uid=1669879400&luicode=10000011&lfid=1005051669879400
头像url:用户头像url
高清头像url:用户高清头像url
微博等级:用户微博等级
会员等级:微博会员用户等级,普通用户该等级为0
是否认证:用户是否认证,为布尔类型
认证类型:用户认证类型,如个人认证、企业认证、政府认证等
认证信息:为认证用户特有,用户信息栏显示的认证信息

 

weibo crawler获取

github

 

1. 转载请保留原文链接谢谢! 2. 本站所有资源文章出自互联网收集整理,本站不参与制作,如果侵犯了您的合法权益,请联系本站我们会及时删除。 3. 本站发布资源来源于互联网,可能存在水印或者引流等信息,请用户擦亮眼睛自行鉴别,做一个有主见和判断力的用户。 4. 本站资源仅供研究、学习交流之用,若使用商业用途,请购买正版授权,否则产生的一切后果将由下载用户自行承担。 5. 联系方式(#替换成@):contact#ppbuzz.com