B站数据爬取
2020-11-26 16:23 更新
项目简介:该项目是抓取B站的上榜视频数据 项目描述: 1、采用scrapy框架进行异步爬取 2、分析出B站的api接口链接 3、解析接口返回的json数据,提取内容 4、使用mysql数据库作为本地数据,将视频的标题,up主,播放量,点赞收藏量等数据异步保存到数据库中 5、重写下载器中间件,使用ip代理,防止IP被封禁