潘多拉项目(电竞数据中台)
2020-11-21 21:25 更新
项⽬简介:项⽬主要是⼤数据服务,整合各个游戏数据平台的来源和赛事数据加⼯和处理,提供基 础数据,实时数据,统计数据等API供商户接⼊。项⽬分 数据,定时任务管理服务,数据来源服 务,数据处理服务,数据后台管理可视化服务,视频流解析服务,socket推送服务等 相关技术: micro,gin,etcd,kafka,activeMQ,mysql,mongoDb,elk,redis,websocket,grpc,docker,jenkins 负责内容:项⽬架构的设计,基于gomicro,gin,grpc,etcd 微服务框架的搭建。 消息中间键kafka, redis,mongoDb,kafka等⼀些基础服务组件的搭建,docker+jenkins部署流程搭建,kafka数据并发 处理,⽇志系统的搭建和代码的编写,数据最终流⼊mongoDB,基础服务的代码编写,赛果数据 统计处理服务,gitbook⽂档系统搭建,实时数据推送(websocket服务端链接) ,英雄联盟数据源接 ⼝的对接(websocket客户端接⼊重连和⼼跳) ,csgo数据爬取服务,数据来源hltv(基于goquery的实 现),elk后台检索服务实现和⽇志数据的接⼊。定时任务管理后台实现,基于gocron⼆次开发实现 shell和grpc管理爬⾍定时任务