中国篮协大数据大屏应用
2020-6-2 09:59 更新
 涉及范围:MySQL/Sqoop/Hive/ Oozie/Hue 等;  项目介绍:中国篮球协会篮球大数据展示大屏项目,从用户、国家队、赛事、职业赛、培训等几个方面展示数据分布、数据变化。从多个不同赛事、不同比赛、不同球队球员角度,动态的播报多维数据。  责任描述: 1、通过sqoop+oozie 方式,将数据从mysql 数据库,定时加载到Hive 中。 2、利用Hive 计算能力进行初步的清洗转换,实现数据结构的规范化、标准化。 3、Hive+Pyspark+Python 方式完成,数据计算以及复杂算法的封装。 4、最终再次通过sqoop+oozie 方式将结果层数据导入mysql。 5、配置oozie 按天调度(bundle-coordinator-workflow)。