游戏实时ETL和实时KPI计算平台
2021-2-2 00:30 更新
该项目flume采集数据源:游戏LCM 平台的user_login(用户登录)、user_session(用户在线)、user_consumer(用户消费)的log kafka做缓存对接,利用flink EventTime和窗口机制实时计算新用户注册数,在线人数,实时sales,dau,回流用户等KPI指标,利用redis 缓存和去重,将结果集写入mysql;每条日志写入hbase做细节查询和数据准确性校验 工作内容: 1.业务计算方案的讨论和搭建测试 2.Flink on yarn 的搭建和测试 3.flink写入redis去重,设置过期时间 4.Flink 写入hbase通用工具类的编写 5.结果集写入mysql 并做准确性校验 6.hbase到hive的ETL通用脚本开发部署