华润集团人力资源分析项目升级
2020-12-17 20:35 更新
背景:原分析项目分析数据存储在Oracle中,业务逻辑靠informatica从业务系统同步数据的过程中处理,但是informatica只是一个etl数据同步工具,并不适合处理业务逻辑,导致出现维护复杂,嵌套任务过多,效率低下等问题。 过程:参考informatica数据同步处理逻辑,在原有基础上重新设计维表和事实模型表,最终根据不同业务模块设计并开发出不同的业务模型表,一张模型表对应一个业务模块。 难点:原informatica同步逻辑过于复杂,查找逻辑过程很繁琐,同时报表工具为BIEE,基于BIEE报表工具特性,要求设计出的最终模型整合程度较高。 涉及技术工具:hive,impala,Hadoop,azkaban,biee,Oracle,sqoop