传统数据仓库迁移现代数据仓库项目
2020-12-17 20:22 更新
背景:数据仓库服务器在存储和内存瓶颈,无法满足于日益增加的海量业务数据。 过程:编写hive数据仓库开发文档,学习Hadoop大数据hive开发的相关知识,熟悉hive开发环境 ,迁移用shell脚本封装代码,一个脚本对应一张目标表,手工梳 理表任务依赖关系,打包脚本,上传azkaban,根据依赖关系自动生成任务。 难点:当时初次接触hive,不能很好的进行性能优化。 成绩:通过不断的迁移减轻压力,大大缩短批处理时长和存储压力。 涉及技术工具:Oracle,Hadoop-hive,azkaban,sqoop,finereport。