基于ETL工具实现数据增量抽取方案
环境信息:
版本:IBM InfoSphere DataStage V11.3.1
操作系统:linux redhat 6.4
数据库版本:Oracle 11.2.0.4.0
主要内容
本文主要讲解,企业级数据仓库基于ETL工具实现增量加载业务系统数据方案。
数据流程图
具体数据流程图:
实现方案
1.数据量相对比较小,100W级别以下。
根据日调度,实现前后两天通过文件对比,获取相应增量数据。
弊端:因为ODS 系统一般是多层存储,需要保证每次日调度执行成功,否则会丢数据。
2.数据量相对比较大,100W级别以上。
一般业务系统会有自增长ID 列,我们会选择获取增量的时候,增加限制条件,比如SELECT * FROM TABLE_NAME WHERE ID>MAX(ID)
其中MAX(ID) 为上一次,最大ID值,在利用可以放到一个临时表。
a)在调度时获取maxid.Txt 的数据
b)在利用Sequence 调度 各层之后,最后触发该作业获取最大ID 存储到maxid.Txt文件中。
觉得本站还不错就打赏一下吧!
支付宝扫一扫打赏

微信扫一扫打赏
