基于ETL工具实现数据增量抽取方案

环境信息:

版本:IBM InfoSphere DataStage V11.3.1

操作系统:linux redhat 6.4

数据库版本:Oracle 11.2.0.4.0

 

主要内容

本文主要讲解,企业级数据仓库基于ETL工具实现增量加载业务系统数据方案。

数据流程图

具体数据流程图:

 

实现方案

1.数据量相对比较小,100W级别以下。

根据日调度,实现前后两天通过文件对比,获取相应增量数据。

弊端:因为ODS 系统一般是多层存储,需要保证每次日调度执行成功,否则会丢数据。

 

2.数据量相对比较大,100W级别以上。

一般业务系统会有自增长ID 列,我们会选择获取增量的时候,增加限制条件,比如SELECT * FROM TABLE_NAME WHERE ID>MAX(ID)

其中MAX(ID) 为上一次,最大ID值,在利用可以放到一个临时表。

a)在调度时获取maxid.Txt 的数据

 

b)在利用Sequence 调度 各层之后,最后触发该作业获取最大ID 存储到maxid.Txt文件中。

打赏

觉得本站还不错就打赏一下吧!

支付宝扫一扫打赏

微信扫一扫打赏

本站所有内容均来自于互联网自动采集,如无意侵犯了您的权利,请您发送邮件到admin@chinaetl.com.cn联系管理员删除。
ChinaETL » 基于ETL工具实现数据增量抽取方案