Datastage write failed: Output file full 解决

版本:IBM InfoSphere DataStage V11.5.1

操作系统:linux redhat 6.4

平台:Apache Hadoop 2.6.0-cdh5.9.0

问题描述:

 

1.APT_CombinedOperatorController,0: Fatal Error: Tsort mergeraborting: Scratch space full

2.APT_CombinedOperatorController,1: write failed: Output filefull, and no more output files

场景描述:

 

在执行主数据对比的时候,会用到Change_Capture ,该控件会把抽取数据存放到磁盘中,如果数据量大的话,会占用以下两个磁盘空间。

 

 

在Configurations  文件 default.apt  其中 resource disk 为磁盘 resourcescratchdisk  为暂存磁盘池 ,当如果执行作业完成,或者失败,该磁盘会自动释放空间。

 

APT configuration file:/onstarlog/IBM/InformationServer/Server/Configurations/default.apt

{

    node "node1"

    {

       fastname"onsgshex04vm10"

       pools ""

       resource disk"/onstarlog/IBM/InformationServer/Server/Datasets" {pools""}

       resource scratchdisk"/onstarlog/IBM/InformationServer/Server/Scratch" {pools""}

    }

    node "node2"

    {

       fastname"onsgshex04vm10"

       pools ""

       resource disk "/onstarlog/IBM/InformationServer/Server/Datasets"{pools ""}

       resource scratchdisk"/onstarlog/IBM/InformationServer/Server/Scratch" {pools""}

    }

}

解决办法:

1:增加该目录的磁盘大小

命令:

 lvextend -L +5000m/dev/mapper/vgonstar-log

 resize2fs/dev/mapper/vgonstar-log

 

2直接加载数据入库,不需要做对比动作。(建议一千万的数据量就别做对比了。或者之对比特定范围的数据)

3:数据量大的话,最好不要用Lookup 因为Lookup  是会把数据放到内存中的。同时如果没必须的话,就不要对数据做排序动作了。

 

可参考:

https://www.ibm.com/support/knowledgecenter/zh/SSZJPZ_11.5.0/com.ibm.swg.im.iis.ds.trouble.ref.doc/topics/1444852.html

打赏

觉得本站还不错就打赏一下吧!

支付宝扫一扫打赏

微信扫一扫打赏

本站所有内容均来自于互联网自动采集,如无意侵犯了您的权利,请您发送邮件到admin@chinaetl.com.cn联系管理员删除。
ChinaETL » Datastage write failed: Output file full 解决