ds学习参考汇聚平台datastage开发.pptx

汇聚平台-Datastage开发张伟上海天正智能数据服务主题内容Datastage工具介绍DSJOB的开发分类DSJOB的开发步骤测试、备份相关流程Datastage相关规范说明Datastage工具介绍目标：Datastage是以 Extraction,Transformation, and Loading (ETL)为目标的工具，在基于EDW的应用开发中，专注于Extract和Load；功能：在Administrator中定义全局变量和参数；在manager中导入表定义；在designer中设计开发DSJOB，编译JOB；最后，在director中运行、监控DSJOB。安装注意事项DataStage 客户端下载： \\10.112.9.91\g$\Software\DataStageClient7.5.2 host system:10.112.9.74 user name:dsrun登陆 password :dsrun123` Project:SPDBODS(常用) 注：默认安装路径即可，否则容易出错。 安装JOB开发分类针对汇聚平台，JOB的开发主要分为库方式和文本方式两种库方式和文本方式： 1.两者在开发的过程 中，缺一不可，实际中只用到其中一种方式。 2.两者本质区别：在数据源的处理上，文本方式涉及到了脚本文件、字符集处理等工作。根据需求决定要开发哪些JOB： 全量是两个，增量是三个。DSJOB的主要开发流程总体流程： 1.根据需求填写汇聚平台数据需求申请表 2.申请通过后，提交技术方案审定表 3.技术方案批准后，进行DSJOB开发 4.根据汇聚平台测试规格说明，对已开发的DSJOB进行针对性的测试、修改等工作。 5.编写修改相关文档并提交打包详细开发步骤在实际的开发过程中，主要分以下几个大步骤，如下： 首先，在manager导入表定义 其次，在designer中开发设计DSJOB， 并编译运行。 然后，在director中监控DSJOB ，并对已开发的JOB作出指导。 最后，修改完善DSJOB并测试。详细开发步骤-导入表定义登陆manager导入表定义，如右图： user name:dsrun password:dsrun123详细开发步骤-导入表定义登陆此界面，点击import—Table Definitions—Plug-in Meta Data Definitions 导入所需的表定义，如右图：详细开发步骤-导入表定义如右图：选择需要导入的表所在的数据库，例如：Teradata Teradata director:SPDBDEV User Names:du_sa Password:du_sa导入表定义例子:导informix 的表定义，Import-Table Definitions-ODBC Table Definitions，如右图： 选择DSN详细开发步骤-导入表定义点击NEXT， 选择好数据库，过滤出要导入的表，找到后点击NEXT-IMPORT，即可完成导入表定义，如右图：Designer中设计DSJOB进入Designer，点击File-New-Parallel，保存到相应的目录下，如保存到TESTJOB/DS/NORMAL/CBS/下，即完成了简单的创建JOB.Designer中设计DSJOB取名为DS_TEST，如图： 拖入左边的Database到设计工作区，如informix，如右图：Designer中设计DSJOB根据需要，拖入Processing中相应的控件，如Copy，再拖入Database中如Teradata数据库，这样既可完成简单的JOB初步设计。如图：Designer中设计DSJOB双击设计区中informix数据源点击Output-Column-LoadDesigner中设计DSJOB点击Find，找到之前在manager导入的表定义，当然这里也可以直接从数据库中导入表定义而不需要通过manager。找到后点击OKDesigner中设计DSJOB选择需要导入的字段，如图：选择好后，点击OK，既可完成了表定义的加载，如图：Designer中设计DSJOB点击Output-Properties-Source-Read Method-Auto-generated SQL；Table=#TableName#右击Connection，添加数据库，如图：Designer中设计DSJOB相关选项如图：其中Read Method选项若选择了User-defined SQL则可以自定义SQL，增量时常用此选项，当然对应得SQL中的字段顺序最好不要任意改动，以免出错。如图