Kettle 中易(transformation)的执行进程

暂且到死数据技术,当然是少不了hadoop,这只是可爱的小象。这点儿年之死数目技术非常强烈,今天自不怕也大家整理了hadoop的学习材料。希望各位学习者共勉,也接多多补充。

1,Spoon.java的main方法是整个Kettle运行的入口。当打开Kettle的设计器界面后,可以当里头规划作业及转移。这里讨论转换的实行过程。

书籍推荐

1.《Hadoop实战》:按照人类容易懂的法阐述Hadoop如何入门的。

2.《Hadoop权威指南》(中文版):Hadoop中的圣经级教材,很咸,不过看起挺累。

3.《Hadoop技术内幕》系列:语言清晰易懂,叙述细致,校印精确,强烈推荐有志于Hadoop的同窗人手一效仿。

2,设计好一个变后,转换保存的地面文件是 .ktr文件。从
.ktr文件中得以读取出该换的头数据transMeta。

在线学习机关

1.小象学院
:大数目在线教育机构,看简介讲师都是蛮牛的,收费教育,有钱之兆好考虑。

2.实验楼:免费之IT在线实训平台,提供了hadoop学习的在线环境支持,搭配网站提供的试行指导文档可直接动手进行hadoop的行操作。

3,点击运行按钮时,触发监听器,调用Spoon.java 的runFile()
,在runFile里面调用
executeFile()。在executeFile()里面获取了transMeta数据。

免费课程

中国大学MOOC课程-大数据算法:哈尔滨工业大学王宏志先生的于中国大学MOOC的慕课。

Hadoop部署及管理
HIVE教程
Mapreduce编程系列
Mahout教程

上面4门课都是实验楼hadoop的相干课程,由于当下有关hadoop的免费课程较少,个人手上采访之尽管这些,欢迎有资源的朋友留言补充。

1  public void executeFile(boolean local, boolean remote, boolean cluster, boolean preview, boolean debug,
2       Date replayDate, boolean safe) {
3 
4     TransMeta transMeta = getActiveTransformation();//在这里得到了transMeta
5      if (transMeta != null)
6       executeTransformation(transMeta, local, remote, cluster, preview, debug, replayDate, safe,
7           transExecutionConfiguration.getLogLevel());

术博客

1.hadoop家族系列文章:粉丝日志里之博文全面细致的牵线了hadoop家族产品。

2.细细品味Hadoop:博客园推荐博主虾皮老师的博文,更新周期每周一不善,正在持续创新。

4,再调用executeTransformation(),在拖欠措施里 new
Thread,并当线程的run方法中实践该换

hadoop jira

Hadoop
jira是极好之读材料,里面来大气的PDF文档、栩栩如生的对话与追究,建议每天都念Hadoop
jira,养成习惯,并与讨论。

1.HDFS
jira

2.MapReduce
jira

3.YARN
jira

 delegates.trans.executeTransformation(transMeta, local, remote, cluster, preview, debug, replayDate,
                  safe, logLevel);

5,最终以
org.pentaho.di.ui.spoon.delegates.SpoonTransformationDelegate.java
的方法executeTransformation(TransMeta, boolean, boolean, boolean,
boolean, boolean, Date, boolean,
LogLevel)中安排好转换的参数,以及实施转换的模式,启动并推行转换。

1  else if( executionConfiguration.isExecutingStorm()){
2                 //execute transformation in storm platform
3                 activeTransGraph.startTopology(executionConfiguration);
4             }

此间做了Storm,可以为转换执行于Storm上。

 

小结:transMeta数据是构建转换的首任数据,只要取了transMeta,就好于其它地方又构建转换。而transMeta最初是当Spoon.java
的 executeFile() 里面通过 getActiveTransformation()方法赢得。