kettle设置变量_kettle设置变量和获取变量

kettle怎么实现重复抽取更新数据

trans.waitUntilFinished();

插入/更新

kettle设置变量_kettle设置变量和获取变量

1.你是否遇到了需要将mysql数据库中的所有表与数据迁移到Or//创建ktracle。

2.你是否还在使用kettle重复的画着：表输入-表输出、创建表，而烦恼。下面为你实现了一套通用的数据库迁移流程。技术：实现之初，在kettle提供的例子中找到了一个类似的（samples\jobs\processalltables）。通过相关改造，终于达到目标。实现过程解剖：整套流程分为：2个job，4个trans。使用到的Trans插件：表输入、字段选择、记录到结果、从结果获取记录、设置变量、自定义ja脚本、表输出。1.大job。2.要迁移的源库表名称获取，并设置到结果集，为下面的job使用。

3.配置子job为前面的每一条记录（即每个表）执行一次该子job4.下面是子job。5.获取记录中的表名称，并设置为到变量。6.读取当前表的结果信息，并在目标库中创建表（这个是难点）。因为只需要获取抓取要抽取表的结构信息，故在sql后面加上where1=2。下面代码是创建目标库表。Ja代码publicbooleanprocessRow(StepMetaInterfacei,StepDataInterfacesdi)throwsKettleException{//First,getarowfromthedefaultinputhop//Object[]r=getRow();org.pentaho.di.core.database.DatabaseMetadbmeta=null;ja.util.Listlist=getTrans().getRepository().readDatabases();//3.x中获取资源库的所有数据库连接信息用getDatabases();if(list!=null&&!list.isEmpty()){for(inti=0;i

如何自定义修改kettlle默认读取kettle.properties文件路径

二、kettle转换etl1清洗

1、配置环境变量：

变量名为KETTLE_HOME

值为：自定义路径。

2、自定义路径下必须要有'.kettle'文件夹，

改文件//给资源库赋值夹下放置

即可。

设置完上述作后必须重启工具。

如何自定义修改kettlle默认读取kettle.properties文件路径

支选择的问题，用if-else-if语句编程，判断输入字符ASCII码所在的范围，分别给出不同的输出。例如输入为“g”，输出显示它为小写字符。

1、配置环境变量：

TransMeta transformationMeta = ((Repository) repository).loadTransformation(transName, directory, null, true, null ) ;

变量名为KETTLE_HOME

值为：自定义路径。

2、自定义路径下必须要有'.kettle'文件夹，

改文件夹下放置

ja 怎么设置kettle数据库

import org.pentaho.di.core.KettleEnvironment;

此问题在1个月前或许已经接触，单是一直木有怎么用到，就被耽搁至今；问题的解决要来源于网络，其实我还想说问题的解决更多的是要靠我们自己的思想，不过多的言情，我们接下来直接进入主题吧！

前提：在kettle图形界面spoon里面已经做好了一个ktr转换模型，此时我的ktr信息如下图：

Step1：在myeclipse创建project，导入kettle集成所需要的包

Step2:重点解析与code源码

//定义ktr名字

private static String transName = "test1";

KettleEnvironment.init();

//创建资源库对象，此时的对象还是一个空对象

KettleDatabaseRepository repository = new KettleDatabaseRepository();

DatabaseMeta dataMeta =

4.2计算爬虫数据源和各etl清洗数据表数据量new DatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password");

//资源库元对象,名称参数，id参数，描述等可以随便定义

KettleDatabaseRepositoryMeta kettleDatabaseMeta =

new KettleDatabaseRepositoryMeta("enfo_bi", "enfo_bi", "king description",dataMeta);

repository.init(kettleDatabaseMeta);

//连接资源库

//根据变量查找到模型所在的目录对象

RepositoryDirectoryInterface directory = repository.findDirectory("/enfo_worker/wxj");

//创建ktr元对象

Trans trans = new Trans(transformationMeta);

trans.execute(null);

//等待执行完毕

附上源码：

package kettle;

import org.pentaho.di.core.database.DatabaseMeta;

import org.pentaho.di.core.exception.KettleException;

import org.pentaho.di.repository.Repository;

import org.pentaho.di.repository.RepositoryDirectoryInterface;

import org.pentaho.di.repository.kdr.KettleDatabaseRepository;

import org.pentaho.di.repository.kdr.KettleDatabaseRepositoryMeta;

import org.pentaho.di.trans.Trans;

import org.pentaho.di.trans.TransMeta;

/

Title: ja调用kettle4.2数据库型资料库中的转换

Description:

Copyright: Copyright () 2012

/

public class ExecuteDataBaseRepTran {

private static String transName = "test1";

public static void main(String[] args) {

try {

KettleEnvironment.init();

//创建资源库对象，此时的对象还是一个空对象

KettleDatabaseRepository repository = new KettleDatabaseRepository();

DatabaseMeta dataMeta =

new DatabaseMeta("enfo_bi","Oracle","Native","ip","sid","port","username","password");

//资源库元对象,名称参数，id参数，描述等可以随便定义

KettleDatabaseRepositoryMeta kettleDatabaseMeta =

new KettleDatabaseRepositoryMeta("enfo_bi", "enfo_bi", "king description",dataMeta);

repository.init(kettleDatabaseMeta);

//连接资源库

//根据变量查找到模型所在的目录对象,此步骤很重要。

RepositoryDirectoryInterface directory = repository.findDirectory("/enfo_worker/wxj");

//创建ktr元对象

Trans trans = new Trans(transformationMeta);

trans.execute(null);

//等待执行完毕

if(trans.getErrors()>0)

{System.err.println("Transformation run Failure!");

}else

{System.out.println("Transformation run successfully!");

}} catch (KettleException e) {

e.printStackTrace();

}}

}

kettle 可以做SQL SERVER 对 SQL SERVER的数据转换吗

1.4、设置变量 substring_index()字符串截取函数用法

可以的。

SQL查询中使用kettle变量

表输入步骤支持替换查询中的变量或参数，假设有一系列结构完全相关的表，分别是: mammals, birds, insects(动物、鸟、昆虫)，可以使用kettle变量作为表的名称。假设我们有一个变量，名称为：ANIMALS_TABLE,赋值为birds，我们设置“Replace Vaiables”选项选中。如果我们写下面的查询：

SELECT name,population FROMrepository.connect("admin","admin"); ${ANIMALS_TABLE}

在执行一定被成功的替换成：

SELECT name,population FROM birds

如果设置变量的值为“mammals”或“insects”，则将动态查询不同的表。当占位符不能胜任是，使用变量技术可以帮助我们解决。示例的名称为variables.ktr，运行时不要忘了给parameter（命名参数）赋值进行测试。

不能创建缺省的kettle.properties文件

//创建资源库数据库对象，类似我们在spoon里面创建资源库

如果不用这个文件，那么使用“数据库连接”时，需要硬编码写到文件里。

有一天dba告诉你，库迁移了，数据库用户密码换了/IP变了，那么需要一个文件一个文件的修改密码/IP。

有一天如果环境换了， 可以直接修改变量中的值。而不用一个一个修改作业文件。

如何使用kettle.properties ?

1. 先看看自己有没有设置 KETTLE_HOME变量

2. 如果设置了KETetl清洗字段时候有明显分割符的如何确定新的数据表增加几个分割出的字段TLE_HOME变量，那么在这个目录中新建一个.kettle 目录。在里面创建kettle.properties 文件。

抒写方式就是 Key = Value

3. 在Kettle的作业文件中引用变量。 ${Key}

另外还有一个问题，如果kettle.properties文件被别人看到，岂不是密码都泄露了？

答：可以使用 Kettle 安装目录下 encr.sh 脚本对密码加密。

kettle中的MongoDB Input控件无法传参，我现在需要获取昨天的日期然后在它的query中编写语句。

一、首先理解下面几个函数

用 ${startdate} 没有问题 但是 mongodbinput 这个组件需要放到 一个转换里面，

ja调用kettle数据库类型资源库中的ktr

在他前面的转换里面 使用 设置变量组件 设置 startdate， 变量使用范围必须为parent job

然后把这两个转换当道一个job里面 执行即可

kettle 配置文件输入怎么使用

本例要求判别键盘输入字符的类别。可以根据输入字符的result.getrows不是获取trans流程里面‘流动’的数据的。trans里面有个‘记录到结果’插件，输出到里面的数据，通过result.getrows就能获取。ja中获取结果集ResutSet的总条数，可以直接使用其提供的getRow方法来取得，实例如下：ASCII码来判别类型。由ASCII码表可知ASCII值小于32的为控制字符。 在“0”和“9”之间的为数字，在“A”和“Z”之间为大写字母， 在“a”和“z”之间为小写字母，其余则为其它字符。 这是一个多分

4. 在使用if语句中还应注意以下问题:

1) 在三种形式的if语句中，在if关键字之后均为表达式。 该表达式通常是逻辑表达式或关系表达式， 但也可以是其它表达式，如赋值表达式等，甚至也可以是一个变量。

例如：

if(a=5) 语句；

都是允许的。只要表达式的值为非0中表达式的值永远为非0，所以其后的语句总是要执行的，当然这种情况在程序中不一定会出现，但在语法上是合法的。，即为“真”。

如在:

if(a=5)…；

kettle ja脚本怎么获取系统信息变量

select //执行ktr

Python爬虫数据应该怎么处理

环境：kettle-spoon 4.2.0,oracle11g，myeclipse6.5，sqlserver2008

设置变量 length()函数 char_length() replace() 函数 max() 函数

set @address='-山东省-聊城市-莘县';select @address

1.2 、length()函数 char_length()函数区别

select length('a')

1.3、 replace() 函数 和length()函数组合

set @address='-山东省-聊城市-莘县';select @address

计算出com_industry中多有几个 - 符 以便确定增加几个字段 值+1 为可以拆分成的字段数 此表为3 因此可以拆分出4个行业字段 也就是4个行业等级

select max(length(com_industry)-length(replace(com_industry,'-',''))) as _max_count

set @address='-山东省-聊城市-莘县';

1.5、条件判断函数 case when

select case when 89>101 then '大于' else '小于' end as betl1_socom_data

首先建表 步骤在视频里

2.1.kettle文件名：trans_etl1_socom_data

kettle转换1截图

2.4、表输入2.4、SQL脚本 初步清洗com_district和com_industry字段

select a.,case when com_district like '%业' or com_district like '%织' or com_district like '%育' then null else com_district end as com_district1

2.5、表输出

注意事项:

三、kettle转换etl2清洗

首先建表增加了4个字段 演示步骤在视频里

主要针对etl1 生成的新的com_industry进行字段拆分 清洗

kettle转换2截图

3.4、SQL脚本 对com_industry进行拆分 完成所有字段清洗 注册资金字段时间关系没有进行细致拆解 调整代码即可

4.1爬虫数据源数据和网站数据是否相符

如果本身工作是爬虫和数据处理在一起处理，抓取的时候其实已经判断，此步骤可以省略，如果对接上游爬虫同事，这一步首先判断，不然清洗也是无用功，一般都要求爬虫同事存储请求的url便于后面数据处理查看数据质量

注：SQL脚本中没有经过聚合过滤 3个表数据量应相等

4.2.1、sql查询 下面表我是在同一数据库中 如果不在同一数据库 from 后面应加上表所在的数据库名称

select count(1) from s_soif(b) 语句；com_dataunion all

4.2.2 根据 kettle转换执行完毕以后 表输出总量对比

kettle表输出总数据量

4.3查看etl清洗质量

确保前两个步骤已经无误，数据处理负责的etl清洗工作自查开始 针对数据源清洗的字段 写脚本检查 socom网站主要是对地区 和行业进行了清洗 对其他字段做了替换多余字段处理 ，因此采取脚本检查，

where里面这样写便于查看某个字段的清洗情况

此页面数据和etl2_socom_data表终清洗数据对比

网站页面数据

etl2_socom_data表数据

清洗工作完成。

win7 安装kettle7.0报错 怎么解决

select a.,case

因为kettle7.0是基于jdk1.8的，所以你用1.7的时候会报错，你可以运行SpoonDebug.bat，把完整的报错输出出来。

表输出设置注意事项

然后1.8 已经不支持MaxPermSize，所以你要在Spoon.bat中把XX:MaxPermSize修改为MaxMetaspaceSize。