一、目的由于kettle的任务需要用到Hadoop(HDFS),所以就要连接Hadoop服务。之前使用的是kettle9.3,由于在kettle新官网以及博客百度等渠道实在找不到shims的驱动包,无奈换成了kettle9.2,kettle9.2的安装包里自带了shims的驱动包,不需要额外下载,挺好! 二、各工具版本(一)kettle9.2.0kettle9.2.0安装包网盘链接,请看鄙人拙作http://t.csdn.cn/VccRxhttp://t.csdn.cn/VccRx里面有目前我有的各种kettle安装包网盘链接(二)Hadoop3.1.3三、前提kettle9.2已经成功连接H
我正在尝试使用Mongo中的_id字段进行更新插入。我试图通过使用Json输入步骤首先恢复_id,但没有成功使用$._id或$._id.$oid有人知道如何通过_id进行更新吗? 最佳答案 获得_id后,将其转换为Stennie使用ModifiedJavascriptValue脚本指示的扩展JSON表示法,例如:var_id='{"$oid":"'+_id+'"}';在您的MongoDBOutput步骤中,将JSON列的_id列设置为Y。我不确定这个JSON选项是什么时候引入的,但在最新的CIbuildofKettle中找到了它
前言作为一名架构师,在带领团队进行项目开发时,笔者认为一定要遵循一个原则:能借助第三方工具解决的开发任务,尽量用工具解决,以此来减少开发量,这样不但能够提高团队的工作效率,便于项目及时交付,也能在开发人员数量一定的条件下,更容易把余下的开发工作做好,也更容易提高代码质量,提高软件的稳定性。这对于交付项目,交付合格的软件产品是有好处的。本文探索的内容正是用kettle这个ETL工具来调用RestfulAPI,解决数据采集的问题。这样利用成熟的开源工具通过配置参数,就能调用接口,进行数据采集,相比安排开发人员编写代码,调试,代码提交,安排人员部署,测试人员测试,管理人员代码审核……,提高的工作效率
我正在使用PentahoKettle将Oracle数据库移动到Mongo数据库。我已经成功地完成了几乎所有我想做的事情,但我还有最后一个问题。在oracle数据库中,他们有一个字段有两个状态:Y或N,而不是漂亮的bool值true和false。我想在转换中做一个映射来说明Y是true而N是false,但是Pentaho将它翻译成字符串,而不像真正的true和false。我有设置bool值的简单方法吗?提前致谢! 最佳答案 您可以在Meta-data面板上通过Selectvalues步骤更改类型。而且有效!但是,由于PDI中bool值
前言: 前几天为了修复MySQL数据库漏洞,项目上从5.7.41版本升级到了5.7.43,今天在使用kettle时发现数据库突然连不上了,测试连接报如下错误: Errorconnectingtodatabase:(usingclassorg.gjt.mm.mysql.Driver)CommunicationslinkfailureThelastpacketsuccessfullyreceivedfromtheserverwas11millisecondsago. Thelastpacketsentsuccessfullytotheserverwas10millisecon
如何限制号。在kettle中使用的mongodb输入转换中检索到的行数。我在mongodb输入查询中尝试了以下查询,但没有一个有效:{“$查询”:{“$限制”:10}}或{"$limit":10}请让我知道哪里出错了。谢谢,深海 最佳答案 有几个querymodificationoperators您可以使用。它们的名称并不完全直观,并且与您将在Mongoshell中使用的函数名称不匹配,但它们做的事情是一样的。在您的情况下,您需要$maxScan运算符。您可以将查询写成:{"$query":{...},"$maxScan":10}
我无法使用PentahoKettle的过程调用步骤在输出流中获取MySQL过程调用的OUT参数。我在从MYSQL存储过程中检索OUT参数到流时遇到了很大的麻烦。我认为这可能是一种错误,因为它只发生在Integerout参数上,它适用于Stringout参数。我得到的异常(exception)是:InvalidvalueforgetLong()-'我认为参数设置正确,如您在ktr中所见。您可以通过这种方式复制错误:架构createschemaifnotexiststest;usetest;DROPPROCEDUREIFEXISTSprocedure_test;delimiter$$CRE
我正在使用Pentaho数据集成工具5.2版。我正在尝试使用“表格输入”步骤连接到数据库。但是当我在此步骤中测试连接时,它会给我以下错误消息。我能够使用MySQL工作台连接到数据库。我已将“mysql-connector-java-5.1.38-bin”文件放在libextforlder中。我需要降级我的连接器jar文件吗?如果是,我的SQL版本是5.6那么有人可以让我知道这个SQLServer版本的兼容连接器jar版本吗?Errorconnectingtodatabase[myLedger]:org.pentaho.di.core.exception.KettleDatabaseEx
我将Kettle4.1与MySql5.6一起使用,并尝试运行第4章demo来自PentahoKettleSolutions:BuildingOpenSourceETLSolutionswithPentahoDataIntegration我有"DimensionLookup/Update"step失败并出现错误:YouhaveanerrorinyourSQLsyntax;checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear'OPTIONSQL_SELECT_LIMIT=1'atlin
我正在尝试使用PentahoKettle软件对我的大表进行一些转换。我想执行一个操作,显示两个不同表中交替行的内容,然后我希望稍后加入两个表以进行进一步转换。工具中的脚本选项帮助我为单行或多行执行SQL脚本。任何人都可以帮助我如何为此目的选择行。 最佳答案 目前还不是很清楚您要实现的目标,但是当您将各个元素分解为离散的步骤时,它们会非常简单明了。我会使用以下步骤:表输入-允许您使用SQL语句对数据库连接进行查询。过滤行-允许您根据数据行中的选定条件将一行数据拆分为两个单独的路径。您可以通过将它们连接到任何步骤类型来实现两个或多个独立