如何提高Pentaho Kettle的MySQL写入速度

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 使用Kettle的初期,一般只是关注Tranaction如何实现功能,对连接参数可以说基本不关注,其实这里面隐含一些性能问题,如果不熟悉这些性能参数,要想提高性能还真的不容易。
版权声明:本文为博主原创文章,未经博主允许不得转载。欢迎访问我的博客 https://blog.csdn.net/smooth00/article/details/69389424

使用Kettle的初期,一般只是关注Tranaction如何实现功能,对连接参数可以说基本不关注,其实这里面隐含一些性能问题,如果不熟悉这些性能参数,要想提高性能还真的不容易。

参考1:http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html

参考2:http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9

通过在要插入mysql的数据库连接参数中配置以下参数,就可以大量提高mysql数据批量插入的速度:


1、这是因为在数据库连接参数中配置了以下两个MySQL特定选项:

useServerPrepStmts = false
rewriteBatchedStatements = true

将会使大批量单条插入语句:

INSERT INTO t (c1,c2) VALUES ('One',1);
INSERT INTO t (c1,c2) VALUES ('Two',2);
INSERT INTO t (c1,c2) VALUES ('Three',3);

改写成真正的批量插入语句:

INSERT INTO t (c1,c2) VALUES ('One',1),('Two',2),('Three',3);

2、通过设置MySQL如下连接参数:

useCompression=true

可以实现压缩传输,优化客户端和MySQL服务器之间的通信性能。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
7月前
|
关系型数据库 MySQL 大数据
程序员小sister的烦恼_快速上手大数据ETL神器Kettle(xls导入mysql)
程序员小sister的烦恼_快速上手大数据ETL神器Kettle(xls导入mysql)
111 0
|
关系型数据库 MySQL Java
数据库迁移工具Kettle连接Mysql数据库报错:Driver class ‘org.gjt.mm.mysql.Dr...解决
数据库迁移工具Kettle连接Mysql数据库报错:Driver class ‘org.gjt.mm.mysql.Dr...解决
216 0
|
运维 Ubuntu 关系型数据库
使用kettle采集并处理mysql数据库中的数据
使用kettle采集并处理mysql数据库中的数据
使用kettle采集并处理mysql数据库中的数据
|
SQL 存储 Oracle
kettle从oracle到mysql数据迁移
kettle从oracle到mysql数据迁移
1337 0
|
SQL 搜索推荐 关系型数据库
kettle操作--excel数据导入mysql数据库
kettle操作--excel数据导入mysql数据库
kettle操作--excel数据导入mysql数据库
|
SQL 网络协议 关系型数据库
Pentaho(原Kettle)连接RDS MySQL云数据库
在2006年,Pentaho公司收购了Kettle项目,原Kettle项目发起人Matt Casters加入了Pentaho团队,成为Pentaho套件数据集成架构师。从此,Kettle成为企业级、数据集成及商业智能套件Pentaho的主要组成部分,Kettle亦重命名为Pentaho Data Integration。 本文介绍如何使用Pentaho(原Kettle)连接阿里云RDS MySQL数据库。
Pentaho(原Kettle)连接RDS MySQL云数据库
|
关系型数据库 MySQL 数据安全/隐私保护
kettle创建mysql资源库
kettle创建mysql资源库
|
Java 关系型数据库 MySQL
Kettle连接MySQL数据库出现问题,连接不上的解决方法
使用Kettle连接MySQL数据库,发生了错误
10506 0
|
监控 Java 关系型数据库
Carte+kettle+mysql性能问题定位分析记录
本文针对一次Carte+kettle+mysql的性能测试,做个简单的问题定位分析记录:
2878 0
|
3天前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
13 3