备案控制台

开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

hdfs上的数据导入到clickhouse用什么方式最快呢？spark通过jdbc导入，还是hdfs

hdfs上的数据导入到clickhouse用什么方式最快呢？spark通过jdbc导入，还是hdfs表引擎创建一个ck表，然后再转为mergeTree ？

展开

收起

游客3oewgrzrf6o5c 2022-06-30 16:20:54 898 0

1 条回答

写回答

取消提交回答

游客bcfx2q4kttgbm

hdfs 上如果存的是 hive 表数据的话，ck 现在新版本可以直接用 hive 表引擎导数。如果 ck 版本不行的话用 spark 导数会比较好。其它的话看情况。（此答案整理自EMR OLAP(ClickHouse&StarRocks) 用户技术交流群）

2022-06-30 16:30:40

赞同展开评论打赏

问答分类：

分布式计算 Java 数据库连接 Spark 云数据库 ClickHouse 开源大数据平台 E-MapReduce

问答标签：

云数据库 ClickHouse spark 云数据库 ClickHouse hdfs apache spark JDBC spark jdbc apache spark HDFS

问答地址：

开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

如何在Clickhouse中将一个表的数据分组并同步到另一张表中

206

1

0

OSS导入数据到ClickHouse支持压缩文件导入吗

45

1

0

spark 写入oss-hdfs任务，spark客户端一直在等待，如何解决？

60

1

0

DataWorks中mc同步到clickhouse的数据怎么办？

40

1

0

EMR全托管starrocks集群使用spark connector导入任务事务处理慢如何解决

68

1

0

ClickHouse rds同步数据出现遗漏

45

1

0

Maxcompute数据表中的数据能否导入到自建的ClickHouse中

46

1

0

Flink ClickHouse结果表是否支持回撤更新数据

55

1

0

Maxcompute导入clickhouse如何全量覆盖

35

1

0

flinkcdc现在设置ck为3min中，数据延迟感觉有几十秒怎么办？

55

0

0

大数据与机器学习

开源大数据平台 E-MapReduce

阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

我要提问

热门讨论

热门文章

阿里云共享块存储和NAS还有OSS的区别是什么呀

EMR StarRocks有hive或spark的炸裂函数，类似explode可以用吗?

hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？

Spark3 Join Hints是什么？

Cosco的优势是什么？

NeuSoft是什么？

阿里云数据湖存储OSS的产生背景是什么？

阿里云E-MapReduce中JindoDistCp 有什么参数覆盖目标目录吗？

怎样进钉钉2个群

展开全部

阿里封神谈hadoop生态学习之路

现代流式计算的基石：Google DataFlow

阿里封神-大数据处理技术漫谈

JindoFS概述：云原生的大数据计算存储分离方案

5W1H(六何分析法)全景洞察大数据

在 Apache Spark 中利用 HyperLogLog 函数实现高级分析

【译】使用Spark SQL 运行大规模基因组工作流

使用Hive进行OSS数据处理的一个最佳实践

如何在E-MapReduce中玩转OSS

HBase写性能优化

展开全部

相关课程

更多

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

411

33

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段

125

25

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段

136

19

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段

153

32

去学习

Hadoop 分布式文件系统 HDFS

1164

43

去学习

大数据实时计算框架Spark快速入门

1025

93

去学习

相关电子书

更多

Hybrid Cloud and Apache Spark 立即下载

Scalable Deep Learning on Spark 立即下载

Comparison of Spark SQL with Hive 立即下载

相关实验场景

更多