Clickhouse-表引擎的一些应用心得-重命名能力-阿里云开发者社区

开发者社区> 在渝老码农> 正文

Clickhouse-表引擎的一些应用心得-重命名能力

简介: Clickhouse-表引擎的一些应用心得-重命名能力
+关注继续查看

问题场景

(1)所有表使用:MergeTree
(2)用户对某表 table1 进行大量更新操作(1w+条UPDATE操作)
(3)查询页面部分数据异常
(4)运维侧定位到clickhouse故障,无法启动

问题排查

(1)初始版本上线未使用clickhouse Replicated功能,无法在从节点恢复数据。
(2)磁盘中可以看到 table1 下存在大量mutation文件。
(3)删除mutation文件文件,clickhouse重启成功。

问题总结

Mutation操作
(1)ClickHouse 提供了 DELETE 和 UPDATE 的能力,这类操作被称为 Mutation 查询。
(2)Mutation能最终实现修改和删除,是异步实现,没有事务控制。
(3)Mutation 语句是一种“很重”的操作,更适用于批量数据的修改和删除,单条数据的UPDATE 操作代价是高昂的。
副本引擎
(1)所有表使用:MergeTree 引擎,没有备份能力;后续调整为备份引擎:Replicated功能。

后续问题

(1)ReplicatedMergeTree引擎对数据无法去重,导致数据成倍增加,统计数值成倍累加。
(2)最后,重新定义表格引擎,采用副本去重引擎:ReplicatedReplacingMergeTree
(3)每次全量导出数据时,可能会先truncate表数据,存在一段时间查询空缺。
建议使用clickhouse表重命名能力,导出完成后,重命名临时表为新表。
重命名命令:

rename table db1.table1 to db1.table2;

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9494 0
[Eclipse]国际化你的应用程序(下)
在本文的上篇里,介绍了使用Eclipse的国际化工具对程序中的字符串进行外向化处理(Extenalize),可以看出步骤是十分简单的。实在是很喜欢Eclipse这样的工具,它可以为你做很多事情,干净漂亮,但绝不会在未经你同意的情况下做任何动作,所谓“利器”也! 现在说说在资源中含有参数的情况怎样处理。
1057 0
Android应用签名详解 Eclipse+ADT
很多开辟人员不熟悉打听apk文件为什么必须签名才干公布,其实签名并非从android平台开端,在畴昔从symbian os就开端须要签名才干公布,如许可以包管每个应用法度开辟商合法id,因为android平台没有uid3的限制,项目组开放商可能经由过程应用雷同的package name来混合调换已经安装的法度。
734 0
[Eclipse]国际化你的应用程序(上)
记得几年前汉化软件一般是用二进制编辑工具在编译后的文件中查找和替换英文单词,这个过程需要使用很多技巧,非常的麻烦。而现在,在开发时对应用程序进行国际化处理已经越来越成为一个必不可少的步骤了。例如这次我参与的项目是给台湾客户做的,他们要求英文和繁体中文两个版本,幸好我们使用的开发工具是Eclipse,利用它的国际化功能可以很方便的将写在代码里的字符串提出到独立的资源文件中,这里用一个简单的例子说明一下这个过程。
897 0
如何使用Visual Studio Code调试PHP CLI应用和Web应用
在按照Jerry的公众号文章 什么?在SAP中国研究院里还需要会PHP开发? 进行XDebug在本地的配置之后,如果想使用Visual Studio Code而不是Eclipse来调试PHP应用,步骤也比较简单。
1075 0
在 Eclipse 中部署 Spring Boot / Spring Cloud 应用到阿里云
今天晚上,听了云栖社区 Java 专家 徐雷frank 老师的《Java Spring Boot开发实战系列课程》,受益匪浅,回头就写了一段程序,借助阿里云的插件工具,顺利部署到阿里云上,分享给大家。
3927 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13177 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
11507 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6891 0
+关注
在渝老码农
我想简单了,还是他想复杂了?
57
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载