必须往前走
TA的个人档案
必须往前走个人页面-阿里云开发者社区
文章
133
问答
0
个人介绍
暂无个人介绍
擅长的技术
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2019-01-10
我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。
我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。
-
发表了文章 2018-11-30
jvm经典文章整理
Java中JVM虚拟机详解 Java GC的那些事（上）(博主还有很多文章都很经典) CMS垃圾收集器介绍
-
发表了文章 2018-11-29
使用容器编排工具docker swarm安装clickhouse多机集群
1.首先需要安装docker最新版,docker 目前自带swarm容器编排工具 2.选中一台机器作为master,执行命令sudo docker swarm init [options] 3,再需要加入集群的集群上执行此命令 4.可以使用sudo docker node ls此命令来查询节点数 5编写docker-compose.yaml文件,目前我使用的是version 3版本,version2和3有区别,具体看官网介绍 贴一份完整的docker-compose.yaml供大家参考 version: '3' services: zookeeper: image: zookeeper ports: - "2181:2181" - "2182:2182" volumes: - "/data/clickhouse/zk/data:/data" - "/data/clickhouse/zk/log:/datalog" deploy: placement: constraints: - node.hostname == SHA11DMPHAMP01 # networks: # - clickhouse clickhouse203: image: yandex/clickhouse-server container_name: clickhouse203 expose: - "9000" - "8123" user: root privileged: true deploy: placement: constraints: - node.hostname == SHA11DMPHDOP01 ports: - "111.250.128.203:9000:9000" - "111.250.128.203:8123:8123" volumes: - "/data/clickhouse/etc:/etc/clickhouse-server" - "/data/clickhouse/data:/var/lib/clickhouse" - "/data/clickhouse/log:/var/log/clickhouse-server" ulimits: nofile: soft: 262144 hard: 262144 depends_on: - "zookeeper" # networks: # - clickhouse_network clickhouse204: image: yandex/clickhouse-server container_name: clickhouse204 expose: - "9000" - "8123" user: root privileged: true deploy: placement: constraints: - node.hostname == SHA11DMPHDOP02 ports: - "111.250.128.204:9001:9000" - "111.250.128.204:8124:8123" volumes: - "/data/clickhouse/etc:/etc/clickhouse-server" - "/data/clickhouse/data:/var/lib/clickhouse" - "/data/clickhouse/log:/var/log/clickhouse-server" ulimits: nofile: soft: 262144 hard: 262144 depends_on: - "zookeeper" # networks: # - clickhouse clickhouse205: image: yandex/clickhouse-server container_name: clickhouse205 expose: - "9000" - "8123" user: root privileged: true deploy: placement: constraints: - node.hostname == SHA11DMPHDOP03 ports: - "111.250.128.205:9002:9000" - "111.250.128.205:8125:8123" volumes: - "/data/clickhouse/etc:/etc/clickhouse-server" - "/data/clickhouse/data:/var/lib/clickhouse" - "/data/clickhouse/log:/var/log/clickhouse-server" ulimits: nofile: soft: 262144 hard: 262144 depends_on: - "zookeeper" # networks: # - clickhouse clickhouse206: image: yandex/clickhouse-server container_name: clickhouse206 expose: - "9000" - "8123" user: root privileged: true deploy: placement: constraints: - node.hostname == SHA11DMPHDOP04 ports: - "111.250.128.206:9003:9000" - "111.250.128.206:8126:8123" volumes: - "/data/clickhouse/etc:/etc/clickhouse-server" - "/data/clickhouse/data:/var/lib/clickhouse" - "/data/clickhouse/log:/var/log/clickhouse-server" ulimits: nofile: soft: 262144 hard: 262144 depends_on: - "zookeeper" # networks: # - clickhouse #networds: # clickhouse_network: docker-compose.yaml clickhouse的具体配置我就不介绍了,配置方面可以看我上一篇博客 希望大家尊重作者版权, 未经允许不得转载,违者必究!!
-
发表了文章 2018-11-10
clickhouse的使用和技巧,仅个人
centos 安装clickhouse curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash sudo yum list 'clickhouse*' sudo yum -y install clickhouse* docker安装可以直接克隆 https://gitee.com/pyzy/cloudcompute clickhouse 数据类型 数据类型没有boolean其他基本和hive一样,详细的看官网 clickhouse 数据类型 clickhouse 引擎 clickhouse有很多引擎,最常用的是 MergeTree家族 还有Distributed引擎 clickhouse 创建表 clickhouse可以创建本地表,分布式表,集群表 create table test()为本地表 CREATE TABLE image_label_all AS image_label ENGINE = Distributed(distable, monchickey, image_label, rand()) 分布式表 create table test on cluster()为集群表 贴一个完整的建表语句,使用ReplicatedMergeTree引擎 CREATE TABLE metro.metro_mdw_pcg ( storekey Int32, custkey Int32, cardholderkey Int32, pcg_main_cat_id Int32, pcg_main_cat_desc String, count Int32, quartly String ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/metro/metro_mdw_pcg', '{replica}') PARTITION BY (quartly, pcg_main_cat_id) ORDER BY (storekey, custkey, cardholderkey) 保证数据复制 clickhouse数据操作 增加可以使用insert; 不能修改,也不能指定删除; 可以删除分区,会删除对应的数据 我使用--help看了一下有truncate table,但是没有具体使用过,如果要全部删除数据可以删除表,然后在建表查数据 可以使用脚本操作 database=$1 table=$2 echo "Truncate table "$2 create=`clickhouse-client --database=$1 --query="SHOW CREATE TABLE $table" | tr -d '\\'` clickhouse-client --database=$1 --query="DROP TABLE $table" clickhouse-client --database=$1 --query="$create" 再导入数据就可以了 导入数据,clickhouse支持很多文件类型 详细的看官方文档,文件导入导出 贴两个经常用的文件的导入 tsv,以"\t"隔开 clickhouse-client -h badd52c42f08 --input_format_allow_errors_num=1 --input_format_allow_errors_ratio=0.1 --query="INSERT INTO tablename FORMAT TSV"<file csv 以","或者"|"隔开 clickhouse-client -h adc3eaba589c --format_csv_delimiter="|" --query='INSERT INTO tablename FORMAT CSV' < file 数据查询 clickhouse的 查询sql 表单查询基本和标准sql一样,也支持limit 分页,但是inner join 的查询写法不一样,而且我用4亿+2000万inner join的速度很慢 两个sql对比 inner join要花费将近一分钟,使用in子查询仅3秒, 建议都使用in查询,clickhouse的单表查询速度很快,3亿数据count distinct 仅1秒左右 其它的技巧和知识,本人占时未做了解,希望大家能一起学习,一起进步
-
发表了文章 2018-11-09
clickhouse修改时区
clickhouse时区设置 sudo vim /etc/clickhouse-server/config.xml <timezone>Asia/Shanghai</timezone> 保存，重启服务 sudo service clickhouse-server restart 测试： bigdata@server01:~$ clickhouse-clientClickHouse client version 18.14.13.Connecting to localhost:9000.Connected to ClickHouse server version 18.14.13 revision 54409. server01 :) select Now(); SELECT Now() ┌───────────────Now()─┐│ 2018-11-09 14:08:21 │└─────────────────────┘ 1 rows in set. Elapsed: 0.010 sec.
滑动查看更多
暂无更多信息
-
发表了文章
2017-06-20
抽象类
-
发表了文章
2017-06-22
String类中的常用方法
-
发表了文章
2017-06-23
正则表达式及例子,很实用的东西
-
发表了文章
2017-07-06
Java集合Map接口与Map.Entry学习
-
发表了文章
2017-08-26
向JSP中静态导入HTML文件时,运行jsp时,html中中文产生乱码问题最简单的解决方法
-
发表了文章
2017-09-02
js获取select的值
-
发表了文章
2017-09-02
浅谈style.,currentStyle,getComputedStyle,getAttribute
-
发表了文章
2017-09-04
实现点击向下打开,再次点击向上关闭
-
发表了文章
2017-09-05
在html中控制自动换行
-
发表了文章
2017-09-06
input单选框多选框时可用的事件
-
发表了文章
2017-09-07
Jquery 获取radio选中值
-
发表了文章
2017-09-09
Mysql高级查询 内连接和外连接详解
-
发表了文章
2017-09-11
类的生命周期
-
发表了文章
2017-09-11
PreparedStatement 基于mysql数据库做分页查询和统计查询
-
发表了文章
2017-09-11
JDBC preparedStatement分页和统计，批处理和事务
-
发表了文章
2017-09-12
CSS cursor 属性改变鼠标的样式
-
发表了文章
2017-09-14
使用ResourceBundle读取配置文件
-
发表了文章
2017-09-15
异常的捕获及处理
-
发表了文章
2017-09-15
Jsp (Java Server Pages)相关知识九大内置对象和四大作用域
-
发表了文章
2017-09-15
Tomcat数据源的原理,配置及使用(JNDI)
滑动查看更多
暂无更多信息