Apache Carbondata on Preto-阿里云开发者社区

开发者社区> 大数据> 正文

Apache Carbondata on Preto

简介: 1.download apache carbondata - 1.5.3apache carbondata - 1.5.4apache spark - 2.3.2apache hadoop - 2.7.

1.download

apache carbondata - 1.5.3
apache carbondata - 1.5.4
apache spark - 2.3.2
apache hadoop - 2.7.2
presto server - 0.210
presto client - 0.210

2.Configurations

mkdir -p etc/catalog -- in presto server
touch carbondata.properties -- in presto server /conf

a).vi config.properties

######## Coordinator Configurations ##########
#
#coordinator=true
#node-scheduler.include-coordinator=false
#http-server.http.port=8086
#query.max-memory=5GB
#query.max-total-memory-per-node=5GB
#query.max-memory-per-node=3GB
#memory.heap-headroom-per-node=1GB
#discovery-server.enabled=true
#discovery.uri=http://hostname:8086
#task.max-worker-threads=4
#optimizer.dictionary-aggregation=true
#optimizer.optimize-hash-generation = false
#
##############################################
########## Worker Configurations####
#
#coordinator=false
#http-server.http.port=8086
#query.max-memory=5GB
#query.max-memory-per-node=2GB
#discovery.uri=<coordinator_ip>:8086
#
####################################

b).vi jvm.config

-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:OnOutOfMemoryError=kill -9 %p

c).vi log.properties

com.facebook.presto=INFO

d).vi node.properties

node.environment=production
node.id=c5a9ab1a-a9fe-11e9-96d8-000c2909bcd1
node.data-dir=/home/carbondata/presto-server-0.210/data

3.plugin

mkdir -p plugin/carbondata -- in presto server

cp apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar /home/carbondata/presto-server-0.210/plugin/carbondata

4.start server

./presto-server-0.210/bin/launcher start

./presto-server-0.210/bin/launcher run

5.presto-cli

mv presto-cli-0.210-executable.jar presto

./presto

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章