MaxCompute-GRAPH可配置参数列表(持续更新)

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

基础配置

设置Vertex类

配置:odps.graph.vertex.class
APIGraphJob.setVertexClass()
说明:设置Vertex的实现类,通常使用API设置。

设置Combiner类

配置:odps.graph.combiner.class
APIGraphJob.setCombinerClass()
说明:设置Combiner的实现类,通常使用API设置。

设置Partitioner类

配置:odps.graph.partitioner.class
APIGraphJob.setPartitionerClass()
说明:设置Partitioner的实现类,通常使用API设置。

设置Aggregator类

配置:odps.graph.aggregator.classes
APIGraphJob.setAggregatorClass()
说明:可以设置一个或多个Aggregator实现类,编号从0开始。通常使用API设置。

设置WorkerComputer类

配置:odps.graph.worker.computer.class
APIGraphJob.setWorkerComputerClass()
说明:设置WorkerComputer的实现类,通常使用API设置。

设置Loader类

配置:odps.graph.loader.class
APIGraphJob.setGraphLoaderClass()
说明:设置GraphLoader实现类,通常使用API设置。

配置Loading Resolver类

配置:odps.graph.loading.vertex.resolver.class
APIGraphJob.setLoadingVertexResolverClass()
说明:设置LoadingVertexResolver的实现类,通常使用API设置。

配置Computing Resolver类

配置:odps.graph.computing.vertex.resolver.class
APIGraphJob.setComputingVertexResolverClass()
说明:设置ComputingVertexResolver的实现类,通常使用API设置。

配置最大迭代次数

配置:odps.graph.max.iteration
APIGraphJob.setMaxIteration()
说明:设置最大迭代次数,默认 -1,小于或等于 0 时表示最大迭代次数不作为作业终止条件.

配置Worker的CPU申请量

配置:odps.graph.worker.cpu
APIGraphJob.setWorkerCPU()
说明:设置 Worker CPU,默认 200,表示两个 CPU 核. 取值范围[200, 800]

配置Worker内存申请量

配置:odps.graph.worker.memory
APIGraphJob.setWorkerMemory()
说明:设置 Worker 内存,单位MB,默认 4096. 取值范围[2048, 32768],即2G~32G。如有特殊需求,请联系ODPS-GRAPH开发人员。

配置输入表信息

配置:odps.graph.input.desc
API:GraphJob.addInput()
说明:请参考javadoc:http://odps.alibaba-inc.com/doc/prddoc/odps_graph/api/index.html

配置输出表信息

配置:odps.graph.output.desc
API:GraphJob.addOutput()
说明:请参考javadoc:http://odps.alibaba-inc.com/doc/prddoc/odps_graph/api/index.html

配置Split Size

配置:odps.graph.split.size
API:GraphJob.setSplitSize()
说明:设置输入的切分大小,单位 MB,默认 64。当没有配置odps.graph.worker.num情况下,切分的个数决定了worker的个数。

配置Worker的个数

配置:odps.graph.worker.num
API:GraphJob.setNumWorkers()
说明:设置作业并行执行的节点数,最大值4000。 默认节点数由getSplitSize()和作业输入数据量计算得到。
此接口与 setSplitSize(long) 配合使用,可以提高数据的载入速度。 假设 setNumWorkers 为 workerNum, setSplitSize 为 splitSize, 总输入字节数为 inputSize, 则输入被切分后的块数 splitNum = inputSize / splitSize,workerNum 和 splitNum 之间的关系:

若 splitNum == workerNum,每个 worker 负责载入一个 split;
若 splitNum > workerNum,每个 worker 负责载入一个或多个 split;
若 splitNum < workerNum, 每个 worker 负责载入零个或一个 split;
因此,应调节 workerNum 和 splitSize,在满足前两种情况时,数据载入比较快。迭代阶段只调节 workerNum 即可。

Failover相关配置

配置等待所有Worker启动完毕最长时间

配置:odps.graph.fuxi.job.max.wait.time
API:无
备注:单位是分钟,默认值:15

配置Load后马上执行checkpoint的时间限制

配置:odps.graph.load.checkpoint.limit.time
API:无
说明:
单位:毫秒,默认值:60000010分钟)
如果load时间超过了该值,则load完成后会立即执行一次checkpoint。

配置checkpoint执行频率

配置:odps.graph.checkpoint.superstep.frequency
API:GraphJob.setCheckpointSuperstepFrequency()
说明:
默认不设置表示按系统默认的方式做checkpoint,即间隔10分钟做一次checkpoint,如果设置,合法值是大于或等于0的整数, 0表示不进行checkpoint,大于0,表示期望每隔n轮superstep做checkpoint,若n次superstep的时间小于系统checkpoint 时间间隔(10分钟),也仍然等到10分钟后再做checkpoint.

配置checkpoint执行周期

配置:odps.graph.checkpoint.time.interval
API:无
说明:单位:秒,默认值:60010分钟)
如果没有配置odps.graph.checkpoint.superstep.frequency,则checkpoint执行周期以改参数为准;如果配置了odps.graph.checkpoint.superstep.frequency且配置值非0,则checkpoint执行周期为superstep达到odps.graph.checkpoint.superstep.frequency的整数倍且执行间隔大于该参数。
该参数从sprint17开始开放配置。

配置Failover最大重试次数

配置:odps.graph.max.attempts
API:无
说明:默认值为3

高级Feature

配置AggregatorOwnerPartitioner

配置:odps.graph.aggregator.owner.partitioner.class
API:GraphJob.setAggregatorOwnerPartitionerClass()
说明:设置AggregatorOwnerPartitioner的实现类,默认是HashAggregatorOwnerPartitioner.class

配置是否启用Tree Aggregator

配置:odps.graph.use.tree.aggregator
APIGraphJob.setUseTreeAggregator()
说明:是否启用Tree Aggregator,待补充介绍文档。

配置Tree Aggregator 深度

配置:odps.graph.aggregator.tree.depth
APIGraphJob.setAggregatorTreeDepth()
说明:启用Tree Aggregator情况下,Tree的深度。默认是2

配置是否启动广播机制

配置:odps.graph.broadcast.message.enable
APIGraphJob.setBroadcastMessageEnable()
说明:是否启用广播消息机制,待补充介绍文档。

启用多线程compute

配置:odps.graph.computing.threads
API:N/A
说明:采用多线程执行vertex.compute(),默认是1,即单个线程

其他配置项

配置Job优先级

配置:odps.graph.job.priority
API:GraphJob.setJobPriority()
说明:设置Graph作业的优先级,默认是9,取值范围[0,9],0为最高,9为最低。下个版本考虑默认值改为0.

配置cache的资源

配置:odps.graph.cache.resources
APIGraphJob.addCacheResources()
说明:设置cache资源,通过采用命令行jar -resources来指定。

配置加入classpath的资源

配置:odps.graph.cache.resources
APIGraphJob.addCacheResourcesToClassPath()
说明:配置classpath资源,通常采用命令行 jar -libjars来指定。

启用资源预留机制

配置: odps.graph.fuxi.job.resource.all_or_nothing
API: 无
说明:  设置为true,作业提交后,如当前资源不足,Fuxi会为该作业预留资源。

Graph-LOCAL 配置项

配置local run的时候下载数据的条数

配置:odps.mapred.local.record.download.limit
API:无
说明:默认100条,最大可设置上限为1万条

请在评论中给予反馈,谢谢!

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
目录
相关文章
|
3月前
|
分布式计算 资源调度 大数据
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
大数据-110 Flink 安装部署 下载解压配置 Standalone模式启动 打包依赖(一)
109 0
|
2月前
|
存储 大数据 数据管理
大数据列表分区
大数据列表分区
42 1
|
2月前
|
存储 缓存 大数据
大数据列表删除的缺点
【10月更文挑战第23天】
40 6
|
2月前
|
大数据 数据挖掘
大数据中列表删除(Listwise Deletion)
【10月更文挑战第22天】
97 4
|
2月前
|
存储 数据采集 大数据
大数据列表删除的优点
【10月更文挑战第23天】
44 2
|
3月前
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
57 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
2月前
|
数据采集 大数据 数据安全/隐私保护
大数据列表删除的定义
【10月更文挑战第23天】
48 1
|
3月前
|
运维 监控 数据可视化
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
大数据-171 Elasticsearch ES-Head 与 Kibana 配置 使用 测试
115 1
|
3月前
|
消息中间件 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
51 2
|
3月前
|
存储 消息中间件 druid
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细!
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细!
105 1

相关产品

  • 云原生大数据计算服务 MaxCompute