资源调度

首页 标签 资源调度
# 资源调度 #
关注
7403内容
Github Visualization / Github 数据可视化
Github Visualization / Github 数据可视化 效果: 一个简单的Github数据展示网页, 目前功能有: Tech: 使用到的技术: Purpose: TODO: Githu...
Spark中的内存管理(一)
Spark应用经常遇到的问题很多都是内存问题,本文对Driver和Executor的内存管理机制进行了相关介绍。
MaxCompute Hash Clustering介绍
Hash Clustering通过允许用户在建表时设置表的Shuffle和Sort属性,进而MaxCompute根据数据已有的存储特性,优化执行计划,提高效率,节省资源消耗。 对于Hash Clustering整体带来的性能收益,我们通过标准的TPC-H测试集进行衡量。
国泰航空牵手阿里云 人工智能助力航空产业起飞
近日,香港航空公司国泰航空与阿里巴巴旗下阿里云、飞猪及蚂蚁金服旗下支付宝达成战略合作,旨在通过互联网创新技术挖掘中国出境游市场潜力。此外,国泰航空将利用阿里云在全球的云计算基础设施布局,探索通过科技创新提升航空运营效率。
94倍性能进化!阿里云企业级ECS发布会推出最新一代异构计算产品
随着深度学习对人工智能的巨大推动,深度学习所构建的多层神经网络模型的参数空间已从百万级上升到百亿级,这对计算能力提出了新的挑战。 在8月9日的阿里云企业级ECS发布会上,最新一代异构计算通用GPU实例GN5规格族就是一款用于搭建深度学习加速平台的云端利器,相比上一代GPU计算型实例,GN5最高性能提升了整整94倍。
使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等,Combiner使用及其相关的知识,流量统计案例和流量总和以及流量排序案例,自定义Partitioner
工程结构: 在整个案例过程中,代码如下: WordCountMapper的代码如下: package cn.toto.bigdata.mr.wc;   import java.io.IOException;   import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable;
Spark ListenerBus 和 MetricsSystem 体系分析
Spark 事件体系的中枢是ListenerBus,由该类接受Event并且分发给各个Listener。MetricsSystem 则是一个为了衡量系统的各种指标的度量系统。Listener可以是MetricsSystem的信息来源之一。他们之间总体是一个互相补充的关系。
免费试用