开发者社区> 云hbase+spark> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

X-Pack Spark用户手册

简介: 概述 Spark是大数据平台的通用计算平台,应用非常广泛。本文主要介绍Spark相关的知识,主要包括:了解Spark,使用Spark,使用Spark过程中遇到的问题FAQ等,谨帮助用户快速的掌握Spark以及如何使用Spark。
+关注继续查看

概述

X-Pack Spark是大数据平台的通用计算平台,应用非常广泛。本文主要介绍Spark相关的知识,主要包括:了解Spark,使用Spark,使用Spark过程中遇到的问题FAQ等,谨帮助用户快速的掌握Spark以及如何使用Spark。
X-Pack Spar兼容开源Spark,本文介绍的内素材以X-Pack Spark为背景。

大纲

基础篇

  1. Spark的入门介绍

    1. 如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析.
    2. Spark 通用的性能配置方法:内存(executor-memory)和CPU(executor-cores)的配置
    3. Spark本地连接hbase集群做调试.
  2. Spark SQL语法介绍
  3. Spark Streaming介绍
  4. Structured Streaming介绍
  5. Spark DataSource外部数据源介绍

进阶篇(高级功能)

X-Pack Spark使用[FAQ]

FAQ明细请参考:X-Pack Spark使用FAQ

X-Pack Spark之性能优化

  1. Spark Streaming 常见优化。

案例实战

  1. 广告点击数实时统计:Spark StructuredStreaming + Redis Streams
  2. SparkSQL在有赞的实践
  3. HBase+Spark游戏大数据的实践
  4. X-Pack Spark对接阿里云日志服务LogHub
  5. RDS&POLARDB归档到X-Pack Spark计算最佳实践

注意,本篇文章可以转载,但必须保留原文地址,以及上面各小结原文地址。

钉钉交流
image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
logback1.3.x配置详解与实践
当前(2022-02前后)日志框架logback的最新版本1.3.0已经更新到1.3.0-alpha14版本,此版本为非stable版本,相对于最新稳定版1.2.10来说,虽然slf4j-api版本升级了,但使用的API大体不变,对于XML配置来看提供了import标签对于多appender来说可以简化配置。鉴于软件最新版本强迫症,这里基于1.3.0-alpha14版本分析一下常用的logback配置项以及一些实践经验。
67 0
适合阿里云新用户,阿里云新购,新买的优惠活动推荐
阿里云是非常喜欢新用户的,针对新用户新购,新买推出了很多优惠活动,为的就是让广大用户能够以优惠的价格实现上云,感受云资源带来的效率和便利,下面给大家整理推荐几个适合新用户新购,新买阿里云产品的优惠活动: **活动一:个人版,企业版免费试用活动** 阿里云针对新用户,不管是企业用户还是个人用户,都可以申请到阿里云免费适用套餐,只是可能好多用户还没注意到而已,申请方法如下: 1. 打开阿里云导航栏目第一个页面,也就是[最新活动页面](https://www.aliyun.com/activity/?source=5176.11533457&userCode=se6p9xeg)。
4232 0
Spark笔试
1.Spark 的四大组件下面哪个不是 (D ) A.Spark Streaming B Mlib C Graphx D Spark R 2.
1783 0
spark
spark基本概念 http://www.cnblogs.com/shexinwei/p/4823051.
1316 0
spring 3.2.x + struts2 + mybatis 3.x + logback 整合配置
与前面的一篇mybatis 3.2.7 与 spring mvc 3.x、logback整合 相比,只是web层的MVC前端框架,从spring mvc转换成struts 2.x系列,变化并不大 一、pom.
1039 0
spark
http://spark-project.org/
517 0
36
文章
58
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载