AI 助理
备案控制台
开发者社区 数据库 NoSQL数据库 文章 正文

阿里云分析引擎Spark On 多数据源介绍

2019-01-29 67935
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 MongoDB，独享型 2核8GB
推荐场景：
构建全方位客户视图
云数据库 Tair（兼容Redis），内存型 2GB
推荐场景：
通过缓存加速数据库访问
Redis 开源版，标准版 2GB
推荐场景：
搭建游戏排行榜
简介： 主题：阿里云分析引擎Spark On 多数据源介绍 讲师：云覆（周广成)--阿里数据库产品专家

_2019_01_29_6_21_16

主题：阿里云分析引擎Spark On 多数据源介绍

讲师：云覆（周广成)--阿里数据库产品专家

内容概要：阿里云的分析引擎基于开源Spark构建分析HBase数据、Phoenix、MongoDB、RDS等多数据源的能力，本次分享主要介绍分析引擎Spark分析多数据库的原理、用法和场景介绍。

视频回看地址：https://yq.aliyun.com/live/854

PPT下载地址：https://yq.aliyun.com/download/3313

文章标签：
数据库
分布式计算
Spark
关键词：
阿里云apache spark
apache spark分析
apache spark引擎
apache spark阿里云
apache spark多数据源
hbase小能手
+关注
112文章338问答
目录
打赏
0
0
0
3
3693
分享
相关文章
技术小达人
|
2月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
技术小达人
47 0
阿里云大数据
|
2月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
阿里云大数据
224 2
阿里云大数据
|
2月前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
阿里云大数据
200 15
技术小达人
|
3月前
|
SQL 分布式计算 Java
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
技术小达人
253 0
aliyun4381607004
|
5月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
aliyun4381607004
183 1
扬流
|
6月前
|
SQL 分布式计算 Serverless
EMR Serverless Spark：一站式全托管湖仓分析利器
本文根据2024云栖大会阿里云 EMR 团队负责人李钰（绝顶） 演讲实录整理而成
扬流
336 2
LKIDTI数据
|
6月前
|
设计模式 数据采集 分布式计算
企业spark案例 —出租车轨迹分析
企业spark案例 —出租车轨迹分析
LKIDTI数据
175 0
扬流
|
7月前
|
SQL 分布式计算 Serverless
阿里云 EMR Serverless Spark 版正式开启商业化
阿里云 EMR Serverless Spark 版正式开启商业化，内置 Fusion Engine，100% 兼容开源 Spark 编程接口，相比于开源 Spark 性能提升300%；提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验！
扬流
288 3
阿里云 EMR Serverless Spark 版正式开启商业化
呆呆宝
|
8月前
|
分布式计算 Apache 数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
呆呆宝
95 1
阿里云瑶池数据库
|
8月前
|
分布式计算 安全 OLAP
7倍性能提升｜阿里云AnalyticDB Spark向量化能力解析
AnalyticDB Spark如何通过向量化引擎提升性能？
阿里云瑶池数据库
521 13
数据库

NoSQL数据库
+关注

热门文章

最新文章

  • 1
    阿里云分析引擎Spark On 多数据源介绍
    65855
  • 2
    redis4.0、codis、阿里云redis 3种redis集群对比分析
    35577
  • 3
    NoSQL最新现状和趋势：云NoSQL数据库将成重要增长引擎
    35258
  • 4
    MongoDB 生态 - 可视化管理工具
    29983
  • 5
    12306的西天取经路 - 春节抢票与PostgreSQL数据库设计思考
    24824
  • 6
    HBase的备份以及恢复方案
    23359
  • 7
    MongoDB Driver：使用正确的姿势连接复制集
    21677
  • 8
    阿里云图数据库GDB揭秘
    20292
  • 9
    案例篇-HBase 基本知识介绍及典型案例分析
    20231
  • 10
    Apache Cassandra 简介
    19509
  • 1
    成都品茶云源生上课海选工作室qq形态2025数据平台完善法
    42
  • 2
    当「内容科技企业」遇上多模数据库：新榜采用Lindorm打造全域数据“超级底盘”
    75
  • 3
    Redis应用—9.简单应用汇总
    138
  • 4
    Redis应用—8.相关的缓存框架
    112
  • 5
    Redis应用—7.大Value处理方案
    129
  • 6
    Redis应用—6.热key探测设计与实践
    142
  • 7
    Redis应用—5.Redis相关解决方案
    69
  • 8
    Redis应用—4.在库存里的应用
    68
  • 9
    Redis应用—3.在购物车里的应用
    54
  • 10
    Redis应用—2.在列表数据里的应用
    95

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 如何实现AnalyticDB MySQL多租户功能
  • 海量数据下Lindorm查询实践
  • 5分钟上手Flink MySQL连接器
  • 基于Flink+Tair搭建实时监控大屏
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 通过Lindorm-cli连接并使用宽表引擎
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月