AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】2017年大数据与Spark的发展趋势

2017-02-11 2480
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Matei Zaharia在Spark Summit East 2017上的演讲，主要介绍了2016年以及2017年大数据与Spark技术的未来的汇合的发展趋势以及Databricks对于使Spark与像深度学习库这样的原生代码能够更好地进行交互所做的工作。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Matei Zaharia在Spark Summit East 2017上的演讲，主要介绍了2016年以及2017年大数据与Spark技术的未来的汇合的发展趋势以及Databricks对于使Spark与像深度学习库这样的原生代码能够更好地进行交互所做的工作。


b4233843ee3c81b2827df17f60db1de8e662abf7

abc813d14bfdcba358e6647e5cc621d6dba574e3

dafcd06f10dbf2b1fd9eb57ec9a38299210cc719

492e8367e5751626facbb88d53c2babdfc537cb3

9930bef02f15661bd1238243bfe05a393695a043

a482756092849c15efc5f33ad3cb76121d503fc5

90b302d1cade939c73b3da07723c299137443fa1

c101fd49c883254770780f81656569caaf70acf7

c89310342a4be7b3eab560d758019eb5670342bd

109bee6c9e48d624f969bbb1bfcd3310cb54c722

f2b6e782f9ed6d083b160d20e3eb390c60386c2d

3402f6c81f82547328ffa7d2fbd47f6bc34aa4da

79be66871c6e5e17b64fc0fe6775a55f824d8cb7

d19462f4dcf1ba674498ba78381e0faf72e6c0c5

1d37f6b95a94ccf231886e00bca0d80ee8f48d50

a0dd54885de42f3a9db6556a935aff8a0296ba25

52d2e53a3b341cf096a4fd7c4626953089c5795c

c43d3237656b6e64b1be266a4e0e0c3c8b0b9ccf

6501bcd3a75018f8326becd4d4f3b74b98233820

d532296071d5a354c57e7b0e3654f39299923dc6

db184c6f70620da0e3b3004c9e3391e8996d23d3

44a7bfb36c2dc84657f733cdb95a09e2f4d1ed80

bc0e1eb5ec324e597374f1626b1f001066ff49a0

eb6429b8f27979966bf37be02718fdf978788a0f

8c0ec5e7313fc926286aaa7642498eadf0664975

e906238efe1f5c44fd61a3084555ea705b7fabcb

234956ce19b253e5aa47965a8c3c34ef5e86689b

cfe93145f2937381b04e5dd9cb196c7873fd013c

3653eb8078c3b720c0a0b138816d1ae12d8dffac

dbe9bcdfbd0bd78f9dd74ffaaf36ea72fac8be75

文章标签：
云原生大数据计算服务 MaxCompute
大数据
机器学习/深度学习
分布式计算
Spark
MaxCompute
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
小猫吃鱼569
目录
相关文章
大熊计算机
|
人工智能 分布式计算 大数据
大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
本文探讨了大数据场景下降维的核心问题与解决方案，重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例，揭示高维空间中样本稀疏性问题，并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用，包括数据准备、核心实现与效果评估，同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外，还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应，为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则，展望未来发展方向。
大熊计算机
816 0
郑小健
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
1355 2
ClickHouse与大数据生态集成：Spark & Flink 实战
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
900 79
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
845 2
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
791 1
aliyun4381607004
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
aliyun4381607004
1065 1
郑小健
|
分布式计算 大数据 OLAP
AnalyticDB与大数据生态集成：Spark & Flink
【10月更文挑战第25天】在大数据时代，实时数据处理和分析变得越来越重要。AnalyticDB（ADB）是阿里云推出的一款完全托管的实时数据仓库服务，支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力，将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发，分享如何将AnalyticDB与Spark和Flink集成，构建端到端的大数据处理流水线，实现数据的实时分析和处理。
郑小健
671 1
Echo_Wish
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的：聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的：聊聊如何用大数据提升灾难预警的精准度
Echo_Wish
748 14
1062754335
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术，构建一体化智能化数据平台，涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理，强化数据安全与流通，提升业务效率与决策能力，助力数字化改革。
1062754335
513 4
Echo_Wish
|
机器学习/深度学习 运维 监控
运维不怕事多，就怕没数据——用大数据喂饱你的运维策略
运维不怕事多，就怕没数据——用大数据喂饱你的运维策略
Echo_Wish
1211 0

热门文章

最新文章

  • 1
    【大数据 】SparkSQL连接查询中的谓词下推处理(二)
  • 2
    阿里开发者招聘节 | 阿里云MaxCompute平台诚招技术人才啦！
  • 3
    【大数据开发套件调度配置实践】——不同周期任务依赖配置
  • 4
    如何让大数据成为电力企业竞争的核心资本？
  • 5
    阿里云数加大数据计算服务MaxCompute学习路线图：从入门到精通
  • 6
    「AIGC算法」大数据架构Lambda和Kappa
  • 7
    大数据环境下的房地产数据分析与预测研究的设计与实现
  • 8
    大代码时代的基建：CodeFuse-Query代码大数据分析平台
  • 9
    《离线和实时大数据开发实战》（三）Hadoop原理实战
  • 10
    Java 大视界 -- Java 大数据在智能物流运输车辆智能调度与路径优化中的技术实现（218）
  • 1
    Linux环境下 java程序提交spark任务到Yarn报错
    365
  • 2
    Kubeflow-Spark-Operator-架构学习指南
    675
  • 3
    阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
    884
  • 4
    springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理
    681
  • 5
    Spark SQL架构及高级用法
    1002
  • 6
    大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
    816
  • 7
    一体系数据平台的进化：基于阿里云 EMR Serverless Spark 的持续演进
    580
  • 8
    Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速
    1160
  • 9
    3 秒音频也能克隆？拆解 Spark-TTS 架构的极致小样本学习
    1210
  • 10
    从InfluxDB到StarRocks：Grab实现Spark监控平台10倍性能提升
    683

    • 相关课程

    更多
  • 阿里云大数据工程师ACA认证（2026版）
  • 阿里云专有云大数据高级运维工程师ACP认证课程
  • 阿里云大数据高级工程师ACP认证课程
  • 基于阿里云MaxCompute搭建数据仓库（离线）
  • 基于MaxCompute的热门话题分析

    • 相关电子书

    更多
  • MaxCompute Serverless 架构演进
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！