直播间直达链接：（回看链接）
时间
7月31日19:00
主讲人：
辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作
简介：
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。 
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】
2019-07-29
1110
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
相关文章
|
7天前
|
SQL
分布式计算
HIVE
实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
82
3
3
|
10天前
|
分布式计算
大数据
数据处理
Apache Spark在大数据处理中的应用
Apache Spark是大数据处理的热门工具，由AMPLab开发并捐赠给Apache软件基金会。它以内存计算和优化的执行引擎著称，提供比Hadoop更快的处理速度，支持批处理、交互式查询、流处理和机器学习。Spark架构包括Driver、Master、Worker Node和Executor，核心组件有RDD、DataFrame、Dataset、Spark SQL、Spark Streaming、MLlib和GraphX。文章通过代码示例展示了Spark在批处理、交互式查询和实时数据处理中的应用，并讨论了其优势（高性能、易用性、通用性和集成性）和挑战。【6月更文挑战第11天】
38
6
6
|
11天前
|
SQL
分布式计算
NoSQL
|
21天前
|
分布式计算
Spark
大数据
深入探究Apache Spark在大数据处理中的实践应用
【6月更文挑战第2天】Apache Spark是流行的开源大数据处理框架，以其内存计算速度和低延迟脱颖而出。本文涵盖Spark概述、核心组件（包括Spark Core、SQL、Streaming和MLlib）及其在数据预处理、批处理分析、交互式查询、实时处理和机器学习中的应用。通过理解Spark内部机制和实践应用，可提升大数据处理效率，发挥其在各行业的潜力。
77
3
3
|
28天前
|
SQL
分布式计算
关系型数据库
使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常（字段错位）
在 MySQL 的 `order_info` 表中，包含 `order_id` 等5个字段，主要存储订单信息。执行按 `create_time` 降序的查询，显示了部分结果。在 Hive 中复制此表结构时，所有字段除 `order_id` 外设为 `string` 类型，并添加了 `etl_date` 分区字段。然而，由于使用逗号作为字段分隔符，当 `address` 字段含逗号时，数据写入 Hive 出现错位，导致 `create_time` 值变为中文字符串。问题解决方法包括更换字段分隔符或使用 Hive 默认分隔符 `\u0001`。此案例提醒在建表时需谨慎选择字段分隔符。
42
6
6
|
28天前
|
机器学习/深度学习
数据采集
分布式计算
【机器学习】Spark ML 对数据进行规范化预处理 StandardScaler 与向量拆分
标准化Scaler是数据预处理技术，用于将特征值映射到均值0、方差1的标准正态分布，以消除不同尺度特征的影响，提升模型稳定性和精度。Spark ML中的StandardScaler实现此功能，通过`.setInputCol`、`.setOutputCol`等方法配置并应用到DataFrame数据。示例展示了如何在Spark中使用StandardScaler进行数据规范化，包括创建SparkSession，构建DataFrame，使用VectorAssembler和StandardScaler，以及将向量拆分为列。规范化有助于降低特征重要性，提高模型训练速度和计算效率。
40
6
6
|
11天前
|
分布式计算
定位技术
Scala
|
11天前
|
消息中间件
分布式计算
关系型数据库
|
存储
弹性计算
安全
|
移动开发
物联网
Go
热门文章
最新文章
1
EMR Serverless Spark：结合实时计算 Flink 基于 Paimon 实现流批一体
2
阿里封神谈hadoop生态学习之路
3
分布式快照算法: Chandy-Lamport
4
如何使用Kafka Connect实现同步RDS binlog数据
5
梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
6
HIVE MapJoin异常问题处理总结
7
E-MapReduce中Spark 2.x读写MaxCompute数据
8
EMR集群上capacity scheduler的ACL实现
9
数据湖正在成为新的数据仓库
10
使用spark-redis组件访问云数据库Redis
1
阿里云 EMR StarRocks VS 开源版本功能差异介绍
25
2
首批！阿里云完成中国信通院数据智能平台专项测试
47
3
【评测有奖】参加 EMR Serverless Spark 产品评测，赢机械键盘、充电宝等礼品！
49
4
EMR Serverless Spark：结合实时计算 Flink 基于 Paimon 实现流批一体
60029
5
客户案例 | 阿里云向量检索 Milvus 版在识货电商检索场景的应用与实践
183
6
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
56415
7
阿里云 EMR Serverless StarRocks3.x，极速统一的湖仓新范式
936
8
阿里云 EMR Serverless Spark 版开启免费公测
543
9
文心大模型的智能体（Agent）平台
297
10
阿里巴巴的通义千问大模型
620