AI 助理
备案控制台

开源大数据平台 E-MapReduce

首页 标签 开源大数据平台 E-MapReduce
# 开源大数据平台 E-MapReduce #
关注
1808内容
相关子社区
倚天
166内容 1活动 383关注
最新 热门 文章 问答 视频 电子书 训练营 活动
阿里云大数据
|
11月前
|
博文
|
来自： 大数据与机器学习
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
阿里云开源大数据平台 E-MapReduce 重磅推出托管弹性伸缩功能，基于 EMR 托管弹性伸缩功能，您可以指定集群的最小和最大计算限制，EMR 会持续对与集群上运行的工作负载相关的关键指标进行采样，自动调整集群大小，以获得最佳性能和资源利用率。
# 云服务器 ECS # 弹性伸缩 # 开源大数据平台 E-MapReduce # SQL # 弹性计算 # 分布式计算 # 大数据 # 测试技术
阿里云大数据
|
8月前
|
博文
|
来自： 大数据与机器学习
立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus，解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%，Milvus 向量检索成本降低75%，支持更大规模数据处理，查询响应提速。
# 函数计算 # 开源大数据平台 E-MapReduce # 分布式计算 # 运维 # 搜索推荐 # Serverless # Spark
鸿初
|
博文
|
来自： 大数据与机器学习
hive在E-MapReduce集群的实践（一）hive异常排查入门
hive是hadoop集群最常用的数据分析工具，只要运行sql就可以分析海量数据。初学者在使用hive时，经常会遇到各种问题，不知道该怎么解决。 本文是hive实践系列的第一篇，以E-MapReduce集群环境为例，介绍常见的hive执行异常，定位和解决方法，以及hive日志查看方法。
# 开源大数据平台 E-MapReduce # 域名与网站 # 日志服务 # SQL # 分布式计算 # 监控 # 大数据 # HIVE
寒沙牧
|
博文
|
来自： 大数据与机器学习
Spark中的内存管理(一)
Spark应用经常遇到的问题很多都是内存问题，本文对Driver和Executor的内存管理机制进行了相关介绍。
# 开源大数据平台 E-MapReduce # 分布式计算 # 资源调度 # Spark
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
基本架构 RDS -> SLS -> Spark Streaming -> Spark HDFS 上述链路主要包含3个过程： 如何把 RDS 的 binlog 收集到 SLS。 如何通过 Spark Streaming 将 SLS 中的日志读取出来，进行分析。
# 云数据库 RDS MySQL 版 # 日志服务 # 开源大数据平台 E-MapReduce # 对象存储 # 分布式计算 # 监控 # 关系型数据库 # Apache # Spark
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践
Spark 可以可靠地 shuffle 并排序 90 TB 以上的中间数据，并在一个作业中运行 250,000个 tasks。与基于 Hive 计相比，产生了显著的性能改进（ CPU性能提升、节省了资源的使用，降低延迟）。
# 开源大数据平台 E-MapReduce # SQL # 机器学习/深度学习 # 缓存 # 分布式计算 # 大数据 # 测试技术 # Apache # HIVE # Spark # 索引
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
Spark 数据倾斜及其解决方案
本文从数据倾斜的危害、现象、原因等方面，由浅入深阐述Spark数据倾斜及其解决方案。
# 开源大数据平台 E-MapReduce # 云原生大数据计算服务 MaxCompute # SQL # 人工智能 # 分布式计算 # 并行计算 # 负载均衡 # Hadoop # 大数据 # HIVE # Spark # 流计算
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
SparkSQL与Hive metastore Parquet转换
Spark SQL为了更好的性能，在读写Hive metastore parquet格式的表时，会默认使用自己的Parquet SerDe，而不是采用Hive的SerDe进行序列化和反序列化
# 开源大数据平台 E-MapReduce # SQL # 缓存 # 分布式计算 # 大数据 # Hadoop # 数据处理 # Apache # HIVE # Spark
阿里云E-MapReduce团队
|
博文
|
来自： 大数据与机器学习
EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework
EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳。来自阿里云EMR团队的周克勇将详细介绍Native Codegen框架。
# 开源大数据平台 E-MapReduce # SQL # 存储 # 缓存 # 分布式计算 # Java # 编译器 # Spark # C++ # 网络架构 # Python
阿里云E-MapReduce团队
|
博文
|
来自： 大数据与机器学习
数据湖实操讲解【 JindoTable 计算加速】第二十一讲：分层更高效，对 Hive 数仓进行热度/冷度统计
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
# 云原生数据仓库AnalyticDB MySQL版 # 对象存储 # 开源大数据平台 E-MapReduce # SQL # 存储 # 缓存 # 分布式计算 # Hadoop # HIVE # 对象存储 # Spark
免费试用