AI 助理
备案控制台

开源大数据平台 E-MapReduce

首页 标签 开源大数据平台 E-MapReduce
# 开源大数据平台 E-MapReduce #
关注
1808内容
相关子社区
倚天
166内容 1活动 383关注
最新 热门 文章 问答 视频 电子书 训练营 活动
鸿初
|
博文
|
来自： 大数据与机器学习
hive在E-MapReduce集群的实践（一）hive异常排查入门
hive是hadoop集群最常用的数据分析工具，只要运行sql就可以分析海量数据。初学者在使用hive时，经常会遇到各种问题，不知道该怎么解决。 本文是hive实践系列的第一篇，以E-MapReduce集群环境为例，介绍常见的hive执行异常，定位和解决方法，以及hive日志查看方法。
# 开源大数据平台 E-MapReduce # 域名与网站 # 日志服务 # SQL # 分布式计算 # 监控 # 大数据 # HIVE
寒沙牧
|
博文
|
来自： 大数据与机器学习
Spark中的内存管理(一)
Spark应用经常遇到的问题很多都是内存问题，本文对Driver和Executor的内存管理机制进行了相关介绍。
# 开源大数据平台 E-MapReduce # 分布式计算 # 资源调度 # Spark
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
基本架构 RDS -> SLS -> Spark Streaming -> Spark HDFS 上述链路主要包含3个过程： 如何把 RDS 的 binlog 收集到 SLS。 如何通过 Spark Streaming 将 SLS 中的日志读取出来，进行分析。
# 云数据库 RDS MySQL 版 # 日志服务 # 开源大数据平台 E-MapReduce # 对象存储 # 分布式计算 # 监控 # 关系型数据库 # Apache # Spark
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
60TB 数据量的作业从 Hive 迁移到 Spark 在 Facebook 的实践
Spark 可以可靠地 shuffle 并排序 90 TB 以上的中间数据，并在一个作业中运行 250,000个 tasks。与基于 Hive 计相比，产生了显著的性能改进（ CPU性能提升、节省了资源的使用，降低延迟）。
# 开源大数据平台 E-MapReduce # SQL # 机器学习/深度学习 # 缓存 # 分布式计算 # 大数据 # 测试技术 # Apache # HIVE # Spark # 索引
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
Spark 数据倾斜及其解决方案
本文从数据倾斜的危害、现象、原因等方面，由浅入深阐述Spark数据倾斜及其解决方案。
# 开源大数据平台 E-MapReduce # 云原生大数据计算服务 MaxCompute # SQL # 人工智能 # 分布式计算 # 并行计算 # 负载均衡 # Hadoop # 大数据 # HIVE # Spark # 流计算
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
SparkSQL与Hive metastore Parquet转换
Spark SQL为了更好的性能，在读写Hive metastore parquet格式的表时，会默认使用自己的Parquet SerDe，而不是采用Hive的SerDe进行序列化和反序列化
# 开源大数据平台 E-MapReduce # SQL # 缓存 # 分布式计算 # 大数据 # Hadoop # 数据处理 # Apache # HIVE # Spark
阿里云E-MapReduce团队
|
博文
|
来自： 大数据与机器学习
EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework
EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳。来自阿里云EMR团队的周克勇将详细介绍Native Codegen框架。
# 开源大数据平台 E-MapReduce # SQL # 存储 # 缓存 # 分布式计算 # Java # 编译器 # Spark # C++ # 网络架构 # Python
阿里云E-MapReduce团队
|
博文
|
来自： 大数据与机器学习
数据湖实操讲解【 JindoTable 计算加速】第二十一讲：分层更高效，对 Hive 数仓进行热度/冷度统计
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
# 云原生数据仓库AnalyticDB MySQL版 # 对象存储 # 开源大数据平台 E-MapReduce # SQL # 存储 # 缓存 # 分布式计算 # Hadoop # HIVE # 对象存储 # Spark
灵杰开发者
|
博文
|
来自： 大数据与机器学习
Delta Lake基础介绍（商业版）【Databricks 数据洞察公开课】
介绍 Lakehouse 搜索引擎的设计思想，探讨其如何使用缓存，辅助数据结构，存储格式，动态文件剪枝，以及 vectorized execution 达到优越的处理性能。
# 开源大数据平台 E-MapReduce # 存储 # SQL # 缓存 # 搜索推荐 # 固态存储 # 数据管理 # Scala # 文件存储 # 索引 # Python
灵杰开发者
|
博文
|
来自： 大数据与机器学习
使用Databricks+Mlflow进行机器学习模型的训练和部署【Databricks 数据洞察公开课】
介绍如何使用Databricks和MLflow搭建机器学习生命周期管理平台，实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。
# 开源大数据平台 E-MapReduce # 机器学习/深度学习 # 存储 # 弹性计算 # 算法 # 关系型数据库 # API # 开发工具 # 对象存储 # 网络架构 # git
免费试用