开源大数据EMR
开源大数据EMR_个人页
开源大数据EMR
文章
269
问答
74
视频
0
个人介绍
暂无个人介绍
擅长的技术
- Java
- Python
- 前端开发
- Linux
- 数据库
暂无更多信息
暂无更多信息
-
发表了文章
2020-07-17
Apache Spark 3.0 中的向量化 IO
-
发表了文章
2020-07-17
7月23日社区直播【TFPark: Distributed TensorFlow in Production on Apache Spark】
-
发表了文章
2020-07-16
大神带练， 0基础Spark训练营限时免费抢报！
-
发表了文章
2020-07-15
SparkSQL中产生笛卡尔积的几种典型场景以及处理策略
-
发表了文章
2020-07-14
再出王牌：阿里云 Jindo DistCp 全面开放使用，成为阿里云数据迁移利器
-
发表了文章
2020-06-16
EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework
-
发表了文章
2020-06-16
我们欠国内Spark开发者的，用一场掷地有声的中文峰会来还
-
发表了文章
2020-06-12
Spark Packages寻宝（一）：简单易用的数据准备工具Optimus
-
发表了文章
2020-06-11
直播 | Delta Lake 如何帮助云用户解决数据实时入库问题
-
发表了文章
2020-06-09
6月11日 JindoFS 系列直播【JindoFS 存储策略和读写优化】
-
发表了文章
2020-06-09
Spark-TFRecord: Spark将全面支持TFRecord
-
发表了文章
2020-06-08
不通过 Spark 获取 Delta Lake Snapshot
-
发表了文章
2020-06-04
直播 | 阿里、快手、Databricks、网易云音乐...国内外大数据大佬齐聚一堂要聊啥？
-
发表了文章
2020-06-04
阿里云发起首届 Spark “数字人体” AI 挑战赛 — 聚焦上班族脊柱健康
-
发表了文章
2020-05-21
首届 Apache Spark AI智能诊断大赛重磅来袭！
-
发表了文章
2020-05-20
SparkSQL与Hive metastore Parquet转换
-
发表了文章
2020-05-19
5月21日 Spark 社区直播【Spark on Zeppelin】
-
发表了文章
2020-05-18
物化视图在 SparkSQL 中的实践
-
发表了文章
2020-05-14
招聘！招聘！招聘！计算平台解决方案架构师专场
-
发表了文章
2020-05-14
Spark + AI Summit 2020 中文议题有奖征集
滑动查看更多
-
回答了问题
2020-03-16
怎样进钉钉2个群
赞0 踩0 评论0 -
回答了问题
2019-07-17
请教一下，delta是不是可以理解为，是基于hdfs的行级别的数据库？然后对于更新数据对于hdfs产生小文件的解决方案是他会提供merge机制？
是的，可以大致这样理解。是行级别的，但下面存储格式基本上还是以 Parquet/ORC 列式为主；delta 小文件要及时合并的，否则性能很差。数据库这个提法不一定好，因为并不会用于 OLTP；可以说是数据仓库，OLAP 场景为主的。关于这个区别，我的一篇文章里面讲得比较细。可以看看。
https://yq.aliyun.com/articles/699919?spm=a2c4e.11153959.0.0.4f427507ntu6fX赞0 踩0 评论0 -
提交了问题
2019-05-05
请教一下，delta是不是可以理解为，是基于hdfs的行级别的数据库？然后对于更新数据对于hdfs产生小文件的解决方案是他会提供merge机制？
-
回答了问题
2019-07-17
workflow这个功能很期待，想问下他的工作流之间的依赖关系是怎么建立的，是用户自己定义么？
这个问题很高级，你们是不是已经在玩了？不过工作流的定义过程里面，必然会形成各个工作流节点之间的依赖关系，定义工作流本身就是定义各个节点和他们之间的上下游关系，也就形成了这些依赖关系。如果你问的是多个工作流之间是不是还可以形成更高层次的依赖关系，我没有深入去看，感觉目前还比较早一点，不一定已经支持了。
赞1 踩0 评论0 -
提交了问题
2019-05-05
workflow这个功能很期待，想问下他的工作流之间的依赖关系是怎么建立的，是用户自己定义么？
-
回答了问题
2019-07-17
spark 与 tensorflow 结合有没有方案？
分享里面(4月28日钉钉群分享）提到的 Hydrogen 项目就是要系统支持这些深度学习框架的。Spark 3.0 会包含进去。你找到相关 SPIP，JIRA 和 PPT 挖一下。
赞0 踩0 评论0 -
提交了问题
2019-05-05
spark 与 tensorflow 结合有没有方案？
-
回答了问题
2019-07-17
E-MapReduce 集群 header 节点有公网 IP，存在安全风险，是否可以通过 ECS 控制台关闭公网 IP，关闭公网 IP 是否会对 E-MapReduce 服务产生影响?
如果您没有使用 EMR 的统一元数据库功能，可以关闭公网 IP。
赞0 踩0 评论0 -
提交了问题
2019-04-26
E-MapReduce 集群 header 节点有公网 IP，存在安全风险，是否可以通过 ECS 控制台关闭公网 IP，关闭公网 IP 是否会对 E-MapReduce 服务产生影响?
-
回答了问题
2019-07-17
-
提交了问题
2019-04-26
如何登陆 Core 节点，并进行 root 权限操作
-
回答了问题
2019-07-17
E-Mapreduce 主节点不允许安装其它软件？
理论上可以在不破坏集群环境的前提下安装。但是这些软件的运行可能会影响到集群的稳定可靠性，不建议进行此类操作。
赞0 踩0 评论0 -
提交了问题
2019-04-26
E-Mapreduce 主节点不允许安装其它软件？
-
回答了问题
2019-07-17
已有/现存 ECS 是否可以用到 EMR 集群中
目前还不能支持，用户要创建 EMR 集群需要在 EMR 控制台上来创建 ECS。
赞1 踩0 评论0 -
提交了问题
2019-04-26
已有/现存 ECS 是否可以用到 EMR 集群中
-
回答了问题
2019-07-17
自动续费
EMR 支持自动续费操作，支持 EMR 和 ECS 的自动续费。
赞0 踩0 评论0 -
提交了问题
2019-04-26
自动续费
-
回答了问题
2019-07-17
集群续费问题
续费操作请参考集群续费。经常会有用户反馈续费了但是还是会通知说没有续费。这是因为 EMR 现在有 2 块，一块是 EMR，一块是 ECS，大部分的用户都只是续费了 ECS 而没有续费 EMR。您可以打开续费界面查看 ECS 和 EMR 到期时间。
赞0 踩0 评论0 -
提交了问题
2019-04-26
集群续费问题
-
回答了问题
2019-07-17
创建集群失败，构建失败 "The specified instance Type exceeds the maximum limit for the PostPaid instances. "
一般是用户的按量节点数量的上限到了。ECS 根据不同用户，按量节点上限是不一样的。需要用户去申请加大。如果确认不是上述的原因，还有一种可能是用户是没有创建的机型的权限，需要去 ECS 开通这个机型的使用权限。
赞0 踩0 评论0
滑动查看更多
暂无更多信息