阿里云E-MapReduce团队_个人页
阿里云E-MapReduce团队
文章
220
问答
14
视频
0
个人介绍
暂无个人介绍
擅长的技术
- Java
- Python
- 前端开发
- Linux
- 数据库
暂无更多信息
2019年06月
-
06.17 15:37:00
发表了文章
2019-06-17 15:37:00
通过Spark SQL实时归档SLS数据
流式计算和SQL 简要介绍Spark SQL流式开发语法 实时归档SLS数据到HDFS -
06.15 00:18:37发表了文章
2019-06-15 00:18:37
Spark内置图像数据源初探
在Apache Spark 2.4中引入了一个新的内置数据源, 图像数据源.用户可以通过DataFrame API加载指定目录的中图像文件,生成一个DataFrame对象.通过该DataFrame对象,用户可以对图像数据进行简单的处理,然后使用MLlib进行特定的训练和分类计算. -
06.05 18:28:48发表了文章
2019-06-05 18:28:48
使用EMR Spark Relational Cache跨集群同步数据
Relational Cache是EMR Spark支持的一个重要特性，主要通过对数据进行预组织和预计算加速数据分析，提供了类似传统数据仓库物化视图的功能。除了用于提升数据处理速度，Relational Cache还可以应用于其他很多场景，本文主要介绍如何使用Relational Cache跨集群同步数据表。 -
06.05 18:23:24发表了文章
2019-06-05 18:23:24
漫谈分布式计算框架
本文主要谈了一些分布式计算框架方面的心得。 -
06.04 12:12:40发表了文章
2019-06-04 12:12:40
钉钉群直播【Structured Steaming的进阶与实践】
structured steaming因其低时延和提供的SQL API等特性被越来越多的企业所使用，作为实时计算的首选。 本次分享structured steaming的使用，包含spark 2.4 structured streaming的新特性，API原理和使用场景等的介绍。
-
发表了文章
2021-12-22
Lakehouse 架构解析与云上实践
-
发表了文章
2021-12-17
ClickHouse Keeper 源码解析
-
发表了文章
2021-12-17
【月刊】E-MapReduce 2021-11 产品月刊
-
发表了文章
2021-12-16
【月刊】E-MapReduce 2021-11 产品月刊
-
发表了文章
2021-12-14
【ClickHouse 技术系列】- ClickHouse 中的嵌套数据结构
-
发表了文章
2021-12-14
【ClickHouse 技术系列】- ClickHouse 聚合函数和聚合状态
-
发表了文章
2021-12-09
【ClickHouse 技术系列】- 在 ClickHouse 物化视图中使用 Join
-
发表了文章
2021-12-08
【ClickHouse 技术系列】- 使用新的 TTL move，将数据存储在合适的地方
-
发表了文章
2021-12-06
【ClickHouse 技术系列】- 在 ClickHouse 中处理实时更新
-
发表了文章
2021-11-24
基于 EMR OLAP 的开源实时数仓解决方案之 ClickHouse 事务实现
-
发表了文章
2021-11-18
如何构建云原生的开源大数据平台 | 产品新功能速递
-
发表了文章
2021-11-18
企业级数据湖最佳实践
-
发表了文章
2021-11-11
【月刊】E-MapReduce 2021-10 产品月刊
-
发表了文章
2021-11-10
如何构建云原生的开源大数据平台 | 微淼基于阿里云大数据生态的应用实践
-
发表了文章
2021-11-09
如何构建云原生的开源大数据平台 | InMobi 基于阿里云开源大数据服务的最佳实践
-
发表了文章
2021-11-05
如何构建云原生的开源大数据平台 | 云原生开源大数据应用实战
-
发表了文章
2021-11-05
百草味基于“ EMR+Databricks+DLF ”构建云上数据湖的最佳实践
-
发表了文章
2021-11-02
数据湖构建与计算
-
发表了文章
2021-10-28
云湖共生-释放企业数据价值
-
发表了文章
2021-10-27
贾扬清：云原生让数据湖加速迈入3.0时代
滑动查看更多
-
提交了问题
2019-07-31
阿里的EMR里推出了JindoFS, 也简称 jfs, 有用过的吗
-
回答了问题
2019-07-31
阿里的EMR里推出了JindoFS, 也简称 jfs, 有用过的吗
Jindo 是阿里云 EMR 的技术代号，寓意在云上会玩的弹性计算，JindoFS 是这个技术体系下的存储解决方案。 阿里云 HDFS 是一款云存储产品，跟 OSS 是同一级别的。JindoFS 是 EMR 产品内部的一个统一存储解决方案，对接各种存储系统。 JindoFS 是个多模系统，缓存这种模式是支持的。 JindoFS和smartFS是同类功能。 JindoFS 跟 Alluxio可能有些类似。不过我们希望更轻量，对计算和业务更透明。毕竟 Alluxio 要满足业界的各种存储系统，但是阿里云 EMR 不需要考虑那么多。赞0 踩0 评论0 -
提交了问题
2019-05-29
读取emr高安全集群的hbase数据
-
回答了问题
2019-07-17
读取emr高安全集群的hbase数据
公网环境 怎么理解走公网验证？为何不走vpn/nat方式1、本地环境和EMR交互 不在一个vpc下EMR在线上环境 vpn没有打通线上环境结果集有多大？，运算倒是可以这样搞，如果是频繁的业务交互 不建议这样，还不如 本地集群 想办法 利用 oss赞0 踩0 评论0 -
提交了问题
2019-04-26
Spark Streaming 作业运行一段时间后无故结束
-
提交了问题
2019-04-26
多个 ConsumerID 消费同一个 Topic 时出现 TPS 不一致问题
-
提交了问题
2019-04-26
第一次使用执行计划时没有安全组可选
-
提交了问题
2019-04-26
如何查看作业日志
-
提交了问题
2019-04-26
作业和执行计划的区别
-
回答了问题
2019-07-17
E-MapReduce与ODPS的区别
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。赞0 踩0 评论0 -
回答了问题
2019-07-17
使用emapreduce集群，怎么访问公网呢？包括计费等能详细解析下吗？
1.E-MapReduce目前默认会给集群的master节点开通公网IP，classic网络下按照流量收费，vpc网络下使用的是EIP，eip会收取使用费和流量费用，使用费按照小时计费(每个region不一样，看了一下大概0.05元/小时)，但是如果绑定了ecs，那么不会收取使用费，只收取流量费 2.用户自己购买的ECS(不是从E-MapReduce购买)，如果想访问E-MapReduce集群： a) classic网络的ECS -> classic网络的E-MapReduce集群,可以给E-MapReduce集群设置安全组,通过内网访问，不收取流量费用 b) classic网络的ECS -> vpc网络的E-MapReduce集群,只能通过公网访问E-MapReduce集群 c) vpc网络的ECS -> classic网络的E-MapReduce集群,只能通过公网访问E-MapReduce集群 d) vpc网络的ECS -> vpc网络的E-MapReduce集群,通过阿里云的高速通道产品进行连接访问 3.线下机器访问E-MapReduce集群，只能通过高速通道，而且E-MapReduce集群必须是VPC的 4.E-MapReduce集群访问公网 master节点默认有公网IP，可以直接访问公网，slave节点可以自己挂一个EIP，或者通过自己搭建一个NAT网关(详见https://help.aliyun.com/document_detail/27738.html)赞0 踩1 评论0 -
回答了问题
2019-07-17
我刚才提了个问题，postgresql的，说有敏感词汇，能否审核通过。
应该很快就能通过赞0 踩0 评论0 -
提交了问题
2016-05-26
如何导出HBase的表的数据
-
回答了问题
2019-07-17
使用E-MapReduce,spark中读取oss文件
看了你的日志，感觉是你的endpoint写错了把，你再确认一下。赞0 踩0 评论0
滑动查看更多
暂无更多信息