阿里云E-MapReduce团队个人页面-阿里云开发者社区

个人头像照片 阿里云E-MapReduce团队 TA的个人档案
个人头像照片

个人介绍

暂无个人介绍

擅长的技术

  • Java
  • Python
  • 前端开发
  • Linux
  • 数据库
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
滑动查看更多

2021年02月

  • 02.26 18:52:37
    发表了文章 2021-02-26 18:52:37

    Delta Lake在Soul的应用实践

    Delta Lake在Soul的应用实践
  • 02.25 14:13:52
    发表了文章 2021-02-25 14:13:52

    阿里云EMR实习生招聘

    阿里云EMR实习生招聘
  • 02.07 13:20:54
    发表了文章 2021-02-07 13:20:54

    数禾云上数据湖最佳实践

    数禾云上数据湖最佳实践
  • 02.07 13:19:22
    发表了文章 2021-02-07 13:19:22

    拥抱云原生,Fluid结合JindoFS :阿里云OSS加速利器

    拥抱云原生,Fluid结合JindoFS :阿里云OSS加速利器
  • 02.07 13:18:06
    发表了文章 2021-02-07 13:18:06

    10亿+文件数压测,阿里云JindoFS轻松应对

    10亿+文件数压测,阿里云JindoFS轻松应对
  • 02.04 19:08:45
    发表了文章 2021-02-04 19:08:45

    10亿+文件数压测,阿里云JindoFS轻松应对

    10亿+文件数压测,阿里云JindoFS轻松应对
  • 02.02 17:45:53
    发表了文章 2021-02-02 17:45:53

    拥抱云原生,Fluid结合JindoFS :阿里云OSS加速利器

    拥抱云原生,Fluid结合JindoFS :阿里云OSS加速利器
  • 02.01 19:09:29
    发表了文章 2021-02-01 19:09:29

    E-MapReduce 2021-01 产品月刊

    E-MapReduce 2021-01 产品月刊

2021年01月

  • 01.18 23:52:12
    发表了文章 2021-01-18 23:52:12

    数禾云上数据湖最佳实践

    数禾云上数据湖最佳实践
  • 01.13 22:35:09
    发表了文章 2021-01-13 22:35:09

    阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

    阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

2020年12月

  • 12.25 15:54:23
    发表了文章 2020-12-25 15:54:23

    大数据和AI | 基于Spark的高性能向量化查询引擎

    大数据和AI | 基于Spark的高性能向量化查询引擎
  • 12.01 17:44:02
    发表了文章 2020-12-01 17:44:02

    2020收官行—BIGDATA + AI Meetup 2020第三站·北京站开启报名!

    2020收官行—BIGDATA + AI Meetup 2020第三站·北京站开启报名!

2020年11月

  • 11.03 15:54:48
    发表了文章 2020-11-03 15:54:48

    精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)

    精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)

2020年10月

  • 10.26 20:16:21
    发表了文章 2020-10-26 20:16:21

    10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】

    10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】
  • 10.19 16:16:06
    发表了文章 2020-10-19 16:16:06

    下半年你关心的行业热点都在这里,BIGDATA+AI Meetup 2020第二站·上海站开启报名!

    下半年你关心的行业热点都在这里,BIGDATA+AI Meetup 2020第二站·上海站开启报名!
  • 10.19 11:20:03
    发表了文章 2020-10-19 11:20:03

    大数据上手实战!Spark 实战训练营第三季开启

    大数据上手实战!Spark 实战训练营第三季开启
  • 10.12 17:42:53
    发表了文章 2020-10-12 17:42:53

    10月15日社区直播【Intel MLlib:构建平台优化的Spark机器学习】

    10月15日社区直播【Intel MLlib:构建平台优化的Spark机器学习】

2020年09月

  • 09.28 15:35:38
    发表了文章 2020-09-28 15:35:38

    如何实现Spark on Kubernetes?

    如何实现Spark on Kubernetes?
  • 09.28 14:42:02
    发表了文章 2020-09-28 14:42:02

    数据湖架构,为什么需要“湖加速”?

    数据湖架构,为什么需要“湖加速”?
正在加载, 请稍后...
滑动查看更多
  • 发表了文章 2021-02-26

    Delta Lake在Soul的应用实践

  • 发表了文章 2021-02-25

    阿里云EMR实习生招聘

  • 发表了文章 2021-02-07

    数禾云上数据湖最佳实践

  • 发表了文章 2021-02-07

    拥抱云原生,Fluid结合JindoFS :阿里云OSS加速利器

  • 发表了文章 2021-02-07

    10亿+文件数压测,阿里云JindoFS轻松应对

  • 发表了文章 2021-02-04

    10亿+文件数压测,阿里云JindoFS轻松应对

  • 发表了文章 2021-02-02

    拥抱云原生,Fluid结合JindoFS :阿里云OSS加速利器

  • 发表了文章 2021-02-01

    E-MapReduce 2021-01 产品月刊

  • 发表了文章 2021-01-18

    数禾云上数据湖最佳实践

  • 发表了文章 2021-01-13

    阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

  • 发表了文章 2020-12-25

    大数据和AI | 基于Spark的高性能向量化查询引擎

  • 发表了文章 2020-12-01

    2020收官行—BIGDATA + AI Meetup 2020第三站·北京站开启报名!

  • 发表了文章 2020-11-03

    精彩回顾 | 大数据+AI Meetup 2020 第二季 ·上海站(附PPT下载)

  • 发表了文章 2020-10-26

    10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】

  • 发表了文章 2020-10-19

    下半年你关心的行业热点都在这里,BIGDATA+AI Meetup 2020第二站·上海站开启报名!

  • 发表了文章 2020-10-19

    大数据上手实战!Spark 实战训练营第三季开启

  • 发表了文章 2020-10-12

    10月15日社区直播【Intel MLlib:构建平台优化的Spark机器学习】

  • 发表了文章 2020-09-28

    如何实现Spark on Kubernetes?

  • 发表了文章 2020-09-28

    数据湖架构,为什么需要“湖加速”?

  • 发表了文章 2020-09-18

    欢迎加入 databricks 数据洞察产品交流钉钉群

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2019-07-31

    阿里的EMR里推出了JindoFS, 也简称 jfs, 有用过的吗

    Jindo 是阿里云 EMR 的技术代号,寓意在云上会玩的弹性计算,JindoFS 是这个技术体系下的存储解决方案。

    阿里云 HDFS 是一款云存储产品,跟 OSS 是同一级别的。JindoFS 是 EMR 产品内部的一个统一存储解决方案,对接各种存储系统。

    JindoFS 是个多模系统,缓存这种模式是支持的。

    JindoFS和smartFS是同类功能。

    JindoFS 跟 Alluxio可能有些类似。不过我们希望更轻量,对计算和业务更透明。毕竟 Alluxio 要满足业界的各种存储系统,但是阿里云 EMR 不需要考虑那么多。

    架构图.png

    二维码.JPG

    踩0 评论0
  • 提交了问题 2019-07-31

    阿里的EMR里推出了JindoFS, 也简称 jfs, 有用过的吗

  • 回答了问题 2019-07-17

    读取emr高安全集群的hbase数据

    1. 公网环境 怎么理解
    2. 走公网验证?

    为何不走vpn/nat方式

    1、本地环境和EMR交互 不在一个vpc下
    EMR在线上环境 vpn没有打通线上环境

    结果集有多大?,运算倒是可以这样搞,如果是频繁的业务交互 不建议这样,还不如 本地集群 想办法 利用 oss

    踩0 评论0
  • 提交了问题 2019-05-29

    读取emr高安全集群的hbase数据

  • 提交了问题 2019-04-26

    Spark Streaming 作业运行一段时间后无故结束

  • 提交了问题 2019-04-26

    多个 ConsumerID 消费同一个 Topic 时出现 TPS 不一致问题

  • 提交了问题 2019-04-26

    第一次使用执行计划时没有安全组可选

  • 提交了问题 2019-04-26

    如何查看作业日志

  • 提交了问题 2019-04-26

    作业和执行计划的区别

  • 回答了问题 2019-07-17

    E-MapReduce与ODPS的区别

    E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。

    大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

    踩2 评论0
  • 回答了问题 2019-07-17

    使用emapreduce集群,怎么访问公网呢?包括计费等能详细解析下吗?

    1.E-MapReduce目前默认会给集群的master节点开通公网IP,classic网络下按照流量收费,vpc网络下使用的是EIP,eip会收取使用费和流量费用,使用费按照小时计费(每个region不一样,看了一下大概0.05元/小时),但是如果绑定了ecs,那么不会收取使用费,只收取流量费

    2.用户自己购买的ECS(不是从E-MapReduce购买),如果想访问E-MapReduce集群:
    a) classic网络的ECS -> classic网络的E-MapReduce集群,可以给E-MapReduce集群设置安全组,通过内网访问,不收取流量费用
    b) classic网络的ECS -> vpc网络的E-MapReduce集群,只能通过公网访问E-MapReduce集群
    c) vpc网络的ECS -> classic网络的E-MapReduce集群,只能通过公网访问E-MapReduce集群
    d) vpc网络的ECS -> vpc网络的E-MapReduce集群,通过阿里云的高速通道产品进行连接访问

    3.线下机器访问E-MapReduce集群,只能通过高速通道,而且E-MapReduce集群必须是VPC的

    4.E-MapReduce集群访问公网
    master节点默认有公网IP,可以直接访问公网,slave节点可以自己挂一个EIP,或者通过自己搭建一个NAT网关(详见https://help.aliyun.com/document_detail/27738.html)

    踩0 评论0
  • 回答了问题 2019-07-17

    我刚才提了个问题,postgresql的,说有敏感词汇,能否审核通过。

    应该很快就能通过

    踩0 评论0
  • 提交了问题 2016-05-26

    如何导出HBase的表的数据

  • 回答了问题 2019-07-17

    使用E-MapReduce,spark中读取oss文件

    看了你的日志,感觉是你的endpoint写错了把,你再确认一下。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多