暂无个人介绍
2021年12月
2021年11月
2021年10月
2021年09月
2021年08月
2021年07月
Jindo 是阿里云 EMR 的技术代号,寓意在云上会玩的弹性计算,JindoFS 是这个技术体系下的存储解决方案。
阿里云 HDFS 是一款云存储产品,跟 OSS 是同一级别的。JindoFS 是 EMR 产品内部的一个统一存储解决方案,对接各种存储系统。
JindoFS 是个多模系统,缓存这种模式是支持的。
JindoFS和smartFS是同类功能。
JindoFS 跟 Alluxio可能有些类似。不过我们希望更轻量,对计算和业务更透明。毕竟 Alluxio 要满足业界的各种存储系统,但是阿里云 EMR 不需要考虑那么多。
为何不走vpn/nat方式
1、本地环境和EMR交互 不在一个vpc下
EMR在线上环境 vpn没有打通线上环境
结果集有多大?,运算倒是可以这样搞,如果是频繁的业务交互 不建议这样,还不如 本地集群 想办法 利用 oss
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。
大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
1.E-MapReduce目前默认会给集群的master节点开通公网IP,classic网络下按照流量收费,vpc网络下使用的是EIP,eip会收取使用费和流量费用,使用费按照小时计费(每个region不一样,看了一下大概0.05元/小时),但是如果绑定了ecs,那么不会收取使用费,只收取流量费
2.用户自己购买的ECS(不是从E-MapReduce购买),如果想访问E-MapReduce集群:
a) classic网络的ECS -> classic网络的E-MapReduce集群,可以给E-MapReduce集群设置安全组,通过内网访问,不收取流量费用
b) classic网络的ECS -> vpc网络的E-MapReduce集群,只能通过公网访问E-MapReduce集群
c) vpc网络的ECS -> classic网络的E-MapReduce集群,只能通过公网访问E-MapReduce集群
d) vpc网络的ECS -> vpc网络的E-MapReduce集群,通过阿里云的高速通道产品进行连接访问
3.线下机器访问E-MapReduce集群,只能通过高速通道,而且E-MapReduce集群必须是VPC的
4.E-MapReduce集群访问公网
master节点默认有公网IP,可以直接访问公网,slave节点可以自己挂一个EIP,或者通过自己搭建一个NAT网关(详见https://help.aliyun.com/document_detail/27738.html)
应该很快就能通过
看了你的日志,感觉是你的endpoint写错了把,你再确认一下。