• 关于

    19阿里云云计算云存储

    的搜索结果

问题

阿里云是要改善硬盘了么????

dhl16m 2019-12-01 21:18:15 5981 浏览量 回答数 1

问题

速戳 | 20位阿里出题专家-备战阿里必不可少的题目

Runt 2020-04-15 10:54:04 31794 浏览量 回答数 8

问题

雷峰互联网安全沙龙第五期(金融云客户专场)

飞飞helen 2019-12-01 22:04:20 20710 浏览量 回答数 10

阿里云爆款特惠专场,精选爆款产品低至0.95折!

爆款ECS云服务器8.1元/月起,云数据库低至1.5折,限时抢购!

问题

【客户案例】云上救命APP!——e代驾手机客户端!

keer 2019-12-01 21:33:32 10528 浏览量 回答数 3

问题

阿里云与Linode对比测试-阿里云与Linode选哪个好

roye888 2019-12-01 21:31:31 22266 浏览量 回答数 5

回答

Re阿里云的IO很不给力啊 有图有真相的啊。 这个是该机器的网络流量。这么低的流量 情何以堪 这就是 中国的阿里云啊?!! 和linode的vps比较起来,太搓了!! 希望解决处理! ------------------------- Re阿里云的IO很不给力啊 楼上是搞什么的? 1.5Mbps 的速度,你居然看成15M/s  (150Mbps) 你不是近视眼吧????? ------------------------- Re阿里云的IO很不给力啊 服务器负载也不高,就IO非常卡 你们的存储可以搞好点吗? 随便一点访问马上IO 就100%了 ------------------------- Re阿里云的IO很不给力啊 没有毒,你那个误报了 ------------------------- Re阿里云的IO很不给力啊 我那个网站贴有php flood的代码,所以你那个报毒了 php发送大量UDP攻击包的警告 http://www.sklinux.com/804.html ------------------------- 回8楼tftaxis的帖子 哦,原来是这样。你的15M/s 带宽很可以哦。不会是阿里云撒。 ------------------------- Re阿里云的IO很不给力啊 他带宽大吧。150Mbps  嘎嘎…… 费用不一样肯定。 我这也有大的。哈哈 ------------------------- Re阿里云的IO很不给力啊 主要是IO 有点低 其他一切还算好。 ------------------------- Re阿里云的IO很不给力啊 内存是用了swap 就是因为IO不给力才耗了的 # dd if=/dev/zero of=t.img bs=4096 count=10000 conv=fsync 10000 0 records in 10000 0 records out 40960000 bytes (41 MB) copied, 5.81247 seconds, 7.0 MB/s 7M的速度 ------------------------- 回17楼tftaxis的帖子 你这19M的IO速度,未必高啊? 很低了撒 单个40G ide的硬盘都可以达到40M ------------------------- Re阿里云的IO很不给力啊 ------------------------- Re阿里云的IO很不给力啊 7M的速度,和U盘差不多哦 ------------------------- Re阿里云的IO很不给力啊 这会速度要好些了。 ------------------------- Re阿里云的IO很不给力啊 就是IO不太够用。iowait 经常100% 中午chown了一下,等了1个小时 导致swap都用1G了 7M的写速度 22M的读 和u盘速度差不多 500G sata2的盘写入速度都有50-60M嘛,这个系统,峰值才7M的写入速度,慢了。 你们可以用一下命令在你们机器上测试,然后找个物理机器测试比较 dd if=/dev/zero of=t.img bs=4096 count=10000 conv=fsync 速度差距太远了,有时候io有峰值的。慢了很不爽。 ------------------------- Re阿里云的IO很不给力啊 这是美国linode的IO 大家比较下 阿里云的才7M 这差距在哪里????? ------------------------- Re阿里云的IO很不给力啊 绝对需要改进。居然用sata盘 都不用混合存储 ------------------------- 回17楼tftaxis的帖子 你那个网站在阿里云 16秒才开,我还是在成电骨干网访问的。 你19M的IO 还不慢,你觉得很快 啊???????奇怪了 ------------------------- 回18楼ap6214f2r的帖子 mysql能往memory里面移动?  日志能移? ------------------------- 回19楼sjaelien的帖子 你这22M 的写入速度,超级低啊。 40G 的硬盘都是40-70M ------------------------- 回65楼tftaxis的帖子 你可以自己撒。呵呵 ------------------------- Re阿里云的IO很不给力啊 确实慢,17秒左右 你可以自己查查,没有骗你哦 ------------------------- Re阿里云的IO很不给力啊 http://v9zz.com  我说的就是这个哟 ------------------------- 回72楼alilab的帖子 我知道,这是网络瓶颈的哦。不管怎样反正就是1个字  慢 磁盘IO 20M 官方说的,这就很低了。 做技术要实事求是。请阿里团队努力!你们也是国内做vps做的比较早的,希望你们更进一步! 现在差距确实大。不过你们的价格也非常白菜。这点也非常支持! 我只是给你们反映下IO的问题。 因为1个服务器有web 服务器,有日志写入、mysql的日志、mysql的搜索、查询日志。打包备份这些。你们区区20M的磁盘IO绝对不够的。 ------------------------- 真正的云主机必须有以下功能:1.在线数据中心迁移。比如当前云主机在北京某数据中心。我可以在线迁移至上海计算节点上。而数据保持一致。2.在线热扩展内存3.在线热扩展cpu4.多档回滚

zhengweisk 2019-12-01 23:11:13 0 浏览量 回答数 0

问题

MaxCompute产品简介:通告

行者武松 2019-12-01 22:01:10 1613 浏览量 回答数 0

问题

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-12-01 19:35:11 359491 浏览量 回答数 15

回答

本文档介绍 Helm 的基本概念和使用方式,演示在阿里云的 Kubernetes 集群上利用 Helm 来部署示例应用 WordPress 和 Spark。 前提条件 通过 Helm 部署应用之前,利用阿里云容器服务来创建 Kubernetes 集群。参见创建Kubernetes集群。 在 Kubernetes 集群创建的同时,Tiller 将会被自动部署到集群之中,并且在所有的 master 节点上自动安装 Helm CLI 以及配置指向阿里云的 Chart 存储库。 查看您集群中 Kubernetes 的版本。 仅支持 Kubernetes 版本 1.8.4 及以上的集群。对于 1.8.1 版本的集群,您可以在集群列表中进行集群升级操作。 背景信息 在 Kubernetes 中,应用管理是需求最多、挑战最大的领域。Helm 项目提供了一个统一软件打包方式,支持版本控制,简化 Kubernetes 应用分发与部署中的复杂性。阿里云容器服务在应用目录管理功能中集成了 Helm 工具,并进行了功能扩展,支持官方 Repository,让您快速部署应用。您可以通过命令行或容器服务控制台界面两种方式进行部署。 本文档介绍 Helm 的基本概念和使用方式,演示在阿里云的 Kubernetes 集群上利用 Helm 来部署示例应用 WordPress 和 Spark。 Helm 基本概念 Helm 是由 Deis 发起的一个开源工具,有助于简化部署和管理 Kubernetes 应用。 Helm 可以理解为 Kubernetes 的包管理工具,可以方便地发现、共享和使用 Kubernetes 构建的应用,它包含以下几个基本概念。 Chart:一个 Helm 包,其中包含了运行一个应用所需要的镜像、依赖和资源定义等,还可能包含 Kubernetes 集群中的服务定义,类似 Homebrew 中的 formula、APT 的 dpkg 或者 Yum 的 rpm 文件。 Release:在 Kubernetes 集群上运行的 Chart 的一个实例。在同一个集群上,一个 Chart 可以安装很多次。每次安装都会创建一个新的 release。例如一个 MySQL Chart,如果想在服务器上运行两个数据库,就可以把这个 Chart 安装两次。每次安装都会生成自己的 Release,会有自己的 Release 名称。 Repository:用于发布和存储 Chart 的存储库。 Helm 组件 Helm 采用客户端/服务器架构,由如下组件组成: Helm CLI 是 Helm 客户端,可以在 Kubernetes 集群的 master 节点或者本地执行。 Tiller 是服务器端组件,在 Kubernetes 集群上运行,并管理 Kubernetes 应用程序的生命周期。 Repository 是 Chart 存储库,Helm 客户端通过 HTTP 协议来访问存储库中 Chart 的索引文件和压缩包。 通过控制台界面部署应用 登录容器服务管理控制台。 在 Kubernetes 菜单下,单击左侧导航栏中的市场 > 应用目录,进入应用目录列表页面。 选择一个 chart(本示例选择 WordPress),单击该 chart,进入 chart 详情页面。 chart详情 在页面右侧,填写部署的基本信息。 集群:应用要部署到的集群。 命名空间:选择命名空间。默认为 default。 发布名称:填写应用发布的名称。 部署基本信息 单击参数,对配置进行修改。 本示例中使用云盘的动态数据卷绑定一个PVC,参见云盘存储卷使用说明。 说明 您需要预先创建一个云盘存储卷(PV),并且存储卷的容量不能小于PVC定义的数值。 修改参数配置 配置完成后,单击创建,部署成功后,默认进入该应用的发布页面。 创建应用 单击左侧导航栏中的路由与负载均衡 > 服务,选择所需的集群和命名空间,找到对应的服务,您可获取 http/https 外部端点的地址。 服务 单击上面的访问地址,进入 WordPress 博客发布页面。 通过命令行部署应用 通过命令行部署应用时,您可以 SSH 登录 Kubernetes 集群的 master 节点 (Helm CLI 已自动安装并已配置Repository)进行操作,参见SSH 访问 Kubernetes 集群。您也可以在本地安装配置 kubectl 和 Helm CLI。 本示例以在本地安装配置 kubectl 和 Helm CLI 并部署 WordPress 和 Spark 应用为例进行说明。 安装配置 kubectl 和 Helm CLI。 在本地计算机上安装和配置 kubectl。 参见通过kubectl连接Kubernetes集群。 若要查看 Kubernetes 目标集群的信息,键入命令 kubectl cluster-info。 在本地计算机上安装 Helm。 安装方法,参见 Install Helm。 部署 WordPress。 下面我们将利用 Helm,来部署一个 WordPress 博客网站。 输入以下命令。 helm install --name wordpress-test stable/wordpress 说明 阿里云 Kubernetes 服务提供块存储(云盘)的动态存储卷支持,您需要预先创建一个云盘存储卷。 得到以下的结果。 NAME: wordpress-test LAST DEPLOYED: Mon Nov 20 19:01:55 2017 NAMESPACE: default STATUS: DEPLOYED ... 利用如下命令查看 WordPress 的 release 和 service。 helm list kubectl get svc 利用以下命令查看 WordPress 相关的 Pod,并等待其状态变为 Running。 kubectl get pod 利用以下命令获得 WordPress 的访问地址。 echo http://$(kubectl get svc wordpress-test-wordpress -o jsonpath='{.status.loadBalancer.ingress[0].ip}') 通过上面的 URL,可以在浏览器上看到熟悉的 WordPress 站点。 也可以根据 Charts 的说明,利用如下命令获得 WordPress 站点的管理员用户和密码。 echo Username: user echo Password: $(kubectl get secret --namespace default wordpress-test-wordpress -o jsonpath="{.data.wordpress-password}" | base64 --decode) 如需彻底删除 WordPress 应用,可输入如下命令。 helm delete --purge wordpress-test 使用第三方的 Chart 存储库 您除了可以使用预置的阿里云的 Chart 存储库,也可以使用第三方的 Chart 存储库(前提是网络是可达的)。使用如下命令格式添加第三方 Chart 存储库。 helm repo add 存储库名 存储库URL helm repo update 关于 Helm 相关命令的说明,您可以参见 Helm 文档。 参考信息 Helm 催生了社区的发展壮大,越来越多的软件提供商,如 Bitnami 等公司,开始提供高质量的 Charts。您可以在 https://kubeapps.com/ 中寻找和发现已有的 Charts。

1934890530796658 2020-03-31 15:46:51 0 浏览量 回答数 0

回答

Re:两个斑竹一直在说假话,cpu根本不是独享,性能差,阿里云官方叫“轮 .. 如果楼主一定要“独享”你只能是购买独立主机。否则任何云都是“共享”的。 何为云主机? 集群计算存储。其实云主机就是一个超大型的VPS,算法更先进,规模是集群的非单机的。 楼主还是用独立主机吧,我独立主机用了8年多了。 我托管的服务商算便宜的,1U  15M 电信线路4000一年。明年我打算全部搬到阿里云来。我自己托管的服务器已经坏了4个硬盘了,1500多一个硬盘,还不算好的。风扇这种就算小菜了。东西坏了还得自己跑机房。 如果按照这个理论,假设独享带宽10M,难道你真的独享10M了吗,一条10M网络拉遍全世界? 不都是从几G,千M,百M这样“共享”下来的吗?保证这个速度即叫独享。 ------------------------- Re:回19楼banian的帖子 引用第23楼elsawong于2014-04-17 14:58发表的 回19楼banian的帖子 : 十分同意,但LZ实际使用效果不如人意也确实是实在的问题,提高配置成本算算,期望成本内就不错了。 楼主的问题具体出在哪里也不知道,没有公布任何占用的资源情况,也没说明程序的使用情况。也有可能程序有太多循环的计算。曾经我这里有个员工做了一个管理后台,开始的时候使用速度很快,后来越来越慢。 我去看他的程序,发现他读取文章列表的时候是 select * from table. 把整个表都给读出来了,数据少的时候速度没感觉的。 一旦数据越来越多肯定很卡。 楼主之前好,并不代表没问题。 在另一个帖子里,我看到楼主询问我怎么看CPU频率显示。显然楼主并没好好的去了解云主机。

banian 2019-12-02 03:05:14 0 浏览量 回答数 0

问题

ECS云服务器产品优化

ecs优化 2019-12-01 21:34:28 13425 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。

2019-12-01 23:11:00 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。

2019-12-01 23:11:00 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。

2019-12-01 23:11:00 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。

2019-12-01 23:11:00 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。

2019-12-01 23:11:01 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。

2019-12-01 23:10:59 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 MaxCompute中,需要计费的操作如下所示: 存储计费:按照存储在MaxCompute的数据的容量大小进行阶梯计费。 计算计费:MaxCompute分按量后付费和按CU预付费两种计算计费方式。 按量后付费:按量后付费方式针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费:即SQL任务按I/O后付费。 MapReduce按量后付费:即MapReduce任务按量进行计费。 按CU预付费:此方式仅在阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 下载计费: MaxCompute将按照下载的数据大小进行计费。 数据导入MaxCompute不计费。 结算说明:账单以Project为单位统计,结算周期为天。 报价速算器:MaxCompute报价速算器下载。 存储计费 存储到MaxCompute的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期为天。 MaxCompute以小时级别采集您每个项目空间下当前的存储使用情况,并以项目空间为基本单位,计算您当天的存储平均值再乘以单价。 项目的数据实际存储量大于0小于等于512MB时 MaxCompute将收取这个项目0.01元的费用。示例如下: 如果您在MaxCompute上,某个项目的存储的数据为100MB,MaxCompute会直接收取您0.01元/天的费用。 如果您有多个项目,且每个项目实际存储量小于512MB,MaxCompute会对每个项目收取0.01元。 项目的数据实际存储量大于等于512MB时 基础价格 大于100GB部分 大于1TB部分 大于10TB部分 大于100TB部分 1PB以上部分 0.0192元/GB/天 0.0096元/GB/天 0.0084元/GB/天 0.0072元/GB/天 0.006元/GB/天 请通过工单联系我们 您的某个项目的存储为50TB,则每天收取的费用如下: 100GB*0.0192 元/GB/天 +(1024-100)GB*0.0096 元/GB/天 +(10240-1024)GB*0.0084 元/GB/天 +(50*1024-10240)GB*0.0072 元/GB/天 =383.12 元/天 说明 由于MaxCompute会对您的数据进行压缩存储,计费依据的容量大小是压缩后的数据,因此多数情况下,它与上传数据之前您自己统计的数据文件大小不同,压缩比一般在5倍左右。 账单出账时间通常在当前计费周期结束后三小时内,最长不超过六个小时。例如前一天的账单一般会在第二天06:00以前生成,具体以系统出账时间为准, 账单生成后会自动从您的账户余额中扣除费用以结算账单。 若对账单有疑虑,可以进入费用中心查看消费明细。 计算计费 MaxCompute分为以下两种计算计费方式。 按量后付费方式:即以作业的消耗作为计量指标,在作业执行后收取费用。 按CU预付费方式:即您提前预定一部分资源,按CU预付费方式仅阿里云大数据计算服务提供。 说明 CU使用量和性能估算:如果您使用160CU,处理1TB的数据可获得分钟级的处理性能。 目前MaxCompute开放的计算任务类型有SQL、UDF、MapReduce、Graph及 机器学习作业。其中SQL(不包括UDF)计算任务已经收费,New SQL(MaxCompute2.0)任务在 2018年5月底启动收费,其他类型暂无收费计划。 说明 有关UDF、Graph及机器学习的收费请关注阿里云相关公告。 按量后付费 按量后付费方式是针对SQL任务和MapReduce任务进行计费。 SQL任务按量后付费 SQL任务按量后付费即按I/O后付费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在下一天做一次性的计费结算。 MaxCompute SQL任务的按I/O后付费会针对每个作业产生一次计量。当天的所有计量信息将在第二天做一次性汇总收费。 SQL计算任务的计费公式为: 一次SQL计算费用 = 计算输入数据量 * SQL复杂度 * SQL价格 价格如下: 计费项 价格 SQL价格 0.3元/GB 计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。 列裁剪:例如您提交的SQL是select f1,f2,f3 from t1;,只计算t1表中f1,f2,f3三列的数据量,其他列不会参与计费。 分区过滤:例如SQL语句中含有where ds > 20130101,ds是分区列,则计费的数据量只会包括实际读取的分区,不会包括其他分区的数据。 SQL复杂度:先统计SQL语句中的关键字,再折算为SQL复杂度,具体如下: SQL关键字个数=Join个数+Group By个数+Order By个数+Distinct个数+窗口函数个数+max(insert个数-1, 1)。 SQL复杂度计算: SQL关键字个数小于等于3,复杂度为1。 SQL关键字个数小于等于6,且大于等于4,复杂度为1.5。 SQL关键字个数小于等于19,且大于等于7,复杂度为2。 SQL关键字个数大于等于20,复杂度为4。 复杂度计量命令格式: cost sql <SQL Sentence>; 示例如下: odps@ $odps_project >cost sql SELECT DISTINCT total1 FROM (SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1) tmp1 ORDER BY total1 DESC LIMIT 100; Complexity:1.5 示例中SQL关键字的个数是4(该语句中有DISTINCT、COUNT、GROUP BY和ORDER),而SQL复杂度是1.5。如果表in1的数据量为1.7GB(对应账单为1.7GB*1024³=1825361100.8Byte),则实际消费为 1.7*1.5*0.3=0.76元。 说明 账单出账时间在第二天06:00前,在计算任务成功结束后,系统会统计该计算任务读取的数据量和SQL复杂度,账单生成后会自动从您的账户余额中扣除费用以结算账单。没有成功的计算任务不扣费。 与存储类似,SQL计算也以压缩后的数据大小计费。 账单和下载的使用记录中,输入数据量的单位是Byte,要计算费用,数据量需要先除以1024³换算成GB。 MapReduce按量后付费 2017年8月16日,MaxCompute开始对MapReduce任务进行计费。MaxCompute MapReduce采用的计费标准如下: MR任务当日计算费用=当日总计算时*0.46元(人民币) 一个MR任务一次执行成功的计算时=任务运行时间(小时)*任务调用的核数量。 如果一个MR任务一次执行成功是调用了100core并花费0.5小时,那么本次执行计算时为0.5小时*100核=50个计算时。 MR计算任务成功结束后,系统会统计该计算任务所消耗的计算时,当天所有计量信息将在第二天做一次性汇总收费,生成账单,直接体现在账号账单中,并自动从账号余额中扣除费用以结算账单。 说明 没有执行成功的计算任务不扣费。 任务排队时间不计入计量计时。 相同作业会受集群负载环境的影响而产生较小的费用波动。 资源的基本单位定义为CU(Compute Unit),1CU包含的计算资源为4GB内存加上1核CPU。为避免内存乱用的现象发生,当任务消耗的Memory大于4倍1核CPU时,取Memory除4倍作为CU计算时。 如果您购买了MaxCompute包年包月服务,则在您购买的服务范围内您可以免费使用MR计算任务,不会额外支付费用。 如果您对MapReduce计算任务收费有疑惑,可工单咨询或者到钉钉群咨询(群号11782374)。 按CU预付费 按CU预付费的方式仅阿里云大数据计算服务提供。您可以预先购买一部分资源,MaxCompute会为您预留您所购买的资源。 资源定义 内存 CPU 售价 1CU 4GB 1CPU 150元/月 如果您是新用户,建议您先采用按I/O后付费的方式进行结算。您初期使用MaxCompute时,消耗的资源较少,采购CU预留资源会出现资源闲置。相对而言,按I/O后付费方式成本会更低。 说明 当预付费购买60CU或以上,可以通过MaxCompute预付费资源监控工具-CU管家进行资源监控管理,目前该工具仅支持华北2、华东2、华南1和华东1四个Region,详情请参见MaxCompute预付费资源监控工具-CU管家。 下载计费 对于公网或者跨Region的数据下载,MaxCompute将按照下载的数据大小进行计费。计费公式为: 一次下载费用=下载数据量*下载价格 其中,具体价格如下: 计费项 价格 外网下载价格 0.8元/GB 说明 MaxCompute会按次推送您的下载计量信息,并在第二天给出您的下载费用消耗。 下载数据量:指一次下载请求的HTTP body的大小。承载数据的HTTP body使用protobuffer编码,因此一般比数据原始容量要小,但是比压缩后存储在MaxCompute上的数据量要大。 您通过不同的网络环境,例如公网、阿里云经典网络、VPC网络,或在不同的Region下,访问MaxCompute将有不同的计费行为。有关MaxCompute服务连接的详情请参见访问域名和数据中心。 如果该文档无法解决您在购买MaxCompute时对计量计费的困惑,欢迎加入购买咨询钉钉群。

2019-12-01 23:11:00 0 浏览量 回答数 0

回答

使用流程 云渲染管理系统(Render Manager 简称渲管)是一个开源的 web 应用,可以帮助用户轻松搭建阿里云上的私有渲染系统,直接调用海量计算资源,一键管控集群规模,在加速渲染任务的同时省去自建集群的烦恼。 渲管首页渲管建立在阿里云 BatchCompute 、OSS 和 ECS 的三个云产品基础之上的。详细介绍请参考官网,在使用渲管前,请确保已开通此三产品。 BatchCompute 是阿里云上的批量计算服务,可以帮助用户进行大规模并行计算。 OSS 是阿里云上的对象存储服务,可以存储海量数据。 ECS 是阿里云上的云服务器,极易运维和操作,可以方便的制作系统镜像。 渲管与这三个云产品的关系如下图rm_c 使用流程 A) 制作计算节点镜像 根据所要使用的区域,创建 ECS 按量云服务器,在云服务器中安装所需的渲染软件;保存为自定义镜像,并将镜像共享给账号1190847048572539,详见计算节点 镜像制作 章节。 B) 上传数据到OSS 将渲染所需要的数据上传到对应区域的OSS,并保持上传前的目录结构。 C) 启动渲管 在 ECS 控制台创建实例(短期使用,选择按量即可),镜像选择镜像市场中的rendermanager(也可以使用渲管安装包进行部署,详见 操作手册 部署章节)。 D) 配置渲管 登录渲管页面 https://ip/rm/login, 配置完基本信息后(AccessKeys 和 OSS bucket),在镜像管理页中添加上面制作的计算节点镜像 ID,并对该计算节点镜像配置渲染命令行。 E) 创建项目 在渲管的项目管理页面创建项目,指定 OSS 的数据映射规则(也称 OSS 挂载,在计算节点启动的时候,OSS 上的数据会被挂载到节点的本地路径),选择计算节点镜像 ID,OSS 的输出路径(用于保存渲染结果),计算节点中的临时输出路径。 F) 集群的创建和管理 在集群管理页面可以按需创建集群,指定计算节点使用的镜像 ID,节点类型和节点数量等信息。 G) 提交渲染作业 在项目页里提交渲染作业,要指定目的集群、渲染的帧范围以及节点数量等信息。提交完作业后,可实时查看渲染日志以及节点 CPU 使用率等信息。 BatchCompute 提供了测试用的计算节点镜像(windows server 2008,ID:m-wz9du0xaa1pag4ylwzsu),它预装了 blender 渲染软件。使用 blender 制作一个小场景的 演示视频 已上传 OSS(测试时,需下载并上传到您的 OSS bucket)。 实际生产时,请根据需求制作合适的计算节点镜像。 准备工作 注册阿里云账号并开通 OSS、ECS 和 BatchCompute 服务。 创建AccessKey。账号信息->AccessKeys->创建 Access Key,记录 Access Key 信息。p0 渲染示例 A) 创建 OSS bucket阿里云官网->管理控制台->对象存储 OSS->创建 bucket(例如,名字为 renderbucket),地域选择深圳(华南1),读写权限为私有。p1p2p3p4 获取blender场景并上传到您的 OSS bucket 在浏览器输入 http://openrm.oss-cn-qingdao.aliyuncs.com/blender/monkey/cube.blend 。 下载示例场景文件(BatchCompute 提供的测试场景),在 OSS 控制台创建目录结构blender/monkey,然后在该目录下上传文件,文件路径为oss://renderbucket/blender/monkey/cube.blend。 启动rendermanager A) 阿里云官网->管理控制台->云服务器 ECS->创建实例 选择按量付费,然后在镜像市场应用开发分类中搜索 rendermanager 镜像,使用 rendermanager 镜像并按下图配置购买,可适当提高带宽。 使用按量付费要求用户账户至少有 100 块金额,对于地域没有要求,看 ECS 实际售卖库存情况而定。 p8p9p001p10 B) 购买后,点击进入管理控制台,在实例列表中可看到刚才启动的云主机(创建会有延迟,请刷新几次)。p11p12 登入渲管页面 在本地浏览器输入 https://ecs_instance_ip/rm/login,ecs_instance_ip 为 ECS 实例的公网 IP(由于使用了 https,请在浏览器页面授权信任)。初始账号密码为: rm_admin rm_admin@123 生产系统,请一定更改账号和密码。 配置渲管 A) 登录后,点击右上角的配置可进入配置页面,填入 SECURITY_ID,SECURITY_KEY, OSS_BUCEKET 三个字段的值,SECURITY_ID 和 SECURITY_KEY 即上面准备工作中获取的 AccessKey 信息。p14 B) 设置 OSS_HOST 为 oss-cn-shenzhen.aliyuncs.com;REGION 的选择主要和计算节点的镜像归属有关,必须和计算节点镜像归属 REGION 保持一致;本例采用的官方计算节点镜像(该镜像部署在深圳 REGION)所以此处设置在深圳 REGION 。 p003 C) 设置 BATCHCOMPUTE_REGION 为 cn-shenzhen;设置深圳 REGION 原因同上。 p004 D) 点击保存。 添加计算节点镜像 镜像管理->添加计算节点镜像,ECS 镜像 ID:m-wz9du0xaa1pag4ylwzsu(BatchCompute 提供的公用计算节点镜像,实际生产,需要用户制作所需要的计算节点镜像,具体制作流程请参考 操作手册)。p15p16 配置渲染软件信息 A) 镜像管理->软件配置。p17 B) 添加软件。p18 C) 选择 blender 模板并确定,执行 render_cmd 渲染命令。p19 创建项目 A) 项目管理->新建项目。p20B) 填入需要映射的 OSS 路径数量(本例只映射一个OSS路径),并点击确认。p21C) 填入项目名称: blender_test。D) 镜像选择上面创建的镜像。E) OSS 映射中的选择/输入路径为 /renderbucket/blender/。F) OSS 映射的目的地为盘符 G: (本例中使用的镜像系统为 Windows2008 server)。G) OSS 输出目录填写为 /renderbucket/rm_test/output/。H) 虚拟机中的输出目录填写为 C:\render_output\,该路径用于渲染节点中临时存放渲染结果,并且该目录里的渲染结果会被传输到 OSS 上输出目录里。I) 确定提交。p22 提交渲染任务 A) 项目管理->提交渲染。p23 B) 选择场景所在的 OSS 路径前缀。p24 C) 选择项目根目录, 直到场景文件cube.blend,选中 monkey 文件夹;可以看到页面下部出现场景选择,勾选场景,选择渲染软件,填入渲染起止帧 1~5,并点击提交渲染按钮。p25 D) 选择渲染中的任务,可查看刚才提交的作业。p26 查看渲染日志 A) 点击任务名称并点击节点列表。p27 B) 点击想查看的节点,可以看到渲染器和渲管 worker 的各种日志、标准输出以及标准出错信息(计算节点运行起来后才能看到日志信息)。p28p29p30 查看渲染结果 A) 等待作业结束后,在已结束的任务中可以可以看到任务状态为 Finished。p31 B) 点击任务名称,可以查看 OSS 上的输出路径。p32 C) 在 OSS 控制台上查看对应输出路径,获取地址后点击获取 URL 并复制。p33 D) 在浏览器粘贴 URL 可以直接查看图片。p34 E) 恭喜您已跑通云上的 Blender 渲染测试。 渲管系统结构 A) 渲管与各云产品的详细关系 渲管与各云产品的依赖如下图所示。rm_c B) 渲管系统内部结构 p0渲管系统由如下 3 部分组成: render manager: 基于 flask 框架开发web 应用,主要负责和用户进行人机交互,接收用户请求。 render master:后台背景进程,根据人机交互的结果进行作业提交以调度。 本地数据库:主要存放用户提交的渲管请求,待渲管任务结束后自动删除该信息。 2. 渲管的部署 在阿里云云市场有已安装了渲管的 ECS 镜像免费售卖,在启动 ECS 实例时,将镜像指定为镜像市场中的 rendermanager,启动即可使用。 A) 获取渲管镜像 官方渲管镜像:RenderManager 镜像,创建 ECS 实例时,选择镜像市场,直接搜索以上关键字即可获取。自定义渲管镜像:基础镜像建议采用 Ubuntu 14.04 64 位,按照以下步骤安装渲管系统。 安装 flask sudo apt-get install python-flask -y 安装 uwsgi sudo apt-get install uwsgi uwsgi-plugin-python -y 安装 nginx sudo apt-get install nginx –y 修改 nginx 配置,在 http 模块里添加新的 server server { listen 1314; #listen port server_name localchost; location / { include uwsgi_params; uwsgi_pass 0.0.0.0:8818;#this must be same app_config.xml } } vi /etc/nginx/nginx.conf 启动 nginx 或重启 nginx 获取最新版渲管 wget http://openrm.oss-cn-qingdao.aliyuncs.com/render_manager_release/latest/rm.tar.gz 解压 tar –xf rm.tar.gz x.x.x 为版本号 cd rm-x.x.x 指定安装目录部署 python deploy.py /root/rm_install/ 启动 cd /root/rm_install/rm_install_s && python rm_cmd.py start 登陆渲管 http://installed_machine_ip:1314/rm/login 初始账号: rm_admin 密码: rm_admin@123 若监听在公网,建议采用https B) 开通 ECS 实例 请指定某 ECS 实例部署渲管系统,配置参数,请参考创建 Linux 实例 公网 IP 地址选择分配。 镜像市场: RenderManager 或者自定义镜像 设置密码 3. 渲管系统升级 p43页面右上角的版本信息中可以查看是否有可升级的新版本,第一次使用渲管前,建议升级到最新版本后再使用渲管(每次只能升级到下一版本,所以升级后请查看是否已是最新版本)。 渲管系统配置 p44配置页面里有渲管系统的各种系统设置。第一次使用渲管时,必须设置SECURITY_ID,SECURITY_KEY,OSS_BUCKET 三个值,不然渲管无法使用。 SECURITY_ID 和 SECURITY_KEY 即阿里云账号的 AccessKeys 信息,可以在阿里云官网控制台创建。 OSS_BUCKET 可以在 OSS 的控制台创建,用于存储渲管自身的 worker 包已经渲染数据。 渲管默认使用青岛(华北1)区域,如果使用其他区域的 BatchCompute,请修改配置中的OSS_HOST(OSS_BUCKET 必须与 OSS_HOST 属于同一个region)与 BATCHCOMPUTE_REGION,每个 REGION 的 OSS_HOST 也可以工单咨询获取。 区域的选择和计算节点的镜像区域保持一致,若计算节点镜像在深圳区域,则渲管的区域信息也必须是深圳,同时 OSS BUCKET 也必须是该 REGION 下的 BUCKET;若使用批量计算官方提供的计算节点镜像则需要选择深圳 REGION。p45 其他配置项,请参考页面上的说明。 OSS数据上传 提交渲染作业前,一定要将渲染用到的数据上传 OSS,在计算节点启动后再上传的数据将不能在计算节点中访问到。 由于 OSS 页面控制台上传数据有大小限制,所以上传数据建议使用 OSS 的 命令行工具(类 linux系统)、windows 客户端或者 MAC 客户端 。 参考 更多 OSS工具 。 计算节点镜像制作 渲染客户如希望定制计算节点镜像,请参考:自定义镜像。 计算节点镜像管理 A) 添加计算节点镜像 在镜像管理页面,可以添加计算节点镜像 ID。add_image B) 给计算节点镜像配置渲染软件信息 在添加完计算节点镜像 ID 后,在镜像信息页面可以点击添加软件并配置软件信息。image_config 在配置软件信息时,需要填入渲染软件的名称,渲染文件的后缀(用于识别渲染文件)以及执行代码。 执行代码(要求 python 语法)会在渲管 worker 中执行,render_cmd 变量即渲染时的命令行,命令行应根据实际安装的渲染软件来填写,比如渲染软件的路径,以及一些参数。渲管中的模板只是个示例,实际使用需要微调。 render_cmd 渲管已经预定义了一些变量和函数,在执行代码中可以调用这些变量和函数,例如$CPU在执行期会被替换成实际的cpu核数,$START_FRAME在执行期会被替换成起始帧号。 如果想增加自定义参数,可以选择添加参数,添加的自定义参数会需要在提交作业时填入。关于所有的可用变量可在软件配置页面点击查看。 $OUTPUT_LOCAL_DIR这个变量即创建项目时配置的节点内临时输出路径,渲染的输出结果应该放在该路径下(大部分渲染器都支持在命令行中指定输出路径),在渲染结束后该目录下的数据会被传输到 OSS。 项目管理 A) 项目创建 创建项目时需要指定 OSS 数据映射,计算节点镜像,虚拟机内的临时输出路径,OSS 输出路径。 i. 计算节点镜像 创建项目时选择的计算节点镜像(需要先在镜像管理页面添加计算节点镜像)是提交 AutoCluster 作业时使用的镜像,如果提交作业时指定了集群(在集群管理页面可以创建)则作业直接跑在所指定的集群中。 ii. OSS数据映射 OSS 数据映射(或者称 OSS 数据挂载),可以将 OSS 上的数据映射到计算节点的本地路径(windows 是盘符),一个作业中的所有计算节点可以共享访问到相同的数据。OSS 数据挂载有如下功能或限制: 映射的目的路径必须根据计算节点镜像实际的操作系统类型进行填写,否则会导致挂载失败,windows 只能映射到盘符(例 G:),linux 必须是绝对路径。 可共享读取访问 OSS 上的数据。 不支持修改 OSS 上已存在的文件和文件夹名称。 选择 WriteSupport 后,支持本地(挂载路径下)文件和文件夹的创建,以及新建文件的修改。 挂载的本地路径里的改动只是本计算节点可见,不会同步到 OSS。 在 Windows 系统中,在挂载时刻已存在的文件夹中创建的文件或文件夹将不支持删除操作,linux 系统可以。 选择 LockSupport 后,将可以使用文件锁功能(只影响 windows)。 OSS 数据挂载会有分布式cache(集群内),所以在大规模并发读取数据时性能较好(能达到 10MB~30MB,200 台并发,读取 20G 数据)。 OSS 路径必须以’/’结尾。 iii. OSS 输出目录与临时本地输出目录 渲染作业结束时,计算节点中的临时输出目录中的数据将会被传输到 OSS 输出目录中。临时输出路径格式必须与节点的操作系统类型对应,不然会出错。 B) 提交渲染任务 p41选择目的集群和场景所在的 OSS 路径前缀后进入提交的详细页面,选中场景文件的上一级目录,可以被提交渲染的场景文件则会被列出,勾选想要渲染的文件,选择配置的渲染软件和起止帧,即可提交渲染作业。 可指定节点数量,如果指定集群,并发数量上限是集群的节点数上限。填入的起止帧会均匀的分布在各个计算节点被渲染。p42 任务结束后可以在OSS上查看输出结果,如果开启自动下载(配置页面设置),渲管会在任务结束后将OSS上的输出结果下载到渲管部署的机器上。 C) 渲染日志 在节点列表页面,点击节点可以查看各种日志,渲管 worker 日志里都是渲管系统 worker 的日志,里面可以查看该计算节点中运行的实际渲染命令行。 渲染器标准输出和渲染器标准输出里的日志,就是渲染软件的输出日志。 p47 调试 新启动的渲管需要进行配置,并进行调试然后再提交大规模的渲染任务。 配置完,应该先提交1帧测试任务,查看错误日志(渲管 worker 日志和渲染器标准输出)调整渲染软件配置(主要是修改渲染命令行),走通全流程并确认结果没有问题后才进行正式生产渲染。 当作业失败的时候可以在作业信息中查看失败原因项。p46 建议创建一个集群然后将作业提交到该集群进行调试(AutoCluster 的作业需要启停计算节点,比较费时)。 集群管理 在集群管理页面可以创建自定义集群,需要选择所需的计算节点镜像 ID,节点的实例类型(BatchCompute 的不同区域可能支持的实例类型和磁盘类型不同,详细可以提工单咨询)。 磁盘类型和磁盘大小(根据实际制作的计算节点镜像的磁盘大小选择,选择过小会导致无法启动计算节点)。创建好的集群可以动态调整节点数量,甚至调整数量到 0。p48

1934890530796658 2020-03-28 20:45:20 0 浏览量 回答数 0

回答

您好,阿里云的很多产品是按使用量付费的,OSS是按使用量付费(存储量)和下行流量来计算费用的,如果您存储的数据量不大,那一天要要不要多少钱。主要看您的OSS是不是在用,或者对外开放连接..... 所以,建议您,如果存储量大,使用频率不高的文件,可以使用归档存储, 另外,建议您添加防盗链,避免别人使用您的资源,而带来流量被扣费。 针对您的问题:系统提示资源包2019年过期,说的是,您买的流量包还能使用到19年。

alvin.zhu 2019-12-02 00:41:25 0 浏览量 回答数 0

问题

API可以对ECS 服务进行哪些操作

boxti 2019-12-01 21:46:20 1339 浏览量 回答数 0

回答

介绍 GTX-FPGA产品是由未来实验室 GTX-Laboratory开发的全基因组分析加速工具,采用CPU和FPGA协同工作的异构加速技术,利用各自的特性进行基因数据的高性能计算。可以将30X的全基因组数据分析时间从30小时缩短至30分钟;将100X全外显子数据分析时间从6小时缩短至5分钟完成。 GTX-FPGA 分析主要包括:index(构建索引)、align(基因组对比)、 vc(突变检测)、wgs(整合,将alin 和 vc 整合到一起,下文中的 GTX one也是指该步骤)等步骤。 本文主要介绍如果通过阿里云批量计算直接使用 GTX-FPGA 产品,实现全基因组数据分析、全外显子数据分析作业一键式运行。 使用约束 GTX-FPGA 产品目前只支持阿里云 F3 型 ECS 实例类型。同时每个实例类型需要配置一定容量的 SSD 数据盘,容量大小和fasta大小有关;其中 align 需要的磁盘大小是 2 个 fastq 文件大小的和再乘以 2(例如:需要计算的 fastq1 是 40G,fastq2 是 42G, 需要的数据盘空间大小是 164G);wgs需要的计算空间大小是 fasta 文件大小的8倍(例如human30x.fasta数据大小是 3.4G,则需要的数据盘大小是 252G)。针对人类基因组数据盘大小可以采用下文中 demo 示例的设置默认值。 GTX-FPGA 产品目前只支持 北京 区域测试。 GTX-FPGA 产品目前处于公测阶段,公测阶段 GTX-FPGA 产品不收取费用,只收取作业所需要的实例以及相关存储费用。 前置条件 登录阿里云,并确保账号余额大于100元,以便体验完整分析流程。 开通批量计算服务,用于执行分析任务。 开通OSS对象存储, 用于上传用户自己的测序数据,保存分析结果。创建bucket,例如 gtx-wgs-demo 查看或者创建的AccessKey, 如果您使用的是子账号,请确认具有以上批量计算和OSS的产品使用权限,参考快速开始文档。复制AccessKey ID(如LTAI8xxxxx), Access Key Secret(如vVGZVE8qUNjxxxxxxxx) 备用。 使用说明 GTX-FPGA 支持WDL模式运行以及DAG作业模式运行。 1 GTX 命令格式 gtxcmd 2 WDL模式运行 WDL 模式使用方式请参考文档 3 DAG作业模式 3.1 示例脚本 下载 DAG 作业示例代码。 其中: genGtxIndexCmd 则是对应 GTX 的建索引命令;命令使用方法可以参考代码中帮助信息。genGtxWgsCmd 则是对应 GTX one的命令;命令使用方法可以参考代码中帮助信息。genGtxAlignCmd 则是对应 GTX 基因组对比命令;命令使用方法可以参考代码中帮助信息。genGtxVcCmd 则是对应 GTX 突变检测命令;命令使用方法可以参考代码中帮助信息。 可以自定义以上步骤中每项 GTX 参数,也可以按默认值来执行。 建索引操作是非必选项目,本 demo 示例默认索引构建完成;若需要构建索引在执行脚本时需要增加参数(isNeedIndex)描述。 read_group_header 可以通过命令行传入也可以使用默认值。 示例代码默认运行 GTX one流程,一次性执行对比以及编译检测流程;若需要按分步骤执行则需要设置对应参数。 更新批量计算python SDK到最新版本 “pip install —upgrade batchcompute”。 3.1 执行命令 python test.py --reference oss://xxx/ref/hg19.fa --fastq1 oss://xxx/input/human30x_10m_1.fastq --fastq2 oss://xxxx/_input/human30x_10m_2.fastq --output oss://xxx/testoutput/ 3.2 执行结果 gtxonegtxret

1934890530796658 2020-03-28 21:41:48 0 浏览量 回答数 0

问题

MaxCompute产品定价:计量计费说明

行者武松 2019-12-01 22:01:17 1662 浏览量 回答数 0

问题

开发者论坛一周精粹(第五十五期) 一次可以备案几个网站?

福利达人 2019-12-01 21:35:13 1744 浏览量 回答数 1

回答

ReFtp4oss(只需配置、不用写代码)完美兼容DiscuzX、phpwind、wordpress等网站 Ftp4oss 官方网址:http://www.ftp4oss.com/   2013年阿里云开发者大赛 决赛20强作品,欢迎大家的支持!非常感谢! Ftp4oss是目前阿里云生态环境中已提供的 最简单的OSS专用的FTP服务;只需10分钟配置、不用写代码,普通站长即可快速地使用上阿里云OSS云存储的一个应用级FTP服务,同时提供安全的FTP快速中转服务,符合OSS云安全理念! 1、上传文件快速无延时、无停顿感(仅受限于用户家庭ADSL的上传瓶颈)! 2、完美兼容DiscuzX、phpwind、wordpress等网站系统(这里有各种演示和试用哦 ),理论上支持所有设计有远程附件的FTP站点, 网站升级再也不用发愁了! 3、不用服务器环境配置、不用看黑界面、不用安装程序……都不用,只需要网站注册账户、三步网站操作获得FTP服务、远程附件配置即可! 4、……还有各种优势等您去帮大家发现! 快来选择Ftp4oss吧!请点击www.ftp4oss.com  详细了解,并使用FTP for OSS服务吧! 注册Ftp4oss账户 三步网站操作,10分钟快速拥有FTP服务: 第一步:输入OSS Access Key和Access Secret; 第二步:选择Bucket或者新创建一个Bucket; 第三步:输入Ftp用户名和Ftp密码; 即可获得FTP服务,立即用FlashXP、FtpRush、FileZilla等客户端软件登录测试(能创建文件夹、上传文件夹、上传文件等) 下图所示: 测试左侧上传一个文件,然后在右侧的上部您是 看不到该文件(但是文件已经成功到OSS了)的(故而您也无法做出删除操作),但是您可以从右下部显示的文件已经成功上传到OSS上了,您可以点击该URL链接来查看! 把Ftp4oss服务应用到您的爱站,详细配置可参考:http://www.ftp4oss.com/help/UsefulSitesHelp.htm —————————————————————————————————————————————————————————— 1、安全的云FTP 考虑到OSS的安全特点,我们特意屏蔽了部分FTP功能,比如默认账户权限只具有创建文件夹、上传文件、删除文件等功能,但是屏蔽了危险的删除文件夹等操作——这些功能已经能满足市面常见网站系统的远程附件要求,同时避免账号泄漏带来的风险; 2、网站用户登录安全:网站的介绍页面采用静态发布,而用户登录、账户管理等交互页面采用SSL的Https安全协议,尽最大努力保护用户的信息安全; 3、关键信息加密:用户口令MD5不可逆加密传输与保存,用户的OSS Access密码采用动态密钥加密后存储,数据库连接字符串加密,即使网站数据库被黑客入侵也无法获得用户的关键信息; 4、高性能缓存转换:针对ECS的磁盘性能低效情况,我们首创缓存转换设计,即在FTP上传文件过程中,直接保存该文件流到缓存中,并不写入系统磁盘,而是缓存转换后通过OSS的SDK直接传到OSS上,实现高性能设计; 注:用户—站长的网站—Ftp4oss—OSS各角色之间的关系,其中红色背景的是Ftp4oss. Ftp4oss程序实现了基本的FTP服务器的功能,监听网站服务器的FTP连接请求,当普通用户向网站提交图片、附件的时候(注1), 网站服务器接收后会及时自动的通过FTP连接、发送到Ftp4oss服务器(注2), Ftp4oss程序即刻应答并接收该文件,并通过OSS的SDK同步到OSS上(注3), 这个过程就是用户上传图片到网站服务器后通过Ftp4oss同步到OSS的过程,整个过程对于用户来说是透明的,由于阿里云内网时延低、带宽在2G以上,所以对于用户上传一张1M的图片多耗费的时间均在1秒以内,其时间等候体验基本是相同的。 当用户访问网站的时候,直接下载了网站服务器的网页内容,该网页的图片、附件则直接从OSS高速下载到用户的浏览器上(注4); ------------------------- ReFtp4oss(只需配置、不用写代码)完美兼容DiscuzX、phpwind、wordpress等网站 我们欢迎阿里云ECS、OSS、RDS等各种为站长网站服务的作品与我们合作,大家互相支持、互相推广,更好的为广大站长们提供一体化解决方案! 首先,我们欢迎OSS的客户端工具与我们合作推广,希望您作品成熟、功能完善,安装部署简单! 因为我们的作品是专门为网站的远程附件服务的,所以特意屏蔽了FTP的部分功能,所以站长无法通过FTP客户端软件完全管理OSS上的文件(即使我们开放了FTP的所有功能,其效率也是如果OSS客户端软件直连OSS的效率高) 所以, 我们欢迎OSS工具的作者与我们合作,您不一定能给我们带来用户,但是我们是肯定可以为您带去用户的!   其它作品作者也欢迎与我们合作推广! http://www.ftp4oss.com/ 首页底部有联系我们的方法! ------------------------- 回4楼mrznz的帖子 非常感谢版主的支持! 您的建议“为附件添加HTTP头信息 Expires与Cache-control的选项”我们会加入下一步的改进计划(如果OSS的C# SDK有支持的话)~~~ ------------------------- 回7楼mayle的帖子 接受版主的批评~~~ 另:我们的产品确实已经上线,我们在提交阿里云审核的时候,已有一个多月的内测了(主要针对的是Disucz和phpwind系统) ------------------------- 回8楼cuinew的帖子 谢谢老兄的支持! ------------------------- 回6楼牛逼王的帖子 谢谢支持~~~ ------------------------- 回12楼cuinew的帖子 嗯,这个问题确实存在,某些逻辑未处理好,我们会改进的,下一个版本将解决这个问题~~~ ------------------------- 回14楼susan20120530的帖子 谢谢管理员的支持!非常感谢! ------------------------- 回23楼mrznz的帖子 您放心,HTTP头的信息添加这两天就放出来了; 本次更新的内容较多,加上这周有3天时间出差到上海参加了华为的云计算世界大会耽搁了点时间 预计您提的建议,明天晚上可以完成,我们测试没问题 后联系你~~~ ------------------------- 回22楼kylin30的帖子 谢谢您的夸奖~~~这让我们有更多的动力把Ftp4oss做的更好~~~ ------------------------- Re第111号作品:Ftp4oss(只需三步网站配置,不需配置环境、不用写代码) 顶起来,希望得到大家的支持哦~~~ ------------------------- 回30楼daigoubu的帖子 确实很方便,感谢支持! ------------------------- 回31楼司徒尔特的帖子 信息不详细者或者无法联系上的,均不能通过审核~~~~ 为了保障服务,初步了解用户站点请求压力情况和避免恶意注册占用资源,才增加了信息审核一关,请放心使用,感谢支持~~~ ------------------------- 回36楼孤独小超的帖子 您好,Ftp4oss目前推出的 FTP云服务和FTP云工具一直都是免费的呀,包括即将推出的Linux版本云工具和OSS客户端等产品也都将是免费的,并且今后也将持续提供这些免费产品来满足大部分用户的使用; FTP云服务的免费的单文件上传大小限制 故意比 FTP云工具的要小,目的就是尽量引导有需要的用户使用FTP云工具,这样可以减轻我们的服务器压力。 部分增值功能预留给收费版本也是为了将来有一点点收入来维持我们的持续研发和运维; 很多用户支持收费说只有收费才能信任我们的产品和服务,但是也有一部分用户反对我们收费,希望提供全功能的免费产品,这对我们真是一个两难的选择啊;这两个极端是实事,我们也理解. ------------------------- 回38楼孤独小超的帖子 FTP云工具链接OSS的方式,是由用户自由设定的; 如果设定由内网通信,则该工具必须运行在对应的ECS服务器上;如果设定外网通信,则运行物理位置不限制; 如您的需求为了省下流量费用,则可以把FTP云工具设置为内网模式,并运行在对应节点的ECS服务器上,那么上传、下载(下载功能在新版本会提供)确实不占用OSS的外网流量; 您可以到基础工具频道下载一个试用看看,谢谢您的支持! ------------------------- 回44楼老残的帖子 您好,感谢支持啊 Linux版本的Ftp4oss云工具快完成了,目前进度在跨Linux版本运行上存在点问题,我们尽快解决; 原来计划年内发布,现在看样子得推迟到年后再发布了~~~ ------------------------- 感谢支持~~~ ------------------------- 回47楼老残的帖子 很可能是你粘贴的IP、用户名或者密码两端存在空格引起的~~~~ 你加我们的技术客服QQ 1487960688 ,人工协助你看一下问题原因~~~ ------------------------- 回51楼老残的帖子 能用了就好 ------------------------- 回 53楼(centaurus) 的帖子 支持Linux系统的版本从月初延迟到月底,不过本周已经开始内测了,计划本周末开始邀请部分Ftp4oss用户一起测试,测试结束后,完善程序后即可发布。有望在3月上旬发布,敬请期待! ------------------------- 回 54楼(疯少) 的帖子 您好,请问您用的是哪一套网站系统?目前使用的是Ftp4oss的哪一个产品(FTP云工具还是FTP云服务?) 如果方便的话,请加我的QQ 1487960688 ,我来帮你定位故障的原因~~~ 感谢您的支持! ------------------------- 回 58楼(yxfwz) 的帖子 您好,您可以加QQ 1487960688 反映注册情况哦 一般我们都是在1--2天之内完成审核工作的。另外,如果你注册的是FTP云工具类型的账户,则无需审核即可直接登录软件了; http://bbs.aliyun.com/read/152856.html ------------------------- 顶起啦,希望大家多多支持! ------------------------- 回 65楼(薇薇luo) 的帖子 你的ftp4oss注册通知邮件里面有客服QQ,你可以联系一下 ------------------------- 2014年6月19日(应该是5月28日才对)更新,请点击:  [分享]发布:支持OSS的FTP云工具稳定版V1.0(Linux版——Ftp4oss出品) ------------------------- 回 71楼(amu) 的帖子 你好,FTP云服务(在线的FTP服务)为了尽量的提高安全性,所以设计上屏蔽了文件列表显示,但是整体功能并不影响网站远程附件的使用; 如果您是人工操作OSS的话,现在你可以有两种选择: 1、选择使用FTP云工具——类似FTP云服务,但是增加了文件列表、下载、删除等功能; 支持OSS的FTP云工具Linux版本 http://market.aliyun.com/product/12-121590002-cmgj000207.html 支持OSS的FTP云工具Windows版本 http://market.aliyun.com/product/12-121590002-cmgj000208.html 2、选择使用OssExplorer——OSS的专用客户端,方便OSS上的文件管理! [分享]OssExplorer(OSS专用客户端)http://bbs.aliyun.com/read/161263.html ------------------------- 回 75楼(nydalu) 的帖子 您好,可以联系我们技术客服的QQ,以便协助你找一下原因~~~ 这个是我们刚刚通过Ftp4oss上传了png图片的一个效果,请你查看 http://ftp4oss.oss-cn-hangzhou.aliyuncs.com/2011121417032133245.png 我们这边测试是正常的哦 ------------------------- 回 77楼(cbiz100) 的帖子 您好,近期阿里云ECS增加了很多Linux版本,我们还未做兼容性测试; 详细的系统支持请见介绍: http://market.aliyun.com/product/12-121590002-cmgj000207.html?spm=0.0.0.0.cceFhh#user_comments 1、你这里提到的是32位系统,请你下载32位版本自行测试看看,不一定兼容;(下载和配置地址 http://bbs.aliyun.com/read/154294.html?spm=5176.7189909.0.0.tuCDe9) 2、目前的FTP云工具只能支持一个账号而已(下一个升级版本有考虑到这个多用户的支持); 3、近期还不能支持七牛。 您可以更简单的选择我们的FTP云服务,对系统不作要求,直接使用我们提供的在线FTP云服务。 ------------------------- [分享]★★★   OssExplorerOSS客户端正式发布了——Ftp4oss出品 ------------------------- 回 83楼(云通) 的帖子 你好,你说的Linux版本是哪个工具呢? ------------------------- Re:★★CT团队出品:Ftp4oss阿里云OSS最好用的FTP云工具、客户端和文件同步 .. www.ftp4oss.com 现更改为 www.ct.cc   "Ftp4oss团队"现更名为"CT团队" ------------------------- Re:★★CT团队出品:Ftp4oss阿里云OSS最好用的FTP云工具、客户端和文件同步 .. 支持支持! ------------------------- 回 87楼(晓庄) 的帖子 当然可以修改产品类型了,我们的帐号注册后通行我们开发的所有产品~~~ ------------------------- 回 89楼(晓庄) 的帖子 估计是您的注册信息缺失太多,导致未能通过审核,虽然不影响您的工具类产品的使用,但是无法登陆网站; 您可以联系我们的QQ技术(到www.ct.cc获取联系方法)协助您处理,审核通过后即可登陆网站更新类型了; ------------------------- 回 90楼(itdashen) 的帖子 联系我们的QQ技术(到www.ct.cc获取联系方法)协助您查看原因! ------------------------- Re:★★CT团队出品:Ftp4oss阿里云OSS最好用的FTP云工具、客户端和文件同步 .. 不同的工具采用不同的SDK,也有直接自己封装API的; ------------------------- 回 96楼(bigoo) 的帖子 如果你的文件夹555下有图片的话,那么你直接FTP上传图片或者整个文件夹的话,肯定是没有问题的,这个只是最最基本的功能而已! 根据你的描述,很可能你连接的FTP很可能只是你自己的传统FTP服务器,而不是我们提供的Ftp4oss~~ 建议发个FTP连接IP的截图看看,如有需要,也可以请联系技术QQ 1020736080 协助你看看~~~ ------------------------- 回 98楼(bigoo) 的帖子 你的这么多截图都看不到重点的交互,你的楼上也给你留了协助联系方式,不过你也没联系,我们也联系不到你,呵呵;论坛帖子留言是反馈问题,不是解决问题的最佳方式~~~ 我们的Ftp4oss一年多了用户反映兼容性还是不错的,期待你能和我们联系,可以和你一起看看你那边有什么特殊的情况; ------------------------- 回 101楼(晓庄) 的帖子 你好,FTP云服务默认给的是10M的全局大小;而FTP云工具默认是2M,采用Ftp4oss帐号登陆则默认为10M,还可以免费授权大于10M的上传; ------------------------- Re:★★CT团队出品:Ftp4oss阿里云OSS最好用的FTP云工具、客户端和文件同步 .. 楼上用户已联系技术客服沟通完毕; 说明:现有的FTP云服务支持10M以下的文件上传,需要传输大小10M的文件,需要选用FTP云工具;

ftp4oss 2019-12-02 02:03:28 0 浏览量 回答数 0

回答

首先“缓存”Cache这个东西是干什么的,我们应该先有些基本的了解。要是不太明白的可以看看网上的解释:http://baike.baidu.com/view/907.htm 简单讲,阿里云OCS提供的功能就是提供对热点数据的高速访问。在使用OCS之前(或者在使用任何一种缓存服务之前),我们都应该明白关于缓存的这么几点: 缓存里的数据不是持久化保存的,也就是说它像是电脑里的内存,而不像硬盘;我们不能指望OCS里的数据一直保存不丢失。如果你真的需要存储持久化的数据,也许你应该出门左转找阿里云OSS(开发存储服务); 缓存里存的应该是“热点”数据。遵循常常出现的“20-80法则”,通常程序应用中都有一定比例的数据常常被请求访问,这就是所谓的热点数据,OCS正是为这种数据设计存在的。假定我们的程序中有100个数据,每次访问这些数据的概率完全是均匀分布的1/100,那么使用缓存的效果就不会太好,因为这其中不存在热点数据。 数据逐出。我们可以决定哪些数据是热点数据被放到缓存当中,但是如果我们的缓存容量不够大,这些热点数据中某些最近较少被用到的数据还是会被“挤出去”,这种行为叫做数据逐出。如果想减少出现这种情况,我们可以购买更高容量的OCS。 -------------------------         在开始使用之前,关于阿里云OCS,我们还需要知道以下这些事: 阿里云OCS仅支持阿里云内网访问,不支持公网访问。也就是说,我们用办公室或者家里的电脑(都属于公网)是无法连上阿里云OCS的。为什么会这样呢?因为缓存服务的根本目标是要提供低延迟的高速访问,而从公网电脑来连接OCS服务器的场景下,公网的网络环境是不可控的,可能出现延迟很高甚至断连接的情况,这使得缓存服务无法保证“高速、低延迟”的基本特性,所以阿里云OCS是不支持公网直接访问的。如果觉得高延迟的情况对于我们的应用也能接受,那么我们应该去选择阿里云其他的产品(比如OSS开放存储服务),而不应该选择OCS缓存服务。 阿里云OCS需要与ECS(阿里云服务器)配合使用,而且只能与本地区节点的ECS连通。这一点与上一条相关。OCS只能从阿里云内网访问,也就是说我们只能从阿里云ECS上才能访问并使用OCS服务。所以我们在官网购买OCS的时候,会看到提示信息说需要至少有一台ECS才能买OCS。另外,阿里云ECS是分地区节点的,比如北京、杭州、青岛等,我们在购买OCS缓存的时候也要选相应的地区节点。北京的ECS只能访问北京的OCS,而不能访问杭州或青岛的OCS。 阿里云OCS是按购买量收费的,而不是按使用量收费。这点需要提醒新同学们注意,在我们购买了OCS缓存之后,计费就已经开始了,即使我们还没有真正使用缓存。也就是说,我们买了1G的OCS缓存后,即使目前使用量为0,系统也会按照1G的标准来计费。所以我们在购买OCS的时候,要选取适合我们业务数据需要的缓存档位。当然了,阿里云OCS也提供在线升降缓存容量的功能。也就是说,如果我们在使用了一段时间之后,发现购买的OCS缓存不够用了(或者缓存使用量太低),我们可以在线的对已有的OCS实例进行升档(或者降档),而OCS缓存服务不会被中断。 阿里云OCS对于存贮的对象大小是有限制的。缓存通常对其内部存储的数据尺寸是有限制的,阿里云OCS也一样。目前OCS支持存储的数据对象的上限是1,000,000Byte。如果要存的值超过这个限制,我们应该考虑把数据压缩,或从逻辑上分成不同键存储的几个值。 ------------------------- 现在我们开始在阿里云官网上购买OCS实例  http://buy.aliyun.com/ocs  首先我们需要已经有了一台阿里云ECS,否则我们无法在这个页面成功购买OCS。购买的第一步,我们先要确定选择买哪个地区的OCS;这个很重要,如上面所说,如果我们的ECS是属于北京,而我们在这里购买了杭州的OCS,那么这两者是无法配合协同工作的。所以,在购买OCS的时候一定要选择应用服务器ECS所在地区的OCS。下一步是要选择OCS缓存容量。我们要购买多大的缓存,这个取决于我们对自身业务应用中热点数据总量大小的判断。如果一时难以准确判断数据量,也不用担心:我们可以先买一个大致容量的OCS(比如1GB),随后在使用过程中,通过OCS控制台提供的监控功能,我们可以了解到目前OCS缓存的使用量等数据,然后可以自主的调整所需的缓存量,购买更大的缓存(比如升到5GB)或者减少已购的缓存量(比如降到512MB),阿里云会根据我们选择的新配置来调整对应的收费。此外在选择缓存容量的时候,要知道不同容量的缓存档位对应着不同的性能配额,具体来说包括两个指标:吞吐量带宽与每秒请求处理数(QPS)。比如以现在的配额标准,1GB的OCS缓存对应5MB/sec的吞吐量带宽和3000次/sec的请求处理峰值。当我们使用OCS的时候,如果数据量传输的带宽超过了5MB/s, 或者每秒的请求数超过了3000次,都会触发性能配额控制机制,导致某些请求无法返回正常结果。在确定了地区和缓存容量之后,我们就可以直接下单购买OCS了。 ------------------------- 在成功购买OCS之后,我们的联系邮箱和手机都会收到OCS创建成功的通知,里面会包括OCS的实例ID和初始密码(关于密码的用处后面会讲到)。我们现在登录OCS控制台, http://ocs.console.aliyun.com/ 就可以看到已经购买到的OCS实例列表。在列表页面上对应OCS实例的后面点击“管理”,就可以进入该OCS实例的详情页,看到更多的详细信息。 ------------------------- 我们现在已经有了一个OCS缓存实例,现在是时候试玩OCS了。要使用OCS就要写一点程序代码,不过不用担心,我们在这里采用“Happy-Path”的方法,从最简单的操作开始,让新上手的菜鸟们能马上就有一个能调用OCS缓存服务的程序。OCS提供缓存服务,它并不要求我们的程序是哪种语言来写的。我们这里先以Java程序为例,写一个最简单的“Hello World”。(其他编程语言的例子,我们随后附上。)第一步,登录你的阿里云ECS服务器,在上面安装Java JDK和你常用的IDE(比如Eclipse)。一定要记得我们之前说过的,只有在阿里云内网的ECS服务器上,才能访问我们的OCS实例。所以,用家里或是公司的电脑执行下面的代码示例是看不到结果的。 Java JDK和Eclipse都很容易从网上找到下载,比如 http://download.eclipse.org/ 或者 http://www.onlinedown.net/soft/32289.htm 第二步,在把Java开发环境准备好了之后,下载第一个代码示例(Sample-Code-1第三步,在Eclipse里面打开刚下载的OcsSample1.java,我们要根据自己的OCS实例信息修改几个地方。        我们每个人买到的OCS实例的ID都是不重复的,其对应的阿里云内网地址也是独一无二的,这些信息都在OCS控制台上显示出来。我们在同自己的OCS实例建立连接的时候,需要根据这些信息修改OcsSample1.java中的对应地方。         public static void main(String[] args) {                                        final String host = "b2fd2f89f49f11e3.m.cnqdalicm9pub001.ocs.aliyuncs.com"; //控制台上的“内网地址”                   final String port ="11211";       //默认端口 11211,不用改                   final String username = "b2fd2f89f49f11e3"; //控制台上的“访问账号”                   final String password = "my_password"; //邮件或短信中提供的“密码”                   …… …… ……       信息修改完毕,我们可以运行自己的程序了。运行main函数,我们会在Eclipse下面的console窗口看到下面这样的结果(请忽略可能出现的红色INFO调试信息): OCS Sample CodeSet操作完成!Get操作: Open Cache Service,  from www.Aliyun.com     OK,搞定!我们已经成功的连接上了阿里云的OCS并且调用缓存服务成功,就这么简单。-------------------------我们已经成功运行了第一个调用阿里云OCS缓存服务的Sample程序OcsSample1.java,现在我们看看这个程序里都做了什么。                                  …… …… ……                            System.out.println("OCS Sample Code");                                                        //向OCS中存一个key为"ocs"的数据,便于后面验证读取数据,                             //这个数据对应的value是字符串 Open Cache Service,  from www.Aliyun.com                            OperationFuture future = cache.set("ocs", 1000," Open Cache Service,  from www.Aliyun.com");                            //向OCS中存若干个数据,随后可以在OCS控制台监控上看到统计信息                            for(int i=0;i<100;i++){                                String key="key-"+i;                                String value="value-"+i;                                 //执行set操作,向缓存中存数据                                cache.set(key, 1000, value);                            }                             System.out.println("Set操作完成!");                             future.get();  //  确保之前(cache.set())操作已经结束                         //执行get操作,从缓存中读数据,读取key为"ocs"的数据                            System.out.println("Get操作:"+cache.get("ocs"));                            …… …… …… 从这些代码中可以看出: 1. 我们在建立与OCS缓存服务器的连接后,先是向缓存中存(set)了一个“key-value”(键值对)形式的数据,这个数据的key是字符串“ocs”,其对应的value也是字符串;2. 接着我们继续向缓存中存(set)了100个其他简单的“key-value”数据。3. 最后我们进行功能验证。根据之前给定的key,从缓存中获取(get)其对应的value:也就是输入字符串“ocs”,缓存给我们返回value对应的字符串。 以上的步骤中,1与3是相对应的,我们只有先向缓存中set了某个数据,后面才能从缓存中get到这个数据。步骤2中程序向缓存set了100个数据,是为了从另一个方面进行验证。我们回到阿里云OCS控制台,打开“实例详情”页,在“实例监控”的部分点击刷新,会看到其中一些监控项的值已经发生了变化(注:监控信息的刷新可能存在数秒的延迟), 其中的“Key的个数”已经变成了101,也就是说我们程序已经成功地向OCS缓存中存放了101个数据。-------------------------在写下一篇技术贴之前,列一些OCS用户在入门时问到的问题,方便其他刚认识OCS的同学:Question:买了1G的OCS,那就相当于这个1G是专门缓存用的,与ECS服务器的内存没关系是吧~Answer:是的,OCS的缓存容量与您ECS的内存容量是没关系的。Question:OCS 外网测试,怎么连接?有没有外网连接地址哦?Answer:OCS是不能从外网访问的。参照上面的文章。Question:我之前那个OCS可以正常使用,但现在换了一个OCS就不行了,怎么回事?Answer:经核实您的主机是属于杭州节点的,而现在这个OCS是青岛节点的,不同地域之间的产品内网不互通。Question:在设置一个value时,如果指定过期时间为0,会永久保留吗?Answer:指定过期时间为0,OCS就认为此数据不根据过期时间发生淘汰;但是,此数据仍有可能基于LRU被其他数据淘汰,或者由内存清理造成丢失 ,因此不能认为这个value会永久保留。 Question:对OCS的访问是否需要负载均衡? Answer:不需要。对访问请求的负载均衡都是在OCS服务器端来进行的,用户直接使用缓存服务即可,不用考虑负载均衡的事情。 Question:OCS是否会主动关闭闲置的连接? 如果会,请问连接闲置多久会被关闭?Answer:OCS不会主动关闭闲置的用户连接。但是用户的环境如果使用了SLB,则需要参考SLB连接关闭时间。Question:如何设置数据在OCS缓存中的过期时间 ?Answer:关于设置缓存数据的过期时间,可以参考Memcached官方说明: https://code.google.com/p/memcached/wiki/NewCommands An expiration time, in seconds. Can be up to 30 days. After 30 days, is treated as a unix timestamp of an exact date. 翻译过来就是:0~2592000表示从当前时刻算起的时间长度(以秒计算,最长2592000即30天);大于2592000表示UNIX时间戳。 此值设置为0表明此数据不会主动过期。------------------------- 回 12楼(村里一把手) 的帖子 谢谢,要让大家用得好才算数。 -------------------------缓存与数据库相结合使用,是常见的一种应用搭配场景。现在我们再看一个例子,是用OCS搭配MySQL数据库使用。Java示例代码在此(这个示例代码中,大部分与前几个例子类似。因为要与数据库结合,所以程序需要依赖一个JDBC的jar包才能运行。支持MySQL的JDBC jar包在此(在程序中添加MySQL数据库的连接信息:     …… …… ……            // JDBC driver name and database URL    static final String JDBC_DRIVER = "com.mysql.jdbc.Driver";    static final String DB_URL = "jdbc:mysql://xxxxxxx.mysql.rds.aliyuncs.com/testdb"; //MySQL数据库URL        //  Database用户名及密码    static final String DB_USER = "xxxxxx";    static final String DB_PASS = "xxxxxx";            我们设想这样一个场景:我们需要从数据库的tableone表中查找区域不属于北京的记录总数,用SQL表示就是:SELECT count(*)  FROM testdb.tableone where region != 'beijing'假定这个表中的数据如下,则这条SQL查询返回的结果就是7:如果这个查询被调用到的频率很高,多个用户反复不断的在数据库中查这个数据,我们就可以把这个查询结果放到OCS缓存中去。看下面的代码片段,我们用for循环模拟用户连续20次在数据库中查询上述SQL语句:              for (int i = 1; i <= 20; i++) {                String sql = "SELECT count(*)  FROM testdb.tableone where region != 'beijing'";                String key ="non-beijing"; //给SQL语句自定义一个key                //在OCS缓存里按key查找               String value =  (String) cache.get(key);                                if (value == null) {                    // 在OCS缓存里没有命中                    // step 1:从My SQL数据库中查询                    //Load MySQL Driver                      Class.forName(JDBC_DRIVER);                     con = DriverManager.getConnection(DB_URL, DB_USER, DB_PASS);                    ps = con.prepareStatement(sql);                    ResultSet result = ps.executeQuery(sql);                    result.next();                                        value=result.getString(1);                    System.out.println("从MySQL中查询数据.  Key= "+key+" Value="+value);                                       // step 2: 把数据库返回的数据作为value存放到OCS缓存中去                    cache.set(key, EXPIRE_TIME, value);                                    } else {                    // 在OCS缓存里命中                    System.out.println("从OCS中读取数据.     Key= "+key+" Value="+value);                }                            }// end of for在这段代码中我们可以看到,我们给这条SQL语句标记了一个key,当有用户要执行这条SQL的时候,我们首先按照key在OCS缓存中查找:如果没有对应的缓存数据,则连接MySQL数据库执行SQL查询,把结果返回给用户,并把这个查询结果存到OCS缓存中去;如果OCS中已经有了对应的缓存数据,则直接把缓存数据返回给用户。运行结果如下: 从MySQL中查询数据.  Key= non-beijing, Value=7从OCS中读取数据.     Key= non-beijing, Value=7从OCS中读取数据.     Key= non-beijing, Value=7从OCS中读取数据.     Key= non-beijing, Value=7…… …… 从结果可以看出,程序第1次是从MySQL数据库当中查询数据,后面的19次都是从OCS缓存中获取key对应的value直接返回。也就是说,OCS降低了程序去连接MySQL数据库执行SQL查询的次数,减轻了对数据库的负载压力。用户对热点数据访问的频率越高,OCS的这种优势就越明显。

唐翰 2019-12-01 23:41:23 0 浏览量 回答数 0

回答

原版英文链接:点击这里 作者 | Md Kamaruzzaman 译者 | 无明 策划 | 小智 基础设施:条条道路通云端 对于云厂商来说,2019 年是硕果累累的一年。不仅初创公司在使用云计算,那些很注重安全的“保守派”公司(如政府机构、医疗保健机构、银行、保险公司,甚至是美国五角大楼)也在迁移到云端。这种趋势在 2020 年将会继续,大大小小的公司都将(或者至少有计划)迁移到云端。Gartner 公司最近发布了一个数字: 如果你是一个还在考虑要不要迁移到云端的决策者,不妨重新审视一下你的策略。如果你是一个独立开发者,并且还没使用过云基础设施,那么完全可以在 2020 年尝试一下。很多大型的云厂商(如亚马逊、微软、谷歌)都提供了免费的体验机会。谷歌在这方面做得特别大方,它提供了价值 300 美元的一年免费服务。 策划注:阿里、腾讯、华为等国内云厂商同样有免费云服务试用产品。 云平台:亚马逊领头,其他跟上 作为第一大云厂商,亚马逊在 2019 年可谓风生水起。凭借其丰富的产品组合,亚马逊将把它的优势延续到 2020 年。Canalys 发布的 2019 年第三季度报告指出,大型云厂商(AWS、Azure、GCP)占据 56% 的市场份额,其中 AWS 独享 32.6%。 其他云厂商也在努力缩短与 AWS 之间的差距。微软把主要目标转向了大型企业。最近,微软打败了亚马逊,从美国五角大楼拿到了一个 100 亿美元的大单子。这个单子将提升 Azure 的声誉,同时削弱 AWS 的士气。 谷歌一直在推动 CNCF,实现云计算运维的标准化。谷歌的长期目标是让云迁移变得更容易,方便企业从 AWS 迁移到 GCP。IBM 之前斥资 360 亿美元收购了 RedHat,也想要在云计算市场占有一席之地。 在亚太地区,阿里云市场规模超过了 AWS、Azure 的总和,全球排名第三。中国国内腾讯云等企业的增长势头也十分迅猛。 2020 年将出现更多的并购。当然,很多初创公司将会带来新的想法和创新,例如多云服务。因为竞争激烈,这些公司只能从降价和推出更多的创新产品来获取利润。 容器化:Kubernetes 将会更酷 在容器编排领域,虽然一度出现了“三足鼎立”(Kubernetes、Docker Swarm 和 Mesos),但 Kubernetes 最终脱颖而出,成为绝对的赢家。云是一个分布式系统,而 Kubernetes 是它的 OS(分布式的 Linux)。2019 年北美 KubeCon+CloudNativeCon 大会的参会者达到了 12000 名,比 2018 年增长了 50%。以下是过去 4 年参会人数的增长情况。 在 2020 年,Kubernetes 不仅不会后退,只会变得越来越强,你完全可以把赌注压在 Kubernetes 身上。另外值得一提的是,Migrantis 最近收购了 Docker Enterprise,不过收购数额不详。 几年前,人们张口闭口说的都是 Docker,而现在换成了 Kubernetes。Docker 在它的全盛时期未能盈利,反而在优势渐退几年之后才尝试变现。这再次说明,在现代技术世界,时机就是一切。 软件架构:微服务将成为主流 谷歌趋势表明,微服务架构范式在 2019 年持续增长了一整年。 随着软件行业整体逐步迁移到云端,微服务也将成为占主导地位的架构范式。微服务架构崛起的一个主要原因是它与云原生完美契合,可以实现快速的软件开发。我在之前的一篇博文中解释了微服务架构的基本原则及其优势和劣势。 https://towardsdatascience.com/microservice-architecture-a-brief-overview-and-why-you-should-use-it-in-your-next-project-a17b6e19adfd 我假设现在也存在一种回归到单体架构的趋势,因为在很多情况下,微服务架构有点过头了,而且做好微服务架构设计其实很难。微服务架构有哪些好的实践?在之前的另一篇博文中,我也给出了一些大概,希望对读者有用。 https://towardsdatascience.com/effective-microservices-10-best-practices-c6e4ba0c6ee2 编程语言(整体):Python 将吞噬世界 机器学习、数据分析、数据处理、Web 开发、企业软件开发,甚至是拼接黑洞照片,Python 的影子无处不在。 在著名的编程语言排行榜网站 TIOBE 上,Python 位居最流行编程语言第三位,仅次于 Java 和 C 语言。 更有意思的是,在 2019 年,Python 的流行度翻了一番(从 5% 到 10%)。 Python 的崛起将在 2020 年延续,并缩短与 Java 和 C 语言之间的差距。另一门无所不在的编程语言 JavaScript 正面临下行的风险。为什么 Python 的势头会如此强劲?因为它的入手门槛低,有一个优秀的社区在支持,并受到数据科学家和新生代开发者的喜爱。 编程语言(企业方面):Java 将占主导 之前的 TIOBE 网站截图显示,Java 仍然是一门占主导地位的编程语言,并将在 2020 年继续保持这种地位。JVM 是 Java 的基石,其他编程语言(如 Kotlin、Scala、Clojure、Groovy)也将 JVM 作为运行时。最近,Oracle 修改了 JVM 的许可协议。 新的许可协议意味着使用 Java、Kotlin、Scala 或其他 JVM 编程语言的公司需要向 Oracle 支付大额费用。所幸的是,OpenJDK 让 JVM 继续免费。另外,还有其他一些公司为 JVM 提供企业支持。 因为体积和速度方面的问题,基于 JVM 的编程语言并不适合用在今天的无服务器环境中。Oracle 正在推动 GraalVM 计划,旨在让 Java 变得更加敏捷和快速,让它更适合用在无服务器环境中。因为除了 Java,没有其他编程语言可以提供企业级的稳定性和可靠性,所以 Java 将在 2020 年继续占主导地位。 企业版 Java:Spring 继续发力 曾几何时,在企业开发领域,Spring 和 JavaEE 之间存在着白热化的竞争。但因为 Oracle 在 JavaEE 方面没有作为,在竞争中惨败,这导致了“MicroProfile”计划的形成,并最终促成了 JakartaEE。 虽然所有的政策和活动都是围绕 JavaEE 展开,但 Spring 事实上已经赢得了这场企业 JVM 之争。2020 年,Spring 将成为 JVM 生态系统的头牌。 有两个正在进展中的项目,它们旨在减小 Java 的体积,让它更适合用在无服务器环境中。 其中一个是 Micronaut(https://micronaut.io/)。 另一个是 Quarkus(https://quarkus.io/)。 这两个项目都使用了 GraalVM,它们在 2020 年将会得到 Java 社区更多的关注。 编程语言:后起之秀的突破 2000 年代,编程语言的发展出现了停滞。大多数人认为没有必要再去开发新的编程语言,Java、C 语言、C++、JavaScript 和 Python 已经可以满足所有的需求。但是,谷歌的 Go 语言为新编程语言大门打开了一扇大门。在过去十年出现了很多有趣的编程语言,比如 Rust、Swift、Kotlin、TypeScript。导致这种情况的一个主要原因是已有的编程语言无法充分利用硬件优势(例如多核、更快的网络、云)。另一个原因是现代编程语言更加关注开发者经济,即实现更快速更容易的开发。在 Stackoverflow 提供的一份开发者报告中,排名靠前的现代编程语言如下所示(Rust 连续 4 年名列第一)。 在之前的一篇博文中,我深入探讨了现代编程语言,对比 Rust 和 Go 语言,并说明了为什么现在是采用这些语言的好时机。 https://towardsdatascience.com/back-to-the-metal-top-3-programming-language-to-develop-big-data-frameworks-in-2019-69a44a36a842 最近,微软宣布他们在探索使用 Rust 来开发更安全的软件。 亚马逊最近也宣布要赞助 Rust。 谷歌宣布将 Kotlin 作为 Android 官方开发语言,所以,在 JVM 领域,Kotlin 成了 Java 的主要竞争对手。 Angular 使用 TypeScript 代替 JavaScript,将其作为主要的编程语言,其他 JavaScript 框架(如 React 和 Vue)也开始为 TypeScript 提供更多的支持。 这种趋势将在 2020 年延续下去,很多巨头公司将会深入了解新一代编程语言(如 Rust、Swift、TypeScript、Kotlin),它们会站出来公开表示支持。 Web:JavaScript 继续占主导地位 曾几何时,JavaScript 并不被认为是一门强大的编程语言。在当时,前端内容主要通过后端框架在服务器端进行渲染。2014 年,AngularJS 的出现改变了这种局面。从那个时候开始,更多的 JavaScript 框架开始涌现(Angular 2+、React、Vue、Meteor),JavaScript 已然成为主流的 Web 开发语言。随着 JavaScript 框架不断创新以及微服务架构的崛起,JavaScript 框架在 2020 年将继续主导前端开发。 JavaScript 框架:React 闪耀 虽然 React 是在 AngularJS 之后出现的,但在过去十年对 Web 开发产生了巨大的影响,这也让 Facebook 在与 Google+ 的竞争中打了一场胜战。React 为前端开发带来了一些新的想法,比如事件溯源、虚拟 DOM、单向数据绑定、基于组件的开发,等等。它对开发者社区产生了重大影响,以至于谷歌放弃了 AngularJS,并借鉴 React 的想法推出了彻底重写的 Angular 2+。React 是目前为止最为流行的 JavaScript 框架,下图显示了相关的 NPM 下载统计信息。 为了获得更好的并发和用户体验,Facebook 宣布完全重写 React 的核心算法,推出了 React-Fiber 项目。 2020 年,React 仍然是你开发新项目的首选 Web 框架。其他框架(如 Angular/Angular 2+ 或 Vue)呢?Angular 仍然是一个不错的 Web 开发框架,特别适合企业开发。我敢肯定谷歌在未来几年会在 Angular 上加大投入。Vue 是另一个非常流行的 Web 框架,由中国的巨头公司阿里巴巴提供支持。如果你已经在使用 Angular 或 Vue,就没必要再迁移到 React 了。 App 开发:原生应用 在移动 App 开发方面,有关混合应用开发的炒作有所消停。混合开发提供了更快的开发速度,因为只需要一个开发团队,而不是多个。但原生应用提供了更好的用户体验和性能。另外,混合应用需要经过调整才能使用一些高级特性。对于企业来说,原生应用仍然是首选的解决方案,这种趋势将在 2020 年延续。Airbnb 在一篇博文中非常详细地说明了为什么他们要放弃混合应用开发平台 React Native。 https://medium.com/airbnb-engineering/sunsetting-react-native-1868ba28e30a 尽管 Facebook 尝试改进 React Native,谷歌也非常努力地推动混合 App 开发平台 Flutter,但它们仍然只适合用于原型、POC、MVP 或轻量级应用的开发。所以,原生应用在 2020 年仍将继续占主导地位。 在原生应用开发方面,谷歌和苹果分别将 Kotlin 和 Swift 作为各自平台主要的编程语言。谷歌最近再次重申了对 Kotlin 的支持,这对于 Kotlin 用户来说无疑是个好消息。 混合应用开发:React Native 在很多情况下,混合应用是个不错的选择。在这方面也有很多选择:Xamarin、Inoic、React Native 和 Flutter。Facebook 基于成熟的 React 框架推出了 React Native。就像 React 在 Web 框架领域占据主导地位一样,React Native 在混合应用领域也占据着主导地位,如下图所示。 React Native 和 React 有共同的基因,都提供了高度的代码重用性以及“一次开发,到处运行”的能力。React Native 的另一个优势是 Facebook 本身也用它来开发移动应用。谷歌在这个领域起步较晚,但在去年,谷歌的混合应用开发框架 Flutter 获得了不少关注。Flutter 提供了更好的性能,但需要使用另一门不是那么流行的编程语言 Dart。React Native 在 2020 年将继续占主导地位。 API:REST 将占主导地位 REST 是 API 领域事实上的标准,被广泛用在基于 API 的服务间通信上。当然,除了 REST,我们还有其他选择,比如来自谷歌的 gRPC 和来自 Facebook 的 GraphQL。 它们提供了不同的能力。谷歌开发的 gRPC 作为远程过程调用(如 SOAP)的化身,使用 Protobuf 代替 JSON 作为消息格式。Facebook 开发的 GraphQL 作为一个集成层,避免频繁的 REST 调用。gRPC 和 GraphQL 都在各自的领域取得了成功。2020 年,REST 仍然是占主导地位的 API 技术,而 GraphQL 和 gRPC 将作为补充技术。 人工智能:Tensorflow 2.0 将占主导地位 谷歌和 Facebook 也是深度学习 / 神经网络领域的主要玩家。谷歌基于深度学习框架 Theano 推出了 TensorFlow,它很快就成为深度学习 / 神经网络的主要开发库。谷歌还推出了特别设计的 GPU(TPU)来加速 TensorFlow 的计算。 Facebook 在深度学习领域也不甘落后,他们拥有世界上最大的图像和视频数据集合。Facebook 基于另一个深度学习库 Torch 推出了深度学习库 PyTorch。TensorFlow 和 PyTorch 之间有一些区别,前者使用的是静态图进行计算,而 PyTorch 使用的是动态图。使用动态图的好处是可以在运行时纠正自己。另外,PyTorch 对 Python 支持更好,而 Python 是数据科学领域的一门主要编程语言。 随着 PyTorch 变得越来越流行,谷歌也赶紧在 2019 年 10 月推出了 TensorFlow 2.0,也使用了动态图,对 Python 的支持也更好。 2020 年,TensorFlow 2.0 和 PyTorch 将齐头并进。考虑到 TensorFlow 拥有更大的社区,我估计 TensorFlow 2.0 将成为占主导地位的深度学习库。 数据库:SQL是王者,分布式SQL是王后 在炒作 NoSQL 的日子里,人们嘲笑 SQL,还指出了 SQL 的种种不足。有很多文章说 NoSQL 有多么的好,并将要取代 SQL。但等到炒作的潮水褪去,人们很快就意识到,我们的世界不能没有 SQL。以下是最流行的数据库的排名。 可以看到,SQL 数据库占据了前四名。SQL 之所以占主导地位,是因为它提供了 ACID 事务保证,而 ACID 是业务系统最潜在的需求。NoSQL 数据库提供了横向伸缩能力,但代价是不提供 ACID 保证。 互联网公司一直在寻找“大师级数据库”,也就是既能提供 ACID 保证又能像 NoSQL 那样可横向伸缩的数据库。目前有两个解决方案可以部分满足对“大师级数据库”的要求,一个是亚马逊的 Aurora,一个是谷歌的 Spanner。Aurora 提供了几乎所有的 SQL 功能,但不支持横向写伸缩,而 Spanner 提供了横向写伸缩能力,但对 SQL 支持得不好。 2020 年,但愿这两个数据库能够越走越近,或者有人会带来一个“分布式 SQL”数据库。如果真有人做到了,那一定要给他颁发图灵奖。 数据湖:MinIO 将要崛起 现代数据平台非常的复杂。企业一般都会有支持 ACID 事务的 OLTP 数据库(SQL),也会有用于数据分析的 OLAP 数据库(NoSQL)。除此之外,它们还有其他各种数据存储系统,比如用于搜索的 Solr、ElasticSearch,用于计算的 Spark。企业基于数据库构建自己的数据平台,将 OLTP 数据库的数据拷贝到数据湖中。各种类型的数据应用程序(比如 OLAP、搜索)将数据湖作为它们的事实来源。 HDFS 原本是事实上的数据湖,直到亚马逊推出了对象存储 S3。S3 可伸缩,价格便宜,很快就成为很多公司事实上的数据湖。使用 S3 唯一的问题是数据平台被紧紧地绑定在亚马逊的 AWS 云平台上。虽然微软 Azure 推出了 Blob Storage,谷歌也有类似的对象存储,但都不是 S3 的对手。 对于很多公司来说,MinIO 或许是它们的救星。MinIO 是一个开源的对象存储,与 S3 兼容,提供了企业级的支持,并专门为云原生环境而构建,提供了与云无关的数据湖。 微软在 Azure Marketplace 是这么描述 MinIO 的:“为 Azure Blog Storage 服务提供与亚马逊 S3 API 兼容的数据访问”。如果谷歌 GCP 和其他云厂商也提供 MinIO,那么我们将会向多云迈出一大步。 大数据批处理:Spark 将继续闪耀 现如今,企业通常需要基于大规模数据执行计算,所以需要分布式的批处理作业。Hadoop 的 Map-Reduce 是第一个分布式批处理平台,后来 Spark 取代了 Hadoop 的地位,成为真正的批处理之王。Spark 是怎样提供了比 Hadoop 更好的性能的?我之前写了另一篇文章,对现代数据平台进行了深入分析。 https://towardsdatascience.com/programming-language-that-rules-the-data-intensive-big-data-fast-data-frameworks-6cd7d5f754b0 Spark 解决了 Hadoop Map-Reduce 的痛点,它将所有东西放在内存中,而不是在完成每一个昂贵的操作之后把数据保存在存储系统中。尽管 Spark 重度使用 CPU 和 JVM 来执行批处理作业,但这并不妨碍它成为 2020 年批处理框架之王。我希望有人能够使用 Rust 开发出一个更加高效的批处理框架,取代 Spark,并为企业省下大量的云资源费用。 大数据流式处理:Flink 是未来 几年前,实现实时的流式处理几乎是不可能的事情。一些微批次处理框架(比如 Spark Streaming)可以提供“几近”实时的流式处理能力。不过,Flink 改变了这一状况,它提供了实时的流式处理能力。 2019 年之前,Flink 未能得到足够的关注,因为它无法撼动 Spark。直到 2019 年 1 月份,中国巨头公司阿里巴巴收购了 Data Artisan(Flink 背后的公司)。 在 2020 年,企业如果想要进行实时流式处理,Flink 应该是不二之选。不过,跟 Spark 一样,Flink 同样重度依赖 CPU 和 JVM,并且需要使用大量的云资源。 字节码:WebAssembly将被广泛采用 我从 JavaScript 作者 Brandon Eich 的一次访谈中知道了 WebAssembly 这个东西。现代 JavaScript(ES5 之后的版本)是一门优秀的编程语言,但与其他编程语言一样,都有自己的局限性。最大的局限性是 JavaScript 引擎在执行 JavaScript 时需要读取、解析和处理“抽象语法树”。另一个问题是 JavaScript 的单线程模型无法充分利用现代硬件(如多核 CPU 或 GPU)。正因为这些原因,很多计算密集型的应用程序(如游戏、3D 图像)无法运行在浏览器中。 一些公司(由 Mozilla 带领)开发了 WebAssembly,一种底层字节码格式,让任何一门编程语言都可以在浏览器中运行。目前发布的 WebAssembly 版本可以支持 C++、Rust 等。 WebAssembly 让计算密集型应用程序(比如游戏和 AutoCAD)可以在浏览器中运行。不过,WebAssembly 的目标不仅限于此,它还要让应用程序可以在浏览器之外运行。WebAssembly 可以被用在以下这些“浏览器外”的场景中。 移动设备上的混合原生应用。没有冷启动问题的无服务器计算。在服务器端执行不受信任的代码。 我预测,2020 年将是 WebAssembly 取得突破的一年,很多巨头公司(包括云厂商)和社区将会拥抱 WebAssembly。 代码:低代码 / 无代码将更进一步 快速的数字化和工业 4.0 革命意味着软件开发者的供需缺口巨大。由于缺乏开发人员,很多企业无法实现它们的想法。为了降低进入软件开发的门槛,可以尝试无代码(No Code)或低代码(Low Code)软件开发,也就是所谓的 LCNC(Low-Code No-Code)。它已经在 2019 年取得了一些成功。 LCNC 的目标是让没有编程经验的人也能开发软件,只要他们想要实现自己的想法。 虽然我对在正式环境中使用 LCNC 框架仍然心存疑虑,但它为其他公司奠定了良好的基础,像亚马逊和谷歌这样的公司可以基于这个基础构建出有用的产品,就像 AWS Lambda 的蓬勃发展是以谷歌 App Engine 为基础。 2020 年,LCNC 将会获得更多关注。

茶什i 2019-12-26 11:57:03 0 浏览量 回答数 0

回答

本文档介绍文件存储HDFS和对象存储OSS之间的数据迁移过程。您可以将文件存储HDFS数据迁移到对象存储OSS,也可以将对象存储OSS的数据迁移到文件存储HDFS上。 背景信息 阿里云文件存储HDFS是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统中管理和访问数据,并对热数据提供高性能的数据访问能力。对象存储OSS是海量、安全、低成本、高可靠的云存储服务,并提供标准型、归档型等多种存储类型供选择。客户可以在文件存储HDFS和对象存储OSS之间实现数据迁移,从而实现热、温、冷数据的合理分层,在实现对热数据的高性能访问的同时,有效控制存储成本。 准备工作 挂载文件系统,详情请参见挂载文件系统。 验证文件系统和计算节点之间的连通性。 执行以下命令,在文件存储HDFS上创建目录(如:/dfs_links)。 hadoop fs -mkdir /dfs_links 执行以下命令,验证连通性。 hadoop fs -ls dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/dfs_links 其中f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据实际情况进行修改。 如果命令正常执行无输出结果,则表示连通成功。如果连通失败,请参见创建文件系统实例后,为什么无法访问文件存储HDFS?进行排查。 准备迁移工具。 单击emr-tools下载迁移工具安装包。 将迁移工具安装包上传计算节点的本地目录。 说明 该计算节点必须运行着Hadoop的YARN服务,或者是YARN集群中可以提交作业的计算节点。因为emr-tools迁移工具需要借助Hadoop数据迁移工具DistCp实现数据的迁移。 执行以下命令,解压安装包。 tar jxf emr-tools.tar.bz2 将文件存储HDFS数据迁移到对象存储OSS 进入emr-tools工具安装包解压后所在的目录,使用hdfs2oss4emr.sh脚本将文件存储HDFS上的数据迁移到对象存储OSS上,具体命令如下所示。 cd emr-tools ./hdfs2oss4emr.sh dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/HDFS2OSS/data/data_1000g oss://accessKeyId:accessKeySecret@bucket-name.oss-cn-hangzhou.aliyuncs.com/HDFS2OSS/data/data_1000g 参数说明如下表所示。 参数 说明 accessKeyId 访问对象存储OSS API的密钥。获取方式请参见如何获取AccessKeyId和AccessKeySecret。 accessKeySecret bucket-name.oss-cn-hangzhou.aliyuncs.com 对象存储OSS的访问域名,包括bucket名称和endpoint地址。 执行以上命令后,系统将启动一个Hadoop MapReduce任务(DistCp)。 任务执行完成后,查看迁移结果。 如果回显包含如下类似信息,说明迁移成功。 19/03/27 08:48:58 INFO mapreduce.Job: Job job_1553599949635_0014 completed successfully 19/03/27 08:48:59 INFO mapreduce.Job: Counters: 38 File System Counters FILE: Number of bytes read=0 FILE: Number of bytes written=2462230 FILE: Number of read operations=0 FILE: Number of large read operations=0 FILE: Number of write operations=0 HDFS: Number of bytes read=1000001748624 HDFS: Number of bytes written=0 HDFS: Number of read operations=40124 HDFS: Number of large read operations=0 HDFS: Number of write operations=40 OSS: Number of bytes read=0 OSS: Number of bytes written=1000000000000 OSS: Number of read operations=0 OSS: Number of large read operations=0 OSS: Number of write operations=0 Job Counters Launched map tasks=20 Other local map tasks=20 Total time spent by all maps in occupied slots (ms)=65207738 Total time spent by all reduces in occupied slots (ms)=0 Total time spent by all map tasks (ms)=65207738 Total vcore-milliseconds taken by all map tasks=65207738 Total megabyte-milliseconds taken by all map tasks=66772723712 Map-Reduce Framework Map input records=10002 Map output records=0 Input split bytes=2740 Spilled Records=0 Failed Shuffles=0 Merged Map outputs=0 GC time elapsed (ms)=58169 CPU time spent (ms)=5960400 Physical memory (bytes) snapshot=4420333568 Virtual memory (bytes) snapshot=42971959296 Total committed heap usage (bytes)=2411724800 File Input Format Counters Bytes Read=1745884 File Output Format Counters Bytes Written=0 org.apache.hadoop.tools.mapred.CopyMapper$Counter BYTESCOPIED=1000000000000 BYTESEXPECTED=1000000000000 COPY=10002 copy from dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/path/on/dfs to oss://accessKeyId:accessKeySecret@bucket-name.oss-cn-hangzhou.aliyuncs.com/path/on/oss does succeed !!! 迁移完成后,您可以通过osscmd工具,执行以下命令查看对象存储OSS上的数据情况。 osscmd ls oss://bucket-name/HDFS2OSS/data/data_1000g 将对象存储OSS数据迁移到文件存储HDFS 进入emr-tools工具安装包解压后所在的目录,使用hdfs2oss4emr.sh脚本将对象存储OSS上的数据迁移到文件存储HDFS上,具体命令如下所示。 cd emr-tools ./hdfs2oss4emr.sh oss://accessKeyId:accessKeySecret@bucket-name.oss-cn-hangzhou.aliyuncs.com/OSS2HDFS/oss/1000g dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/OSS2HDFS/data/data_1000g 参数说明如下表所示。 参数 说明 accessKeyId 访问对象存储OSS API的密钥。获取方式请参见如何获取AccessKeyId和AccessKeySecret。 accessKeySecret bucket-name.oss-cn-hangzhou.aliyuncs.com 对象存储OSS的访问域名,包括bucket名称和endpoint地址。 执行以上命令后,系统将启动一个Hadoop MapReduce任务(DistCp)。 任务执行完成后,查看迁移结果。 如果回显包含如下类似信息,说明迁移成功。 19/03/23 21:59:23 INFO mapreduce.Job: Counters: 38 File System Counters DFS: Number of bytes read=2335687 DFS: Number of bytes written=999700000000 DFS: Number of read operations=60218 DFS: Number of large read operations=0 DFS: Number of write operations=20076 FILE: Number of bytes read=0 FILE: Number of bytes written=2575367 FILE: Number of read operations=0 FILE: Number of large read operations=0 FILE: Number of write operations=0 OSS: Number of bytes read=0 OSS: Number of bytes written=0 OSS: Number of read operations=0 OSS: Number of large read operations=0 OSS: Number of write operations=0 Job Counters Launched map tasks=21 Other local map tasks=21 Total time spent by all maps in occupied slots (ms)=36490484 Total time spent by all reduces in occupied slots (ms)=0 Total time spent by all map tasks (ms)=36490484 Total vcore-milliseconds taken by all map tasks=36490484 Total megabyte-milliseconds taken by all map tasks=37366255616 Map-Reduce Framework Map input records=10018 Map output records=0 Input split bytes=2856 Spilled Records=0 Failed Shuffles=0 Merged Map outputs=0 GC time elapsed (ms)=1064802 CPU time spent (ms)=10370840 Physical memory (bytes) snapshot=6452363264 Virtual memory (bytes) snapshot=45328142336 Total committed heap usage (bytes)=4169138176 File Input Format Counters Bytes Read=2332831 File Output Format Counters Bytes Written=0 org.apache.hadoop.tools.mapred.CopyMapper$Counter BYTESCOPIED=999700000000 BYTESEXPECTED=999700000000 COPY=10018 copy from oss://accessKeyId:accessKeySecret@bucket-name.oss-cn-hangzhou.aliyuncs.com/path/on/oss to dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/path/on/dfs does succeed !!! 迁移完成后,您可以执行以下命令查看文件存储HDFS上的数据情况。 hadoop fs -ls dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/OSS2HDFS/data/data_1000g 常见问题 迁移过程出现异常提示:Cannot obtain block length for LocatedBlock。 从原生HDFS往对象存储OSS/文件存储HDFS迁移数据时,可能会遇到这个问题。遇到该问题时,请执行hdfs fsck / –openforwrite命令,检查当前是否有文件处于写入状态尚未关闭。 如果有处于写入状态的文件时,需判断文件是否有效。 如果文件无效,则直接删除文件。 hdfs rm 如果文件有效,则不能直接删除,请考虑恢复问题文件租约。 hdfs debug recoverLease -path -retries 对于正在写入的文件,进行迁移时会遗漏掉最新写入的数据吗? Hadoop兼容文件系统提供单写者多读者并发语义,针对同一个文件,同一时刻可以有一个写者写入和多个读者读出。以文件存储HDFS到对象存储OSS的数据迁移为例,数据迁移任务打开文件存储HDFS的文件F,根据当前系统状态决定文件F的长度L,将L字节迁移到对象存储OSS。如果在数据迁移过程中,有并发的写者写入,文件F的长度将超过L,但是数据迁移任务无法感知到最新写入的数据。因此,建议您在做数据迁移时,避免往迁移的文件中写入数据。

1934890530796658 2020-03-31 02:35:12 0 浏览量 回答数 0

问题

订阅日志服务数据的用户手册

云栖大讲堂 2019-12-01 20:56:31 1339 浏览量 回答数 0

问题

【阿里云产品公测】以开发者角度看ACE服务『ACE应用构建指南』

mr_wid 2019-12-01 21:10:06 20092 浏览量 回答数 6
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板