• 关于

    阿里云原生云系统

    的搜索结果

问题

【百问百答】《云原生架构白皮书》(下)

291阿里巴是如何看待架构企业战略视角? 292企业战略中业务战略与 IT 战略之间的关系是什么? 293阿里巴是如何看待架构业务发展视角? 294业务连续性诉求主要包括了什么?...
Pony马 2021-01-15 14:47:31 1 浏览量 回答数 0

回答

在与阿里云进行多次需求沟通与技术验证后,申通最终确定阿里云为唯一合作伙伴,采用云原生技术和架构实现 核心业务搬迁上阿里云。2019 年开始将业务逐步从 IDC 迁移至阿里云。目前,核心业务系统已经在阿里云上完成流 量承接,为申通提供稳定而高效的计算能力。 申通核心业务系统原架构基于 Vmware+Oracle 数据库进行搭建。随着搬迁上阿里云,架构全面转型为基于 Kubernetes 的云原生架构体系。其中,引入云原生数据库并完成应用基于容器的微服务改造是整个应用服务架构重 构的关键点: - 引入云原生数据库 应用容器化 微服务改造 综合考虑申通实际业务需求与技术特征,最终选择了「阿里云 ACK+ 神龙 + 云数据库」的云原生解决方案,从 而实现核心应用迁移上阿里云。
Pony马 2021-01-15 03:42:00 0 浏览量 回答数 0

回答

中国联通与阿里云结合阿里云原生 PaaS、阿里飞天操作系统、阿里云原生数据库以及中国联通天宫平台,共同 研发运营商级专有云平台“天宫云”,支撑中国联通核心业务应用。合作过程中,阿里云从互联网架构,业务中台架构, 云原生技术等方面出发,基于阿里云业务中台,互联网技术上的最佳实践,云原生完整技术产品的整体架构方案。阿 里云原生 PaaS 平台为业务能力层和核心能力层及能力开放管理平台提供包括:分布式服务框架、分布式消息服务、 分布式数据服务、分布式监控等云原生技术服务、管理业务能力、技术组件、云原生运维管理服务在内的基本技术支持。
Pony马 2021-01-15 04:19:36 0 浏览量 回答数 0

问题

阿里云给中国联通提出的云原生解决方案中全面云化的系统是什么?

阿里云给中国联通提出的云原生解决方案中全面云化的系统是什么?...
Pony马 2021-01-15 04:19:51 1 浏览量 回答数 1

问题

阿里云给特步提出的云原生解决方案的架构后台系统关键点是什么?

阿里云给特步提出的云原生解决方案的架构后台系统关键点是什么?...
Pony马 2021-01-15 04:15:11 1 浏览量 回答数 1

回答

Re新买的ECS是二手 阿里云的ecs都是2手的,因为系统不是原生的系统,都是经过阿里云修改后打包的,就象win系统下的ghost,必须先安装,然后修改了再打包,作为系统镜像给每个ecs安装 阿里云不象VMware 和kvm架构,可以让用户自定义系统镜像,安装原生系统
买醉 2019-12-02 02:44:04 0 浏览量 回答数 0

问题

【百问百答】《云原生架构白皮书》(上)

# 注:问题中对回答答案有疑问欢迎指出,我会尽快修改 1为什么需要云原生架构? 2什么是云原生架构? 3云原生架构的发展背景是什么? 4云原生架构与传统架构有什么区别ÿ...
Pony马 2021-01-15 14:47:23 996 浏览量 回答数 1

回答

好多手机用阿里云系统的原因:  1.阿里云系统跟谷歌的Android一样是基于开放的LINUX源代码开发的,不同的是阿里云OS采用Cloud App方式,使用户不需要在手机端下载应用,而只在网络环境下,登陆统一的云账号后,只要手机流量足够,即可运行OS平台上的各种应用。 2.相较于原生的安卓系统,阿里云系统在系统UI方面的改变比较大,而且操作习惯方式等都有一定的变化。 3.阿里云系统的特点主要体现在阿里本身。毕竟是阿里出的系统,因此手机上随处可见的就是阿里的各种app的应用了。像一些聚划算,还有淘宝读书,以及相关的淘宝旅行以及支付宝等等都出现在了手机里面。对于时刻离不开阿里的朋友来说,这的确是一个很方便的特色了。 答案来源网络,供参考,希望对您有帮助
问问小秘 2019-12-02 02:19:30 0 浏览量 回答数 0

问题

cloud native云原生架构实践大邪 阿里云存储服务产品经理

大邪在2017云栖大会成都峰会中做了题为《小团队能做大系统:cloud native云原生架构实践大邪 阿里云存储服务产品经理》的分享,就什么是Cloud Native,云能够提供什么样的基础能力&...
福利达人 2019-12-01 20:54:33 564 浏览量 回答数 0

回答

Aliyun Linux系统镜像是阿里云原生Linux操作系统,Aliyun Linux由阿里云官方提供长期支持和维护(LTS),针对 ECS 做了大量深度优化,完全兼容 CentOS 生态和操作方式,提供更佳的性能和体验。 参考:Aliyun Linux镜像官方详解 - 阿里云 如果是ECS云服务器,可以选择Aliyun Linux或CentOS。
云服务器吧 2020-07-28 09:12:45 0 浏览量 回答数 0

回答

最佳回答 Aliyun Linux:Aliyun Linux 2镜像系统是新一代阿里云原生Linux操作系统,完全兼容CentOS并对ECS云服务器多了深度优化,用户可以在ECS云服务器上免费安装Aliyun Linux 2镜像,并且得到阿里云官网长期支持和维护,参考:Aliyun Linux 2官方详解 综上,简单来说,Aliyun Linux完全兼容CentOS,Aliyun Linux镜像针对ECS云服务器做了性能优化。 更多参考地址: 阿里云官方(新用户需官网注册查看)
游客ae2s7nj4o4cxq 2020-09-12 18:55:26 0 浏览量 回答数 0

回答

Jindo 是阿里云基于 Apache Spark / Apache Hadoop 在云上定制的分布式计算和存储引擎。Jindo 原是阿里云 开源大数据团队的内部研发代号,取自筋斗(云)的谐音, Jindo 在开源基础上做了大量优化和扩展,深度集成和连接了众多阿里云基础服务。 JindoFS 是阿里云针对云上存储自研的大数据缓存加速服务,JindoFS 的设计理念 是云原生:弹性、高效、稳定和低成本。JindoFS 完全兼容 Hadoop 文件系统接口,给 客户带来更加灵活、高效的数据湖加速方案,完全兼容阿里云 EMR 中所有的计算服务和 引擎:Spark、Flink、Hive、MapReduce、Presto、Impala 等。JindoFS 有两种使 用模式,块存储模式(BLOCK)和缓存模式(CACHE)。下面我们介绍下如何在 EMR 中配 置和使用 JindoFS 以及不同模式对应的场景。
Lee_tianbai 2021-01-07 15:24:32 0 浏览量 回答数 0

回答

Aliyun Linux:Aliyun Linux 2镜像系统是新一代阿里云原生Linux操作系统,完全兼容CentOS并对ECS云服务器多了深度优化,用户可以在ECS云服务器上免费安装Aliyun Linux 2镜像,并且得到阿里云官网长期支持和维护,参考:Aliyun Linux 2官方详解 综上,简单来说,Aliyun Linux完全兼容CentOS,Aliyun Linux镜像针对ECS云服务器做了性能优化。
用数据说话 2020-07-30 20:58:50 0 浏览量 回答数 0

回答

Aliyun Linux:Aliyun Linux 2镜像系统是新一代阿里云原生Linux操作系统,完全兼容CentOS并对ECS云服务器多了深度优化,用户可以在ECS云服务器上免费安装Aliyun Linux 2镜像,并且得到阿里云官网长期支持和维护,参考:Aliyun Linux 2官方详解 综上,简单来说,Aliyun Linux完全兼容CentOS,Aliyun Linux镜像针对ECS云服务器做了性能优化。
云服务器吧 2020-05-07 12:11:23 0 浏览量 回答数 0

回答

Aliyun Linux是阿里云原生Linux操作系统,Aliyun Linux 镜像由阿里云官方提供长期支持和维护(LTS),针对 ECS 做了大量深度优化,完全兼容 CentOS 生态和操作方式,提供更佳的性能和体验。 参考:Aliyun Linux官方详解 - 阿里云
云服务器吧 2020-07-25 21:16:38 0 浏览量 回答数 0

回答

Aliyun Linux是阿里云原生Linux操作系统,Aliyun Linux 镜像由阿里云官方提供长期支持和维护(LTS),针对 ECS 做了大量深度优化,完全兼容 CentOS 生态和操作方式,提供更佳的性能和体验。 参考:Aliyun Linux官方详解 - 阿里云
云服务器吧 2020-07-25 21:15:02 0 浏览量 回答数 0

问题

阿里云成为CNCF金牌会员 提供云端Kubernetes解决方案

         “非常激动,阿里云能成为金牌成员”,CNCF执行董事 Dan Kohn表示,"我们期待中国云计算工程师更多参与到国际云计算标准的制定中。“ CNCF(英文...
玄学酱 2019-12-01 22:07:37 2378 浏览量 回答数 0

问题

细分市场 互联网公司进军手机领域的力作

2011年07月31日06:53  来源:天极网 第1页为发烧友而生—小米MIUI   新浪联手HTC推出了微客手机,前者是 互联网公司,后者是手机生产商,这种跨平台的合作在 业...
lindadli 2019-12-01 20:02:35 8802 浏览量 回答数 0

回答

阿里云文件存储NAS(NetworkAttachedStorage)是一款面向阿里云ECS实例、E-HPC和容器服务等计算节点的高可靠、高性能的分布式文件系统,可共享访问、弹性扩展。NAS基于POSIX文件接口,天然适配原生操作系统。
爱吃鱼的程序员 2021-01-06 13:12:08 0 浏览量 回答数 0

回答

或许灵活的gentoo系统给你带来了好印象,但是这个是对硬件和开发者要求极高的,主要是硬件的驱动要支持。 阿里云目前不支持内核重新编译,因为部分系统PVdriver原生支持有限,无法有效利用阿里云的弹性计算平台。
leejd 2019-12-02 00:04:22 0 浏览量 回答数 0

问题

阿里云与Linode对比测试-阿里云与Linode选哪个好

阿里云主机全面测试报告阿里云主机全面购买指南 阿里云简介阿 里云主机是基于阿里云自主研发的飞天大规模分布式计算系统,通过虚拟化技术整合IT资源,为各行业提供互联网基础设施服务。云服务器具有自助管理、数据安 全保障...
roye888 2019-12-01 21:31:31 22266 浏览量 回答数 5

回答

混合云备份服务(Hybrid Backup Recovery,简称HBR) 是一种高效、安全、低成本的全托管式云备份存储服务。您可以使用混合云备份将企业数据中心的数据、分支机构数据,或云上资源备份到混合云备份的云上备份仓库。 混合云备份架构图 在本地数据中心部署HBR客户端后,用户可以通过专线、VPN或者公网将指定需要备份的本地文件、NAS文件、VMWare虚拟机以及SQL Server数据库备份到阿里云上的备份库中。同时,通过高等级加密以及高效的重删压缩技术,确保了数据传输的高效性和安全性。 此外,针对阿里云上各个类型的数据,包括ECS的文件、SQL Server、SAP HANA、NAS服务、以及OSS服务上的数据,HBR提供了简单易用的原生数据保护功能。 为什么选择混合云备份 相比于在自建的数据中心搭建备份系统或自行搭建云上备份系统,混合云备份具有以下优势: 对比项 手工备份 混合云备份服务 权限管理 无 手工备份没有严格的权限管理功能,容易出现数据误删除等操作。 有 混合云备份服务使用RAM服务为操作人员划分等级权限,限制其访问被授权的资源。 重删压缩 无 重复备份的数据会增加大量的存储成本,且备份速度低。 有 混合云备份服务采用阿里云自研的重删(重复数据删除)、压缩技术,可有效减少I/O传输量和云备份存储量,从而提高备份速度,节省成本。 备份报警 无 一旦出现备份失败,不通过人工跟踪无法感知。有些只有在恢复备份时,才发现备份失败。 有 混合云备份服务的备份报警功能可以在备份失败或客户端与服务器连接断开时,向备份人员发送报警通知。 备份数据生命周期 手动管理 自动管理 数据恢复 需手动整合多个恢复副本。 混合云备份服务的备份版本展示清晰,方便恢复时选择,还可以设置恢复规则。 管理成本 高 手工备份需要人工写脚本、需要相应的管理人员,整体运维复杂、难度较大、资源利用率低、管理成本高。 低 使用混合云备份服务,您只需将备份数据托管到我们的云上备份仓库,无需担心硬件预置、配置、集群扩展、安全等问题。 数据加密 需自建 全自动,支持AES256加密、AK授权加密、HTTPS传输加密。 混合云备份支持备份哪些数据源 数据源 系统 备份客户端 本地数据中心 文件目录 Windows/Windows Server/Linux 文件客户端 VMware vSphere中的虚拟机镜像 Windows/Windows Server/Linux 虚机客户端 SAP HANA Linux 文件客户端 SQL Server Windows Server 文件客户端 MySQL Windows Server/Linux 文件客户端 MongoDB Windows Server/Linux 文件客户端 阿里云ECS ECS中的文件目录 Windows Server/Linux ECS备份客户端 部署在ECS上的SAP HANA Windows Server/Linux ECS备份客户端 部署在ECS上的SQL Server Windows Server ECS备份客户端 云存储网关 部署在阿里云上的文件网关 不涉及 云存储网关客户端 阿里云文件存储NAS 保存在阿里云文件存储NAS的数据 不涉及 不涉及 阿里云对象存储OSS 保存在阿里云对象存储OSS的数据 不涉及 不涉及 相关概念 名称 描述 备份源 需要备份的数据所在的机器,例如服务器、虚拟机或者ECS实例。 客户端 客户端安装在备份源上。您可以通过客户端进行备份和恢复等操作。不同的备份源系统和平台需要安装相应的客户端。 客户端支持断点续传、定时重试等方式确保备份稳定性,在网络短时抖动情况下依然可以完成备份。 地域 地域是指阿里云物理的数据中心。资源创建成功后不能更换地域。更多参见地域和可用区。 备份仓库 备份仓库是HBR的云上备份仓库,用于存储您备份在云上的数据。多个客户端可以备份到同一个仓库,帮助您更高效的管理备份数据,减小管理时间和成本。 备份仓库支持的客户端数和存储容量没有限制,按需订阅,按需扩容,同时备份库提供12个9的数据可靠性。 备份仓库有地域属性,选择合理的备份仓库地域可以帮助您提高备份性能,布局容灾。备份仓库创建成功后不能更换地域。数据的重删压缩都以备份仓库为单位。 镜像仓库 镜像仓库是备份仓库的异地镜像,镜像仓库可以帮助您实现异地容灾,您还可以使用异地镜像仓库实现跨区域恢复。 图形化中转机 如果您需要备份Linux系统中的文件目录,且该Linux系统未安装图形化界面,需要将HBR的客户端下载到一台有图形化界面的中转机上,然后部署到被保护机器。您可以在中转机登录客户端界面。
1934890530796658 2020-03-30 14:04:31 0 浏览量 回答数 0

问题

命令行工具 CLI:产品概述

阿里云命令行工具 CLI(Alibaba Cloud CLI)是基于阿里云开放 API建立的管理工具。借助此工具,您可以通过调用阿里云开放 API 来管理阿里云产品。该命令行工具与阿里云开放 API...
行者武松 2019-12-01 21:52:10 1308 浏览量 回答数 0

回答

• 强大的实时处理能力 阿里云实时计算集成诸多全链路功能,方便您进行全链路实时计算开发,包括: o 强大的流计算(实时计算)引擎。  阿里云实时计算提供Flink SQL(详情请参见Flink SQL概述),支持各类错误场景的自动恢复,保证故障情况下数据处理的准确性。  支持多种内置函数,包括:字符串函数、日期函数、聚合。  精确的计算资源控制,高度保证您的作业的隔离性。 o 关键性能指标为开源Flink的3到4倍。数据计算延迟优化到秒级甚至亚秒级。单个作业吞吐量可达到百万(记录/秒)级别,单集群规模达到数千台。 o 深度整合各类云数据存储。阿里云实时计算可以直接读写包括数据总线DataHub、日志服务LOG、云数据库RDS版、表格存储TableStore、分析型数据库MySQL版在内的各类数据存储系统,无需进行额外的数据集成工作。 • 托管的实时计算服务 不同于开源或者自建的流式处理服务,阿里云实时计算是完全托管的流式计算引擎。阿里云可以针对流数据运行查询,无需预置或管理任何基础设施。在阿里云实时计算,您可以享受一键启用的流式数据服务能力。阿里云实时计算天然集成数据存储、数据开发、数据运维、监控报警等功能,方便您以较小成本试用和迁移流式计算。同时,实时计算提供完全租户隔离的托管运行服务。从最上层工作空间,到最底层执行机器,提供高度有效的隔离和全面防护,让您放心使用实时计算。 • 低廉的人力和集群成本 大量优化的SQL执行引擎,提供比原生Flink作业更高效且更廉价的计算作业。在开发成本和运行成本方面,阿里云实时计算均要远低于开源流式框架。例如,项目预算时您需要考虑如下成本: o 编写一个复杂业务逻辑下Flink作业Java代码的人力成本。 o 针对作业的调试、测试、调优、上线工作成本。 o 后续长期用于Flink、Zookeeper等开源软件的运维成本。 如果使用阿里云实时计算服务,上述问题交由阿里云平台承担,您可以专注于业务。
LiuWH 2020-03-22 16:57:39 0 浏览量 回答数 0

回答

云服务器(Elastic Compute Service,简称ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。 为什么选择云服务器ECS 选择云服务器ECS,您可以轻松构建具有以下优势的计算资源: 无需自建机房,无需采购以及配置硬件设施。 分钟级交付,快速部署,缩短应用上线周期。 快速接入部署在全球范围内的数据中心和BGP机房。 成本透明,按需使用,支持根据业务波动随时扩展和释放资源。 提供GPU和FPGA等异构计算服务器、弹性裸金属服务器以及通用的x86架构服务器。 支持通过内网访问其他阿里云服务,形成丰富的行业解决方案,降低公网流量成本。 提供虚拟防火墙、角色权限控制、内网隔离、防病毒攻击及流量监控等多重安全方案。 提供性能监控框架和主动运维体系。 提供行业通用标准API,提高易用性和适用性。 更多选择理由,请参见云服务器ECS的优势和应用场景。 产品架构 云服务器ECS主要包含以下功能组件: 实例:等同于一台虚拟服务器,内含CPU、内存、操作系统、网络配置、磁盘等基础的计算组件。实例的计算性能、内存性能和适用业务场景由实例规格决定,其具体性能指标包括实例vCPU核数、内存大小、网络性能等。 镜像:提供实例的操作系统、初始化应用数据及预装的软件。操作系统支持多种Linux发行版和多种Windows Server版本。 块存储:块设备类型产品,具备高性能和低时延的特性。提供基于分布式存储架构的云盘、共享块存储以及基于物理机本地存储的本地盘。 快照:某一时间点一块云盘或共享块存储的数据状态文件。常用于数据备份、数据恢复和制作自定义镜像等。 安全组:由同一地域内具有相同保护需求并相互信任的实例组成,是一种虚拟防火墙,用于设置实例的网络访问控制。 网络: 专有网络(Virtual Private Cloud):逻辑上彻底隔离的云上私有网络。您可以自行分配私网IP地址范围、配置路由表和网关等。 经典网络:所有经典网络类型实例都建立在一个共用的基础网络上。由阿里云统一规划和管理网络配置。 更多功能组件详情,请参见云服务器ECS产品详情页。 以下为云服务器ECS的产品组件架构图,图中涉及的功能组件的详细介绍请参见相应的帮助文档。whatIsECS 产品定价 云服务器ECS支持包年包月、按量付费、预留实例券、抢占式实例等多种账单计算模式。更多详情,请参见计费概述和云产品定价页。 管理工具 通过注册阿里云账号,您可以在任何地域下,通过阿里云提供的以下途径创建、使用或者释放云服务器ECS: ECS管理控制台:具有交互式操作的Web服务页面。关于管理控制台的操作,请参见常用操作导航。 ECS API:支持GET和POST请求的RPC风格API。关于API说明,请参见API参考。以下为调用云服务器ECS API的常用开发者工具: 命令行工具CLI:基于阿里云API建立的灵活且易于扩展的管理工具。您可基于命令行工具封装阿里云的原生API,扩展出您需要的功能。 OpenAPI Explorer:提供快速检索接口、在线调用API和动态生成SDK示例代码等服务。 阿里云SDK:提供Java、Python、PHP等多种编程语言的SDK。 资源编排(Resource Orchestration Service):通过创建一个描述您所需的所有阿里云资源的模板,然后资源编排将根据模板,自动创建和配置资源。 运维编排服务(Operation Orchestration Service):自动化管理和执行运维任务。您可以在执行模板中定义执行任务、执行顺序、执行输入和输出等,通过执行模板达到自动化完成运维任务的目的。 Terraform:能够通过配置文件在阿里云以及其他支持Terraform的云商平台调用计算资源,并对其进行版本控制的开源工具。 阿里云App:移动端类型的管理工具。 Alibaba Cloud Toolkit:阿里云针对IDE平台为开发者提供的一款插件,用于帮助您高效开发并部署适合在云端运行的应用。 部署建议 您可以从以下维度考虑如何启动并使用云服务器ECS: 地域和可用区 地域指阿里云的数据中心,地域和可用区决定了ECS实例所在的物理位置。一旦成功创建实例后,其元数据(仅专有网络VPC类型ECS实例支持获取元数据)将确定下来,并无法更换地域。您可以从用户地理位置、阿里云产品发布情况、应用可用性、以及是否需要内网通信等因素选择地域和可用区。例如,如果您同时需要通过阿里云内网使用云数据库RDS,RDS实例和ECS实例必须处于同一地域中。更多详情,请参见地域和可用区。 高可用性 为保证业务处理的正确性和服务不中断,建议您通过快照实现数据备份,通过跨可用区、部署集、负载均衡(Server Load Balancer)等实现应用容灾。 网络规划 阿里云推荐您使用专有网络VPC,可自行规划私网IP,全面支持新功能和新型实例规格。此外,专有网络VPC支持多业务系统隔离和多地域部署系统的使用场景。更多详情,请参见专有网络(Virtual Private Cloud)。 安全方案 您可以使用云服务器ECS的安全组,控制ECS实例的出入网访问策略以及端口监听状态。对于部署在云服务器ECS上的应用,阿里云为您提供了免费的DDoS基础防护和基础安全服务,此外您还可以使用阿里云云盾,例如: 通过DDoS高防IP保障源站的稳定可靠。更多详情,请参见DDoS高防IP文档。 通过云安全中心保障云服务器ECS的安全。更多详情,请参见云安全中心文档。 相关服务 使用云服务器ECS的同时,您还可以选择以下阿里云服务: 根据业务需求和策略的变化,使用弹性伸缩(Auto Scaling)自动调整云服务器ECS的数量。更多详情,请参见弹性伸缩。 使用专有宿主机(Dedicated Host)部署ECS实例,可让您独享物理服务器资源、降低上云和业务部署调整的成本、满足严格的合规和监管要求。更多详情,请参见专有宿主机DDH。 使用容器服务Kubernetes版在一组云服务器ECS上通过Docker容器管理应用生命周期。更多详情,请参见容器服务Kubernetes版。 通过负载均衡(Server Load Balancer)对多台云服务器ECS实现流量分发的负载均衡目的。更多详情,请参见负载均衡。 通过云监控(CloudMonitor)制定实例、系统盘和公网带宽等的监控方案。更多详情,请参见云监控。 在同一阿里云地域下,采用关系型云数据库(Relational Database Service)作为云服务器ECS的数据库应用是典型的业务访问架构,可极大降低网络延时和公网访问费用,并实现云数据库RDS的最佳性能。云数据库RDS支持多种数据库引擎,包括MySQL、SQL Server、PostgreSQL、PPAS和MariaDB。更多详情,请参见关系型云数据库。 在云市场获取由第三方服务商提供的基础软件、企业软件、网站建设、代运维、云安全、数据及API、解决方案等相关的各类软件和服务。您也可以成为云市场服务供应商,提供软件应用及服务。更多详情,请参见云市场文档。 更多方案,请参见阿里云解决方案。
1934890530796658 2020-03-24 14:03:02 0 浏览量 回答数 0

回答

大数据时代早期,Apache HDFS 是构建具有海量存储能力数据仓库的首选方案。随 着云计算、大数据、AI 等技术的发展,所有云厂商都在不断完善自家的对象存储,来更好 地适配 Apache Hadoop/Spark 大数据以及各种 AI 生态。由于对象存储有海量、安全、 低成本、高可靠、易集成等优势,各种 IoT 设备、网站数据都把各种形式的原始文件存储 在对象存储上,利用对象存储增强和拓展大数据 AI 也成为了业界共识,Apache Hadoop 社区也推出了原生的对象存储“Ozone”。从 HDFS 到对象存储,从数据仓库 到数据湖,把所有的数据都放在一个统一的存储中,也可以更加高效地进行分析和处理。 对于云上的客户来说,如何构建自己的数据湖,早期的技术选型非常重要,随着数据量 的不断增加,后续进行架构升级和数据迁移的成本也会增加。在云上使用 HDFS 构建大规 模存储系统,已经暴露出来不少问题。HDFS 是 Hadoop 原生的存储系统,经过 10 年 来的发展,HDFS 已经成为大数据生态的存储标准,但我们也看到 HDFS 虽然不断优化, 但是 NameNode 单点瓶颈,JVM 瓶颈仍然影响着集群的扩展,从 1 PB 到 100+ PB, 需要不断的进行调优、集群拆分来,HDFS 可以支持到 EB 级别,但是投入很高的运维成 本,来解决慢启动,心跳风暴,节点扩容、节点迁移,数据平衡等问题。 云原生的大数据存储方案,基于阿里云 OSS 构建数据湖是最合适的选择。OSS 是 阿里云上的对象存储服务,有着高性能、无限容量、高安全、高可用、低成本等优势, JindoFS 针对大数据生态对 OSS 进行了适配,缓存加速,甚至提供专门的文件元数据服 务,满足上云客户的各种分析计算需求。因此在阿里云上,JindoFS + OSS 成为客户采 取数据湖架构迁移上云的最佳实践。
Lee_tianbai 2021-01-07 15:23:43 0 浏览量 回答数 0

问题

【大咖问答】对话千锤百炼360行,驻云科技首席架构师苏炎

大家好,我有很多身份,我是阿里云MVP,我也是驻云科技首席架构师。浙江大学软件工程学士毕业,后就读NEU计算机系统工程硕士。先后在IBM、VMware担任软件工程师和架构师。2016加...
tech君 2019-12-01 19:36:05 1005 浏览量 回答数 3

回答

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS。 背景信息 当前业界有很多公司是以Hadoop技术构建数据中心,而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储HDFS可以帮助您实现将开源HDFS的数据迁移到云上,并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。 适用范围 非阿里云Hadoop集群中的数据迁移到文件存储HDFS。 阿里云ECS自建Hadoop集群中的数据迁移到文件存储HDFS。 准备工作 在阿里云ECS创建Hadoop集群。 如果您目前的Hadoop集群是搭建在阿里云VPC网络上的阿里云ECS集群,则无需在阿里云ECS上创建新的Hadoop集群。 创建和挂载文件系统至阿里云ECS上的Hadoop集群,并将文件存储HDFS设置为fs.defaultFS,详情请参见文件存储HDFS快速入门。 验证文件系统和计算节点之间的连通性。 执行以下命令,在文件存储HDFS上创建目录(如:/dfs_links)。 hadoop fs -mkdir /dfs_links 执行以下命令,验证连通性。 hadoop fs -ls dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/dfs_links 其中f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 如果命令正常执行无输出结果,则表示连通成功。如果连通失败,请参见创建文件系统实例后,为什么无法访问文件存储HDFS?进行排查。 准备迁移工具。 您可以通过Hadoop社区标准的Distcp工具实现全量或增量的HDFS数据迁移,详细的Distcp工具使用说明请参见Hadoop Distcp 工具官方说明文档。 说明 使用Distcp命令将旧集群数据迁移至文件存储HDFS时,请注意文件存储HDFS不支持以下参数,其它参数使用和Hadoop Distcp 工具官方说明文档一致。文件存储HDFS及命令行存在限制的详细信息请参见使用限制。 参数 描述 状态 -p[rbpax] r:replication,b:block-size,p:permission,a:ACL,x:XATTR 不可用 非阿里云自建Hadoop集群数据迁移 非阿里云自建Hadoop集群数据迁移到文件存储HDFS包括以下两种情况。 非阿里云自建Hadoop集群与文件存储HDFS可以实现网络互通时, 请按照以下方法进行数据迁移。 使用阿里云高速通道产品建立原集群和文件存储HDFS所在VPC网络的连通,详情请参见专线上云方案介绍。 新旧集群实现网络互通后,执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 说明 为减轻现有集群资源压力,建议确保新旧集群网络连通后,在新挂载文件系统的阿里云Hadoop集群上执行数据迁移命令。 非阿里云自建Hadoop集群与文件存储HDFS无法实现网络互通时,请按照以下方法进行数据迁移。 将非阿里云自建Hadoop集群数据迁移到对象存储OSS,详情请参见离线迁移教程。 将对象存储OSS数据迁移到文件存储HDFS,详情请参见文件存储HDFS和对象存储OSS双向数据迁移。 阿里云ECS自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群数据迁移到文件存储HDFS时,包括以下两种情况: 阿里云ECS自建Hadoop集群处于经典网络环境时,请按照以下方法进行数据迁移。 通过阿里云ECS的ClassicLink建立ClassicLink连接,详情请参见建立 ClassicLink 连接。 执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 阿里云ECS自建Hadoop集群处于VPC网络环境时,请按照以下方法进行数据迁移。 阿里云ECS自建Hadoop集群处于VPC网络环境时,可以直接通过VPC网络迁移数据到文件存储HDFS。迁移命令如下所示: hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。同时文件越多,checksum需要的时间越长。如果迁移数据量大,建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据,可以将目录切为几个小目录,依次迁移。 一般全量数据同步时,需要一个短暂的业务停写过程,用来启用双写双算或直接将业务切换到新集群上。 迁移过程出现异常提示:Cannot obtain block length for LocatedBlock。 从原生的HDFS往对象存储OSS/文件存储HDFS迁移数据时,可能会遇到这个问题。遇到该问题时,请执行hdfs fsck / –openforwrite命令,检查当前是否有文件处于写入状态尚未关闭。 如果有处于写入状态的文件时,需判断文件是否有效。 如果文件无效,则直接删除文件。 hdfs rm 如果文件有效,则不能直接删除,请考虑恢复问题文件租约。 hdfs debug recoverLease -path -retries
1934890530796658 2020-03-31 02:36:06 0 浏览量 回答数 0

回答

开源部分  Sentinel:把流量作为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护 服务的稳定性。  Nacos:一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。  RocketMQ:一款开源的分布式消息系统,基于高可用分布式集群技术,提供低延时 的、高可靠的消息发布与订阅服务。  Dubbo:Apache Dubbo 是一款高性能 Java RPC 框架。  Seata:阿里巴巴开源产品,一个易于使用的高性能微服务分布式事务解决方案。 平台服务部分  Alibaba Cloud OSS: 阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。您可以在任何 应用、任何时间、任何地点存储和访问任意类型的数据。  Alibaba Cloud SchedulerX: 阿里中间件团队开发的一款分布式任务调度产品,提 供秒级、精准、高可靠、高可用的定时(基于 Cron 表达式)任务调度服务。  Alibaba Cloud SMS: 覆盖全球的短信服务,友好、高效、智能的互联化通讯能力, 帮助企业迅速搭建客户触达通道。
Lee_tianbai 2021-01-05 15:51:36 0 浏览量 回答数 0

回答

系统需要具备更强的可观测能力。选用阿里云云原生架构可以使运维、开发和业务人员实时掌握软件运行情况,并结合多个维度的数据指标,获得前所未有的关联分析 能力,不断对业务健康度和用户体验进行数字化衡量和持续优化。
Pony马 2021-01-14 16:04:44 0 浏览量 回答数 0

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT