• 关于

    中小企业原生云使用说明

    的搜索结果

回答

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS。 背景信息 当前业界有很多公司是以Hadoop技术构建数据中心,而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储HDFS可以帮助您实现将开源HDFS的数据迁移到云上,并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。 适用范围 非阿里云Hadoop集群中的数据迁移到文件存储HDFS。 阿里云ECS自建Hadoop集群中的数据迁移到文件存储HDFS。 准备工作 在阿里云ECS创建Hadoop集群。 如果您目前的Hadoop集群是搭建在阿里云VPC网络上的阿里云ECS集群,则无需在阿里云ECS上创建新的Hadoop集群。 创建和挂载文件系统至阿里云ECS上的Hadoop集群,并将文件存储HDFS设置为fs.defaultFS,详情请参见文件存储HDFS快速入门。 验证文件系统和计算节点之间的连通性。 执行以下命令,在文件存储HDFS上创建目录(如:/dfs_links)。 hadoop fs -mkdir /dfs_links 执行以下命令,验证连通性。 hadoop fs -ls dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/dfs_links 其中f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 如果命令正常执行无输出结果,则表示连通成功。如果连通失败,请参见创建文件系统实例后,为什么无法访问文件存储HDFS?进行排查。 准备迁移工具。 您可以通过Hadoop社区标准的Distcp工具实现全量或增量的HDFS数据迁移,详细的Distcp工具使用说明请参见Hadoop Distcp 工具官方说明文档。 说明 使用Distcp命令将旧集群数据迁移至文件存储HDFS时,请注意文件存储HDFS不支持以下参数,其它参数使用和Hadoop Distcp 工具官方说明文档一致。文件存储HDFS及命令行存在限制的详细信息请参见使用限制。 参数 描述 状态 -p[rbpax] r:replication,b:block-size,p:permission,a:ACL,x:XATTR 不可用 非阿里云自建Hadoop集群数据迁移 非阿里云自建Hadoop集群数据迁移到文件存储HDFS包括以下两种情况。 非阿里云自建Hadoop集群与文件存储HDFS可以实现网络互通时, 请按照以下方法进行数据迁移。 使用阿里云高速通道产品建立原集群和文件存储HDFS所在VPC网络的连通,详情请参见专线上云方案介绍。 新旧集群实现网络互通后,执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 说明 为减轻现有集群资源压力,建议确保新旧集群网络连通后,在新挂载文件系统的阿里云Hadoop集群上执行数据迁移命令。 非阿里云自建Hadoop集群与文件存储HDFS无法实现网络互通时,请按照以下方法进行数据迁移。 将非阿里云自建Hadoop集群数据迁移到对象存储OSS,详情请参见离线迁移教程。 将对象存储OSS数据迁移到文件存储HDFS,详情请参见文件存储HDFS和对象存储OSS双向数据迁移。 阿里云ECS自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群数据迁移到文件存储HDFS时,包括以下两种情况: 阿里云ECS自建Hadoop集群处于经典网络环境时,请按照以下方法进行数据迁移。 通过阿里云ECS的ClassicLink建立ClassicLink连接,详情请参见建立 ClassicLink 连接。 执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 阿里云ECS自建Hadoop集群处于VPC网络环境时,请按照以下方法进行数据迁移。 阿里云ECS自建Hadoop集群处于VPC网络环境时,可以直接通过VPC网络迁移数据到文件存储HDFS。迁移命令如下所示: hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。同时文件越多,checksum需要的时间越长。如果迁移数据量大,建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据,可以将目录切为几个小目录,依次迁移。 一般全量数据同步时,需要一个短暂的业务停写过程,用来启用双写双算或直接将业务切换到新集群上。 迁移过程出现异常提示:Cannot obtain block length for LocatedBlock。 从原生的HDFS往对象存储OSS/文件存储HDFS迁移数据时,可能会遇到这个问题。遇到该问题时,请执行hdfs fsck / –openforwrite命令,检查当前是否有文件处于写入状态尚未关闭。 如果有处于写入状态的文件时,需判断文件是否有效。 如果文件无效,则直接删除文件。 hdfs rm 如果文件有效,则不能直接删除,请考虑恢复问题文件租约。 hdfs debug recoverLease -path -retries

1934890530796658 2020-03-31 02:36:06 0 浏览量 回答数 0

回答

云服务器(Elastic Compute Service,简称ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。 为什么选择云服务器ECS 选择云服务器ECS,您可以轻松构建具有以下优势的计算资源: 无需自建机房,无需采购以及配置硬件设施。 分钟级交付,快速部署,缩短应用上线周期。 快速接入部署在全球范围内的数据中心和BGP机房。 成本透明,按需使用,支持根据业务波动随时扩展和释放资源。 提供GPU和FPGA等异构计算服务器、弹性裸金属服务器以及通用的x86架构服务器。 支持通过内网访问其他阿里云服务,形成丰富的行业解决方案,降低公网流量成本。 提供虚拟防火墙、角色权限控制、内网隔离、防病毒攻击及流量监控等多重安全方案。 提供性能监控框架和主动运维体系。 提供行业通用标准API,提高易用性和适用性。 更多选择理由,请参见云服务器ECS的优势和应用场景。 产品架构 云服务器ECS主要包含以下功能组件: 实例:等同于一台虚拟服务器,内含CPU、内存、操作系统、网络配置、磁盘等基础的计算组件。实例的计算性能、内存性能和适用业务场景由实例规格决定,其具体性能指标包括实例vCPU核数、内存大小、网络性能等。 镜像:提供实例的操作系统、初始化应用数据及预装的软件。操作系统支持多种Linux发行版和多种Windows Server版本。 块存储:块设备类型产品,具备高性能和低时延的特性。提供基于分布式存储架构的云盘、共享块存储以及基于物理机本地存储的本地盘。 快照:某一时间点一块云盘或共享块存储的数据状态文件。常用于数据备份、数据恢复和制作自定义镜像等。 安全组:由同一地域内具有相同保护需求并相互信任的实例组成,是一种虚拟防火墙,用于设置实例的网络访问控制。 网络: 专有网络(Virtual Private Cloud):逻辑上彻底隔离的云上私有网络。您可以自行分配私网IP地址范围、配置路由表和网关等。 经典网络:所有经典网络类型实例都建立在一个共用的基础网络上。由阿里云统一规划和管理网络配置。 更多功能组件详情,请参见云服务器ECS产品详情页。 以下为云服务器ECS的产品组件架构图,图中涉及的功能组件的详细介绍请参见相应的帮助文档。whatIsECS 产品定价 云服务器ECS支持包年包月、按量付费、预留实例券、抢占式实例等多种账单计算模式。更多详情,请参见计费概述和云产品定价页。 管理工具 通过注册阿里云账号,您可以在任何地域下,通过阿里云提供的以下途径创建、使用或者释放云服务器ECS: ECS管理控制台:具有交互式操作的Web服务页面。关于管理控制台的操作,请参见常用操作导航。 ECS API:支持GET和POST请求的RPC风格API。关于API说明,请参见API参考。以下为调用云服务器ECS API的常用开发者工具: 命令行工具CLI:基于阿里云API建立的灵活且易于扩展的管理工具。您可基于命令行工具封装阿里云的原生API,扩展出您需要的功能。 OpenAPI Explorer:提供快速检索接口、在线调用API和动态生成SDK示例代码等服务。 阿里云SDK:提供Java、Python、PHP等多种编程语言的SDK。 资源编排(Resource Orchestration Service):通过创建一个描述您所需的所有阿里云资源的模板,然后资源编排将根据模板,自动创建和配置资源。 运维编排服务(Operation Orchestration Service):自动化管理和执行运维任务。您可以在执行模板中定义执行任务、执行顺序、执行输入和输出等,通过执行模板达到自动化完成运维任务的目的。 Terraform:能够通过配置文件在阿里云以及其他支持Terraform的云商平台调用计算资源,并对其进行版本控制的开源工具。 阿里云App:移动端类型的管理工具。 Alibaba Cloud Toolkit:阿里云针对IDE平台为开发者提供的一款插件,用于帮助您高效开发并部署适合在云端运行的应用。 部署建议 您可以从以下维度考虑如何启动并使用云服务器ECS: 地域和可用区 地域指阿里云的数据中心,地域和可用区决定了ECS实例所在的物理位置。一旦成功创建实例后,其元数据(仅专有网络VPC类型ECS实例支持获取元数据)将确定下来,并无法更换地域。您可以从用户地理位置、阿里云产品发布情况、应用可用性、以及是否需要内网通信等因素选择地域和可用区。例如,如果您同时需要通过阿里云内网使用云数据库RDS,RDS实例和ECS实例必须处于同一地域中。更多详情,请参见地域和可用区。 高可用性 为保证业务处理的正确性和服务不中断,建议您通过快照实现数据备份,通过跨可用区、部署集、负载均衡(Server Load Balancer)等实现应用容灾。 网络规划 阿里云推荐您使用专有网络VPC,可自行规划私网IP,全面支持新功能和新型实例规格。此外,专有网络VPC支持多业务系统隔离和多地域部署系统的使用场景。更多详情,请参见专有网络(Virtual Private Cloud)。 安全方案 您可以使用云服务器ECS的安全组,控制ECS实例的出入网访问策略以及端口监听状态。对于部署在云服务器ECS上的应用,阿里云为您提供了免费的DDoS基础防护和基础安全服务,此外您还可以使用阿里云云盾,例如: 通过DDoS高防IP保障源站的稳定可靠。更多详情,请参见DDoS高防IP文档。 通过云安全中心保障云服务器ECS的安全。更多详情,请参见云安全中心文档。 相关服务 使用云服务器ECS的同时,您还可以选择以下阿里云服务: 根据业务需求和策略的变化,使用弹性伸缩(Auto Scaling)自动调整云服务器ECS的数量。更多详情,请参见弹性伸缩。 使用专有宿主机(Dedicated Host)部署ECS实例,可让您独享物理服务器资源、降低上云和业务部署调整的成本、满足严格的合规和监管要求。更多详情,请参见专有宿主机DDH。 使用容器服务Kubernetes版在一组云服务器ECS上通过Docker容器管理应用生命周期。更多详情,请参见容器服务Kubernetes版。 通过负载均衡(Server Load Balancer)对多台云服务器ECS实现流量分发的负载均衡目的。更多详情,请参见负载均衡。 通过云监控(CloudMonitor)制定实例、系统盘和公网带宽等的监控方案。更多详情,请参见云监控。 在同一阿里云地域下,采用关系型云数据库(Relational Database Service)作为云服务器ECS的数据库应用是典型的业务访问架构,可极大降低网络延时和公网访问费用,并实现云数据库RDS的最佳性能。云数据库RDS支持多种数据库引擎,包括MySQL、SQL Server、PostgreSQL、PPAS和MariaDB。更多详情,请参见关系型云数据库。 在云市场获取由第三方服务商提供的基础软件、企业软件、网站建设、代运维、云安全、数据及API、解决方案等相关的各类软件和服务。您也可以成为云市场服务供应商,提供软件应用及服务。更多详情,请参见云市场文档。 更多方案,请参见阿里云解决方案。

1934890530796658 2020-03-24 14:03:02 0 浏览量 回答数 0

回答

弹性伸缩(Auto Scaling)在业务需求增长时无缝地增加ECS实例数量,并在业务需求下降时自动减少ECS实例数量节约成本。为了提供更加弹性、灵活的伸缩服务,伸缩配置支持标签、密钥对、实例RAM角色和实例自定义数据。本文介绍4个特性的作用并演示了使用方式。 前提条件 使用本教程进行操作前,请确保您已经注册了阿里云账号。如还未注册,请先完成账号注册。 背景信息 弹性伸缩不仅提供了在业务需求高峰或低谷时自动调节ECS实例数量的能力,而且提供了在ECS实例上自动部署应用的能力。弹性伸缩的伸缩配置支持多种特性,帮助您高效、灵活地自定义ECS实例配置,满足业务需求。 标签 标签的介绍请参见标签概述。标签可以识别资源和用户组,允许企业或个人将相同作用的云服务器ECS资源归类,便于搜索和资源聚合。伸缩配置支持绑定标签,在创建伸缩配置时选择标签即可。 通过API创建伸缩配置时,您可以使用Tags选择标签,更多信息请参见CreateScalingConfiguration。 SSH密钥对 SSH密钥对的介绍请参见SSH密钥对概述。阿里云只支持RSA 2048位的密钥对,仅Linux实例支持SSH密钥对登录。在创建SSH密钥对时,阿里云会保存密钥的公钥,并向您返回密钥部分。 相比密码方式,使用SSH密钥对登录Linux实例更加快速、安全,您只需要在创建伸缩配置时选择SSH密钥对。在弹性伸缩自动创建出实例后,实例会存储该SSH密钥对的公钥,您在本机使用SSH密钥对的私钥即可登录自动创建的实例。但需要注意以下几点: 通过API创建伸缩配置时,您可以使用KeyPairName选择SSH密钥对,更多信息请参见CreateScalingConfiguration。 实例RAM角色 访问控制(Resource Access Management,RAM)是阿里云提供的一项管理用户身份与资源访问权限的服务。RAM支持创建不同的角色,不同的角色对不同的云产品具有不同的操作权限。 实例RAM角色的介绍请参见实例RAM角色概述。实例RAM角色让ECS实例扮演具有某些权限的角色,从而赋予实例一定的访问权限。在伸缩配置中选择实例RAM角色时,请确保实例RAM角色的权限策略允许您的实例扮演该实例RAM角色,否则伸缩配置无法弹出实例。 通过API创建伸缩配置时,您可以使用RamRoleName选择实例RAM角色,更多信息请参见CreateScalingConfiguration。 实例自定义数据 实例自定义数据的介绍请参见生成实例自定义数据。Windows实例及Linux实例均支持实例自定义数据,主要有以下用途: 作为实例自定义脚本在启动实例时执行,您可以自定义实例的启动行为。 作为普通数据向实例传入信息,您可以在实例中引用这些数据。 相比Terraform等开源IT基础架构管理工具,使用弹性伸缩原生的实例自定义数据更加快速、安全。您只需要准备好实例自定义脚本,然后以Base64编码的方式传入伸缩配置即可,自动创建的ECS实例会在启动时自动执行实例自定义脚本,实现应用级别的扩容和缩容。但需要注意以下几点: 伸缩组的网络类型需要为专有网络(VPC)。 实例自定义数据需要为Base64编码方式。 实例自定义数据将以不加密的方式传入实例,请不要以明文方式传入机密的信息(例如密码、私钥数据等)。如果必须传入,建议先加密原始数据,以Base64方式编码加密后的数据并传入实例,然后在实例内部以同样的方式反解密。 通过API创建伸缩配置时,您可以使用UserData参数传入实例自定义数据,更多信息请参见CreateScalingConfiguration。 合理地使用弹性伸缩服务,不仅能够有效地降低您的服务器成本,而且能够有效地降低您的服务管理和运维成本。为了帮助您准确地理解和使用弹性伸缩服务,本文将结合上述特性,演示伸缩组自动伸缩和自动部署的效果,包括为实例自动添加实例RAM角色、标签属性,设置实例支持密钥对登录,并在实例启动后自动执行自定义脚本。 操作步骤 完成以下操作在伸缩配置中应用标签、密钥对、实例RAM角色和实例自定义数据: 步骤一:创建配置项 步骤二:应用配置项 步骤三:验证自定义配置效果 步骤一:创建配置项 按照以下步骤创建所需的RAM角色、标签、密钥对和实例自定义数据。 创建标签。 具体操作请参见绑定标签。 创建密钥对。 具体操作请参见创建SSH密钥对。 创建实例RAM角色。 具体操作请参见创建可信实体为阿里云服务的RAM角色。您也可以视情况选用已有的RAM角色,在伸缩配置中选择实例RAM角色时,请确保实例RAM角色的权限策略允许伸缩组内的实例扮演该RAM角色,否则伸缩配置无法弹出实例。例如,RAM角色AliyunECSImageExportDefaultRole用于授权导出镜像,允许当前用户的所有ECS实例扮演该RAM角色,其信任策略如下: { "Statement": [ { "Action": "sts:AssumeRole", "Effect": "Allow", "Principal": { "Service": [ "ecs.aliyuncs.com" ] } } ], "Version": "1" } 说明 ecs.aliyuncs.com表示允许当前用户的所有ECS实例扮演该RAM角色。 生成实例自定义数据。 具体操作请参见生成实例自定义数据。本文中,创建了一个shell脚本,实现在实例首次启动后向/root/output10.txt文件写入字符串Hello World. The time is now{当前时间}。脚本示例如下: #!/bin/sh echo "Hello World. The time is now $(date -R)!" | tee /root/output10.txt 脚本经过Base64编码后内容如下: IyEvYmluL3NoDQplY2hvICJIZWxsbyBXb3JsZC4gIFRoZSB0aW1lIGlzIG5vdyAkKGRhdGUgLVIpISIgfCB0ZWUgL3Jvb3Qvb3V0cHV0MTAudHh0 步骤二:应用配置项 按照以下步骤创建伸缩组和伸缩配置,并在伸缩配置中应用步骤一中创建的配置项。 创建伸缩组。 具体操作请参见使用自定义伸缩配置创建伸缩组,请注意: 伸缩最小实例数:设为1,在启用伸缩组后即会自动创建一台实例。 组内实例配置信息来源:选择自定义伸缩配置。 网络类型:选择专有网络,并指定专有网络的专有网络ID、虚拟交换机。 创建伸缩组 在伸缩组创建成功对话框中,单击创建伸缩配置。 创建伸缩配置。 具体操作请参见创建伸缩配置,请注意: 基础配置页面中,示例镜像选用Ubuntu 16.04 64位。 系统配置页面中,应用步骤一中创建的标签、密钥对、实例RAM角色和实例自定义数据。 在创建成功对话框中,单击启用配置。 在选用伸缩配置对话框中,单击确定。 在启用伸缩组对话框中,单击确定。 步骤三:验证自定义配置效果 由于步骤二中最小实例数设为1,在启用伸缩组后即会自动创建一台实例,保证伸缩组满足最小实例数的限制。 查看自动创建出的实例。 具体操作请参见查询ECS实例列表。查看实例 在云服务器 ID/名称列中,单击实例ID,查看实例详情。 下图为实例详情,可见伸缩配置中的实例RAM角色和标签配置已生效。查看实例详情 使用SSH密钥对登录实例。 具体操作请参见使用SSH密钥对连接Linux实例。下图为登录成功的效果,可见伸缩配置中的SSH密钥对配置已生效。使用密钥对成功登录实例 运行以下命令查看/root/output10.txt文件内容。 cat /root/output10.txt 下图为文件内容,可见伸缩配置中的实例自定义数据配置已生效。自定义数据配置生效 说明 本文使用的shell脚本比较简单,您可以根据自己的需求定制脚本,在实例启动时自动实现更多功能。

1934890530796658 2020-03-23 09:43:31 0 浏览量 回答数 0

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 阿里云双十一主会场 阿里云双十一新人会场 1024程序员加油包 阿里云双十一拼团会场 场景化解决方案 阿里云双十一直播大厅