• 关于 数据转换管理系统不可用 的搜索结果

回答

web数据集成技术可以从web上自动获取数据,但是获取的信息存在着大量的脏数据,比如滥用缩写词,惯用语,数据输入错误,重复记录,丢失值,拼写变化,不同的计量单位。这些数据是没有意义的,根本就不可能为以后的数据挖掘决策分析提供任何支持。数据清洗主要是提高数据的可用性,目前,数据清洗主要应用于三个领域: 1 数据仓库(DW) 2数据库中的知识发现(KDD) 3数据质量管理(TDQM) 我在公司里的第一个项目就是数据质量管理,在这里在说下数据质量管理: 通过制定、实施数据质量检核,暴露各系统数据质量问题。持续监控各系统数据质量波动情况及数据质量规则占比分析,定期生成各系统关键数据质量报告,掌握系统数据质量状况。结合系统提供的清洗组件以及数据质量问题处理流程为各系统数据质量提升提供有效支撑。数据质量(DataQuality)管理是贯穿数据生命周期的全过程,覆盖质量评估,数据去噪,数据监控,数据探查,数据清洗,数据诊断等方面。数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。数据质量管理准则包括测量、提高组织数据的质量和整合性的方法。数据质量处理包括数据标准化、匹配、生存和质量监测。数据必须具备适当的质量,以解决业务要求问题。 结合大数据的参考框架及数据处理实际需求情况,数据质量管理系统主要功能定位为:数据发现、质量管理、元数据、主数据管理和信息政策管理。在数据生命周期中,数据的获取和使用周期包括系列活动:评估,分析,调整,丢弃数据,目前数据清洗的模型: 基于粗糙集理论数据清洗 基于聚式模式数据清洗 基于模糊匹配数据清洗模型 基于遗传神经网络数据清洗 基于专家系统体系结构等数据校验及转换 数据校验的目的是确保抽取数据本身的正确性和完整性, 数据转换的目的是保证数据的一致性数据清洗流程1数据预处理: 包括数据元素化,保准化 2确定清洗方法: 3校验清洗方法:先验证所用的清洗方法是否合适,抽取小样本进行验证,判断其召回率和准确率 4执行清洗工具: 5数据归档:将新旧数据源进行归档处理,方便以后的清洗一般情况下,模式中反应的元数据对应判断一个数据源的质量远远不够,因此通过具体实例来获得有关数据熟悉和不寻常模式的元数据很重要。这些元数据可以帮助发现数据质量问题,也有助于发现属性间的依赖关系,

xuning715 2019-12-02 01:12:15 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 随着业务的增长,您的数据盘容量可能无法满足数据存储的需要,这时您可以使用 磁盘扩容 功能扩容数据盘。 说明 建议在扩容数据盘之前手动创建快照,以备份数据。 无论数据盘的状态是 待挂载 还是 使用中,都可以执行磁盘扩容操作。 如果数据盘正在创建快照,则不允许执行扩容数据盘的操作。 包年包月实例如果做过 续费降配 操作,当前计费周期的剩余时间内,实例上的包年包月云盘不支持扩容磁盘操作。 扩容磁盘只是扩大数据盘容量,而不是扩容文件系统。 磁盘扩容只能扩容数据盘,不能扩容系统盘或本地盘(本地 SSD 盘等)。 挂载在实例上的数据盘,只有当实例处于 运行中 (Running) 或 已停止(Stopped) 状态时才可以扩容。扩容这种数据盘需要在控制台上重启实例后才能使扩容后的容量生效,而重启实例会使您的实例停止工作,从而中断您的业务,所以请您谨慎操作。 本文以一个高效云盘的数据盘和一个运行Windows Server 2008 R2企业版64位中文版的ECS实例为例,说明如何扩容数据盘并使扩容后的容量可用。示例中最初的磁盘大小为24 GiB,我们将其扩容到26 GiB。 您可以按以下步骤完成扩容操作: 步骤 1. 在控制台上扩容数据盘 步骤 2. 登录实例完成扩容 步骤 1. 在控制台上扩容数据盘 按以下步骤在控制台上扩容数据盘: 登录 ECS管理控制台。 在左侧导航栏里,选择 存储 > 云盘。 说明 如果您需要扩容的数据盘已经挂载在某个实例上,您可以单击 实例,找到相应实例后,进入实例详情页,并单击 本实例磁盘。 选择地域。 找到需要扩容的磁盘,并在 操作 列中,选择 更多 > 磁盘扩容。 在 磁盘扩容 页面上,设置 扩容后容量。在本示例中为26 GiB。扩容后容量只能比当前容量大。 待页面上显示费用信息后,单击 确定扩容。 说明 扩容成功后,磁盘列表里即显示扩容后的容量。但是,如果您的数据盘已经挂载到实例上,您需要在控制台上 重启实例 后,登录实例才能看到扩容后的数据盘容量。 在控制台上完成扩容后, 如果数据盘已经挂载到实例,可以直接执行 步骤 2. 登录实例完成扩容。 如果数据盘未挂载到实例上,您应先挂载数据盘(详见 挂载云盘),再根据数据盘的实际情况执行不同的操作: 如果这是一个全新的数据盘,您可以直接格式化数据盘。详见 Windows 格式化数据盘。 如果这个数据盘之前已经格式化并分区,您需要执行 步骤 2. 登录实例完成扩容。 步骤 2. 登录实例完成扩容 按以下步骤在实例内部完成数据盘扩容: 使用软件连接Windows实例。 在Windows Server桌面,单击服务器管理器图标 。 在 服务器管理器 的左侧导航窗格里,选择 存储 > 磁盘管理。在磁盘管理区域,可以看到新增的数据盘空间与旧的数据盘空间之间的关系。本例中,磁盘 2 是扩容的数据盘。 右键单击 磁盘 2,选择 转换到动态磁盘,并按页面提示将基本磁盘转换为动态磁盘。 说明 基本磁盘转换成动态磁盘,操作的过程中会将磁盘从系统中卸载下来。如果数据盘内安装了应用程序,转换过程中这些应用程序暂时无法使用。转换过程中不会造成数据丢失。 完成转换后,磁盘 2 在磁盘管理器中显示如下。 右键单击磁盘 2的简单卷的任一空白处,并选择 扩展卷。 根据 扩展卷向导 的指示完成扩展卷操作。完成后,新增的数据盘空间会自动合入原来的卷中,磁盘 2 在磁盘管理器中显示如下。 说明 如果是Windows Server 2003,完成后新增的数据盘空间会自动增加到数据盘中,但是在磁盘管理器中,新增的数据盘空间会以一个独立卷的形式存在。Windows Server 2003中,扩容多少次就会有创建多少个独立的卷,不会将所有的卷都合并到之前的卷里面,但并不会影响实际使用。以下是一个Windows Server 2003系统里扩容后数据盘的显示信息。 至此,您已经完成了扩容数据盘。

2019-12-01 22:56:53 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口使用云盘(无论是系统盘还是数据盘)的快照单独创建云盘。创建的云盘可以挂载到同一地域同一可用区下的任何一台ECS实例上。本文介绍如何在ECS控制台上使用一份快照单独创建一块全新的云盘。 应用场景 您可能需要获取快照中的某些数据,但又不希望通过 回滚云盘 的方式来实现。此时,您就能使用快照创建一块新的云盘,并从云盘中读取数据。比如,如果系统盘出现故障导致无法开机,您就能使用系统盘已有的快照创建一块新云盘,再挂载到健康的实例上,从而读取系统盘快照里的数据。 性能说明 新建的高效云盘和SSD云盘,一旦创建成功便可以达到其容量所对应的最高性能,不需要预热的过程。但是,因为快照存储在对象存储(OSS)里,使用快照创建云盘时,ECS需要从OSS取回数据并写入到云盘,这个过程需要一段时间,而且会造成首次访问时性能下降。建议您在正式使用这类云盘前,先读取云盘上所有数据块,从而避免初期的性能下降。关于OSS的详细信息,请参见 什么是对象存储 OSS。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您也可以在创建ECS实例时使用系统盘或数据盘的快照创建云盘。通过这种方式创建的云盘,计费方式与实例相同。 您可以创建全新的空云盘。具体操作,请参见 创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每块云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 使用快照创建云盘前,您必须确认以下信息: 您已经为作系统盘或数据盘用的云盘创建了快照,并确认快照ID。具体操作,请参见 创建快照。 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 设置云盘的配置: 选择云盘类型:可选的云盘类型不受快照对应的源云盘类型的影响。 单击 用快照创建磁盘,并选择一个快照。 说明 如果所选快照是一个加密盘快照,会自动选中 加密 项。否则,您无法选中 加密。关于磁盘加密,请参见 ECS 磁盘加密。 设置云盘的容量:可选范围为20 GiB~32768 GiB。如果选中的快照小于20 GiB,系统默认使用最小容量20 GiB,您能根据需求手动调整容量。如果选中的快照大于20 GiB,系统会根据快照大小自动设置云盘大小,但是更换快照后,您必须手动设置容量。 设置购买量。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关API 创建云盘:CreateDisk

2019-12-01 23:15:23 0 浏览量 回答数 0

海外云虚拟主机包年25元/月起

海外独享虚拟主机全面上线,助力构建海外网站,提升公司国际形象;全球有效覆盖,超高性价比;建站入门首选,助力出口,适合跨境贸易企业。

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口使用云盘(无论是系统盘还是数据盘)的快照单独创建云盘。创建的云盘可以挂载到同一地域同一可用区下的任何一台ECS实例上。本文介绍如何在ECS控制台上使用一份快照单独创建一块全新的云盘。 应用场景 您可能需要获取快照中的某些数据,但又不希望通过 回滚云盘 的方式来实现。此时,您就能使用快照创建一块新的云盘,并从云盘中读取数据。比如,如果系统盘出现故障导致无法开机,您就能使用系统盘已有的快照创建一块新云盘,再挂载到健康的实例上,从而读取系统盘快照里的数据。 性能说明 新建的高效云盘和SSD云盘,一旦创建成功便可以达到其容量所对应的最高性能,不需要预热的过程。但是,因为快照存储在对象存储(OSS)里,使用快照创建云盘时,ECS需要从OSS取回数据并写入到云盘,这个过程需要一段时间,而且会造成首次访问时性能下降。建议您在正式使用这类云盘前,先读取云盘上所有数据块,从而避免初期的性能下降。关于OSS的详细信息,请参见 什么是对象存储 OSS。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您也可以在创建ECS实例时使用系统盘或数据盘的快照创建云盘。通过这种方式创建的云盘,计费方式与实例相同。 您可以创建全新的空云盘。具体操作,请参见 创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每块云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 使用快照创建云盘前,您必须确认以下信息: 您已经为作系统盘或数据盘用的云盘创建了快照,并确认快照ID。具体操作,请参见 创建快照。 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 设置云盘的配置: 选择云盘类型:可选的云盘类型不受快照对应的源云盘类型的影响。 单击 用快照创建磁盘,并选择一个快照。 说明 如果所选快照是一个加密盘快照,会自动选中 加密 项。否则,您无法选中 加密。关于磁盘加密,请参见 ECS 磁盘加密。 设置云盘的容量:可选范围为20 GiB~32768 GiB。如果选中的快照小于20 GiB,系统默认使用最小容量20 GiB,您能根据需求手动调整容量。如果选中的快照大于20 GiB,系统会根据快照大小自动设置云盘大小,但是更换快照后,您必须手动设置容量。 设置购买量。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关API 创建云盘:CreateDisk

2019-12-01 23:15:23 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口使用云盘(无论是系统盘还是数据盘)的快照单独创建云盘。创建的云盘可以挂载到同一地域同一可用区下的任何一台ECS实例上。本文介绍如何在ECS控制台上使用一份快照单独创建一块全新的云盘。 应用场景 您可能需要获取快照中的某些数据,但又不希望通过 回滚云盘 的方式来实现。此时,您就能使用快照创建一块新的云盘,并从云盘中读取数据。比如,如果系统盘出现故障导致无法开机,您就能使用系统盘已有的快照创建一块新云盘,再挂载到健康的实例上,从而读取系统盘快照里的数据。 性能说明 新建的高效云盘和SSD云盘,一旦创建成功便可以达到其容量所对应的最高性能,不需要预热的过程。但是,因为快照存储在对象存储(OSS)里,使用快照创建云盘时,ECS需要从OSS取回数据并写入到云盘,这个过程需要一段时间,而且会造成首次访问时性能下降。建议您在正式使用这类云盘前,先读取云盘上所有数据块,从而避免初期的性能下降。关于OSS的详细信息,请参见 什么是对象存储 OSS。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您也可以在创建ECS实例时使用系统盘或数据盘的快照创建云盘。通过这种方式创建的云盘,计费方式与实例相同。 您可以创建全新的空云盘。具体操作,请参见 创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每块云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 使用快照创建云盘前,您必须确认以下信息: 您已经为作系统盘或数据盘用的云盘创建了快照,并确认快照ID。具体操作,请参见 创建快照。 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 设置云盘的配置: 选择云盘类型:可选的云盘类型不受快照对应的源云盘类型的影响。 单击 用快照创建磁盘,并选择一个快照。 说明 如果所选快照是一个加密盘快照,会自动选中 加密 项。否则,您无法选中 加密。关于磁盘加密,请参见 ECS 磁盘加密。 设置云盘的容量:可选范围为20 GiB~32768 GiB。如果选中的快照小于20 GiB,系统默认使用最小容量20 GiB,您能根据需求手动调整容量。如果选中的快照大于20 GiB,系统会根据快照大小自动设置云盘大小,但是更换快照后,您必须手动设置容量。 设置购买量。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关API 创建云盘:CreateDisk

2019-12-01 23:15:24 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口使用云盘(无论是系统盘还是数据盘)的快照单独创建云盘。创建的云盘可以挂载到同一地域同一可用区下的任何一台ECS实例上。本文介绍如何在ECS控制台上使用一份快照单独创建一块全新的云盘。 应用场景 您可能需要获取快照中的某些数据,但又不希望通过 回滚云盘 的方式来实现。此时,您就能使用快照创建一块新的云盘,并从云盘中读取数据。比如,如果系统盘出现故障导致无法开机,您就能使用系统盘已有的快照创建一块新云盘,再挂载到健康的实例上,从而读取系统盘快照里的数据。 性能说明 新建的高效云盘和SSD云盘,一旦创建成功便可以达到其容量所对应的最高性能,不需要预热的过程。但是,因为快照存储在对象存储(OSS)里,使用快照创建云盘时,ECS需要从OSS取回数据并写入到云盘,这个过程需要一段时间,而且会造成首次访问时性能下降。建议您在正式使用这类云盘前,先读取云盘上所有数据块,从而避免初期的性能下降。关于OSS的详细信息,请参见 什么是对象存储 OSS。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您也可以在创建ECS实例时使用系统盘或数据盘的快照创建云盘。通过这种方式创建的云盘,计费方式与实例相同。 您可以创建全新的空云盘。具体操作,请参见 创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每块云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 使用快照创建云盘前,您必须确认以下信息: 您已经为作系统盘或数据盘用的云盘创建了快照,并确认快照ID。具体操作,请参见 创建快照。 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 设置云盘的配置: 选择云盘类型:可选的云盘类型不受快照对应的源云盘类型的影响。 单击 用快照创建磁盘,并选择一个快照。 说明 如果所选快照是一个加密盘快照,会自动选中 加密 项。否则,您无法选中 加密。关于磁盘加密,请参见 ECS 磁盘加密。 设置云盘的容量:可选范围为20 GiB~32768 GiB。如果选中的快照小于20 GiB,系统默认使用最小容量20 GiB,您能根据需求手动调整容量。如果选中的快照大于20 GiB,系统会根据快照大小自动设置云盘大小,但是更换快照后,您必须手动设置容量。 设置购买量。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关API 创建云盘:CreateDisk

2019-12-01 23:15:23 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口使用云盘(无论是系统盘还是数据盘)的快照单独创建云盘。创建的云盘可以挂载到同一地域同一可用区下的任何一台ECS实例上。本文介绍如何在ECS控制台上使用一份快照单独创建一块全新的云盘。 应用场景 您可能需要获取快照中的某些数据,但又不希望通过 回滚云盘 的方式来实现。此时,您就能使用快照创建一块新的云盘,并从云盘中读取数据。比如,如果系统盘出现故障导致无法开机,您就能使用系统盘已有的快照创建一块新云盘,再挂载到健康的实例上,从而读取系统盘快照里的数据。 性能说明 新建的高效云盘和SSD云盘,一旦创建成功便可以达到其容量所对应的最高性能,不需要预热的过程。但是,因为快照存储在对象存储(OSS)里,使用快照创建云盘时,ECS需要从OSS取回数据并写入到云盘,这个过程需要一段时间,而且会造成首次访问时性能下降。建议您在正式使用这类云盘前,先读取云盘上所有数据块,从而避免初期的性能下降。关于OSS的详细信息,请参见 什么是对象存储 OSS。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您也可以在创建ECS实例时使用系统盘或数据盘的快照创建云盘。通过这种方式创建的云盘,计费方式与实例相同。 您可以创建全新的空云盘。具体操作,请参见 创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每块云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 使用快照创建云盘前,您必须确认以下信息: 您已经为作系统盘或数据盘用的云盘创建了快照,并确认快照ID。具体操作,请参见 创建快照。 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 设置云盘的配置: 选择云盘类型:可选的云盘类型不受快照对应的源云盘类型的影响。 单击 用快照创建磁盘,并选择一个快照。 说明 如果所选快照是一个加密盘快照,会自动选中 加密 项。否则,您无法选中 加密。关于磁盘加密,请参见 ECS 磁盘加密。 设置云盘的容量:可选范围为20 GiB~32768 GiB。如果选中的快照小于20 GiB,系统默认使用最小容量20 GiB,您能根据需求手动调整容量。如果选中的快照大于20 GiB,系统会根据快照大小自动设置云盘大小,但是更换快照后,您必须手动设置容量。 设置购买量。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关API 创建云盘:CreateDisk

2019-12-01 23:15:24 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口使用云盘(无论是系统盘还是数据盘)的快照单独创建云盘。创建的云盘可以挂载到同一地域同一可用区下的任何一台ECS实例上。本文介绍如何在ECS控制台上使用一份快照单独创建一块全新的云盘。 应用场景 您可能需要获取快照中的某些数据,但又不希望通过 回滚云盘 的方式来实现。此时,您就能使用快照创建一块新的云盘,并从云盘中读取数据。比如,如果系统盘出现故障导致无法开机,您就能使用系统盘已有的快照创建一块新云盘,再挂载到健康的实例上,从而读取系统盘快照里的数据。 性能说明 新建的高效云盘和SSD云盘,一旦创建成功便可以达到其容量所对应的最高性能,不需要预热的过程。但是,因为快照存储在对象存储(OSS)里,使用快照创建云盘时,ECS需要从OSS取回数据并写入到云盘,这个过程需要一段时间,而且会造成首次访问时性能下降。建议您在正式使用这类云盘前,先读取云盘上所有数据块,从而避免初期的性能下降。关于OSS的详细信息,请参见 什么是对象存储 OSS。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您也可以在创建ECS实例时使用系统盘或数据盘的快照创建云盘。通过这种方式创建的云盘,计费方式与实例相同。 您可以创建全新的空云盘。具体操作,请参见 创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每块云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 使用快照创建云盘前,您必须确认以下信息: 您已经为作系统盘或数据盘用的云盘创建了快照,并确认快照ID。具体操作,请参见 创建快照。 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 设置云盘的配置: 选择云盘类型:可选的云盘类型不受快照对应的源云盘类型的影响。 单击 用快照创建磁盘,并选择一个快照。 说明 如果所选快照是一个加密盘快照,会自动选中 加密 项。否则,您无法选中 加密。关于磁盘加密,请参见 ECS 磁盘加密。 设置云盘的容量:可选范围为20 GiB~32768 GiB。如果选中的快照小于20 GiB,系统默认使用最小容量20 GiB,您能根据需求手动调整容量。如果选中的快照大于20 GiB,系统会根据快照大小自动设置云盘大小,但是更换快照后,您必须手动设置容量。 设置购买量。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关API 创建云盘:CreateDisk

2019-12-01 23:15:22 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口使用云盘(无论是系统盘还是数据盘)的快照单独创建云盘。创建的云盘可以挂载到同一地域同一可用区下的任何一台ECS实例上。本文介绍如何在ECS控制台上使用一份快照单独创建一块全新的云盘。 应用场景 您可能需要获取快照中的某些数据,但又不希望通过 回滚云盘 的方式来实现。此时,您就能使用快照创建一块新的云盘,并从云盘中读取数据。比如,如果系统盘出现故障导致无法开机,您就能使用系统盘已有的快照创建一块新云盘,再挂载到健康的实例上,从而读取系统盘快照里的数据。 性能说明 新建的高效云盘和SSD云盘,一旦创建成功便可以达到其容量所对应的最高性能,不需要预热的过程。但是,因为快照存储在对象存储(OSS)里,使用快照创建云盘时,ECS需要从OSS取回数据并写入到云盘,这个过程需要一段时间,而且会造成首次访问时性能下降。建议您在正式使用这类云盘前,先读取云盘上所有数据块,从而避免初期的性能下降。关于OSS的详细信息,请参见 什么是对象存储 OSS。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您也可以在创建ECS实例时使用系统盘或数据盘的快照创建云盘。通过这种方式创建的云盘,计费方式与实例相同。 您可以创建全新的空云盘。具体操作,请参见 创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每块云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 使用快照创建云盘前,您必须确认以下信息: 您已经为作系统盘或数据盘用的云盘创建了快照,并确认快照ID。具体操作,请参见 创建快照。 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 设置云盘的配置: 选择云盘类型:可选的云盘类型不受快照对应的源云盘类型的影响。 单击 用快照创建磁盘,并选择一个快照。 说明 如果所选快照是一个加密盘快照,会自动选中 加密 项。否则,您无法选中 加密。关于磁盘加密,请参见 ECS 磁盘加密。 设置云盘的容量:可选范围为20 GiB~32768 GiB。如果选中的快照小于20 GiB,系统默认使用最小容量20 GiB,您能根据需求手动调整容量。如果选中的快照大于20 GiB,系统会根据快照大小自动设置云盘大小,但是更换快照后,您必须手动设置容量。 设置购买量。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关API 创建云盘:CreateDisk

2019-12-01 23:15:23 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口使用云盘(无论是系统盘还是数据盘)的快照单独创建云盘。创建的云盘可以挂载到同一地域同一可用区下的任何一台ECS实例上。本文介绍如何在ECS控制台上使用一份快照单独创建一块全新的云盘。 应用场景 您可能需要获取快照中的某些数据,但又不希望通过 回滚云盘 的方式来实现。此时,您就能使用快照创建一块新的云盘,并从云盘中读取数据。比如,如果系统盘出现故障导致无法开机,您就能使用系统盘已有的快照创建一块新云盘,再挂载到健康的实例上,从而读取系统盘快照里的数据。 性能说明 新建的高效云盘和SSD云盘,一旦创建成功便可以达到其容量所对应的最高性能,不需要预热的过程。但是,因为快照存储在对象存储(OSS)里,使用快照创建云盘时,ECS需要从OSS取回数据并写入到云盘,这个过程需要一段时间,而且会造成首次访问时性能下降。建议您在正式使用这类云盘前,先读取云盘上所有数据块,从而避免初期的性能下降。关于OSS的详细信息,请参见 什么是对象存储 OSS。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您也可以在创建ECS实例时使用系统盘或数据盘的快照创建云盘。通过这种方式创建的云盘,计费方式与实例相同。 您可以创建全新的空云盘。具体操作,请参见 创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每块云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 使用快照创建云盘前,您必须确认以下信息: 您已经为作系统盘或数据盘用的云盘创建了快照,并确认快照ID。具体操作,请参见 创建快照。 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 设置云盘的配置: 选择云盘类型:可选的云盘类型不受快照对应的源云盘类型的影响。 单击 用快照创建磁盘,并选择一个快照。 说明 如果所选快照是一个加密盘快照,会自动选中 加密 项。否则,您无法选中 加密。关于磁盘加密,请参见 ECS 磁盘加密。 设置云盘的容量:可选范围为20 GiB~32768 GiB。如果选中的快照小于20 GiB,系统默认使用最小容量20 GiB,您能根据需求手动调整容量。如果选中的快照大于20 GiB,系统会根据快照大小自动设置云盘大小,但是更换快照后,您必须手动设置容量。 设置购买量。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关API 创建云盘:CreateDisk

2019-12-01 23:15:23 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口使用云盘(无论是系统盘还是数据盘)的快照单独创建云盘。创建的云盘可以挂载到同一地域同一可用区下的任何一台ECS实例上。本文介绍如何在ECS控制台上使用一份快照单独创建一块全新的云盘。 应用场景 您可能需要获取快照中的某些数据,但又不希望通过 回滚云盘 的方式来实现。此时,您就能使用快照创建一块新的云盘,并从云盘中读取数据。比如,如果系统盘出现故障导致无法开机,您就能使用系统盘已有的快照创建一块新云盘,再挂载到健康的实例上,从而读取系统盘快照里的数据。 性能说明 新建的高效云盘和SSD云盘,一旦创建成功便可以达到其容量所对应的最高性能,不需要预热的过程。但是,因为快照存储在对象存储(OSS)里,使用快照创建云盘时,ECS需要从OSS取回数据并写入到云盘,这个过程需要一段时间,而且会造成首次访问时性能下降。建议您在正式使用这类云盘前,先读取云盘上所有数据块,从而避免初期的性能下降。关于OSS的详细信息,请参见 什么是对象存储 OSS。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您也可以在创建ECS实例时使用系统盘或数据盘的快照创建云盘。通过这种方式创建的云盘,计费方式与实例相同。 您可以创建全新的空云盘。具体操作,请参见 创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每块云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 使用快照创建云盘前,您必须确认以下信息: 您已经为作系统盘或数据盘用的云盘创建了快照,并确认快照ID。具体操作,请参见 创建快照。 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 设置云盘的配置: 选择云盘类型:可选的云盘类型不受快照对应的源云盘类型的影响。 单击 用快照创建磁盘,并选择一个快照。 说明 如果所选快照是一个加密盘快照,会自动选中 加密 项。否则,您无法选中 加密。关于磁盘加密,请参见 ECS 磁盘加密。 设置云盘的容量:可选范围为20 GiB~32768 GiB。如果选中的快照小于20 GiB,系统默认使用最小容量20 GiB,您能根据需求手动调整容量。如果选中的快照大于20 GiB,系统会根据快照大小自动设置云盘大小,但是更换快照后,您必须手动设置容量。 设置购买量。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关API 创建云盘:CreateDisk

2019-12-01 23:15:23 0 浏览量 回答数 0

回答

您好,此类报警为硬盘使用率报警,建议您查看您的实例中的进程是否存在可疑进程。如果您的磁盘为数据盘, 您可以使用 磁盘扩容 功能扩容数据盘。 说明 建议在扩容数据盘之前手动创建快照,以备份数据。 无论数据盘的状态是   待挂载  还是   使用中,都可以执行磁盘扩容操作。 如果数据盘正在创建快照,则不允许执行扩容数据盘的操作。 包年包月实例如果做过   续费降配  操作,当前计费周期的剩余时间内,实例上的包年包月云盘不支持扩容磁盘操作。 扩容磁盘只是扩大数据盘容量,而不是扩容文件系统。 磁盘扩容只能扩容数据盘,不能扩容系统盘或本地盘(本地 SSD 盘等)。 挂载在实例上的数据盘,只有当实例处于   运行中  ( Running) 或   已停止( Stopped) 状态时才可以扩容。扩容这种数据盘需要在控制台上重启实例后才能使扩容后的容量生效,而重启实例会使您的实例停止工作,从而中断您的业务,所以请您 谨慎操作。 本文以一个高效云盘的数据盘和一个运行Windows Server 2008 R2企业版64位中文版的ECS实例为例,说明如何扩容数据盘并使扩容后的容量可用。示例中最初的磁盘大小为24 GiB,我们将其扩容到26 GiB。 您可以按以下步骤完成扩容操作: 步骤 1. 在控制台上扩容数据盘 步骤 2. 登录实例完成扩容 步骤 1. 在控制台上扩容数据盘 按以下步骤在控制台上扩容数据盘: 登录   ECS管理控制台。 在左侧导航栏里,选择   存储 > 云盘。 说明 如果您需要扩容的数据盘已经挂载在某个实例上,您可以单击  实例,找到相应实例后,进入实例详情页,并单击  本实例磁盘。 选择地域。 找到需要扩容的磁盘,并在   操作  列中,选择   更多 > 磁盘扩容。 在   磁盘扩容  页面上,设置   扩容后容量。在本示例中为26 GiB。扩容后容量只能比当前容量大。 待页面上显示费用信息后,单击   确定扩容。 说明 扩容成功后,磁盘列表里即显示扩容后的容量。但是,如果您的数据盘已经挂载到实例上,您需要在控制台上  重启实例 后,登录实例才能看到扩容后的数据盘容量。 在控制台上完成扩容后, 如果数据盘已经挂载到实例,可以直接执行   步骤 2. 登录实例完成扩容。 如果数据盘未挂载到实例上,您应先挂载数据盘(详见   挂载云盘),再根据数据盘的实际情况执行不同的操作: 如果这是一个全新的数据盘,您可以直接格式化数据盘。详见   Windows 格式化数据盘。 如果这个数据盘之前已经格式化并分区,您需要执行   步骤 2. 登录实例完成扩容。 步骤 2. 登录实例完成扩容 按以下步骤在实例内部完成数据盘扩容: 使用软件连接Windows实例。 在Windows Server桌面,单击服务器管理器图标   。 在   服务器管理器  的左侧导航窗格里,选择   存储 > 磁盘管理。在磁盘管理区域,可以看到新增的数据盘空间与旧的数据盘空间之间的关系。本例中, 磁盘 2  是扩容的数据盘。 右键单击   磁盘 2,选择   转换到动态磁盘,并按页面提示将基本磁盘转换为动态磁盘。   说明 基本磁盘转换成动态磁盘,操作的过程中会将磁盘从系统中卸载下来。如果数据盘内安装了应用程序,转换过程中这些应用程序暂时无法使用。转换过程中不会造成数据丢失。 完成转换后,磁盘 2 在磁盘管理器中显示如下。 右键单击磁盘 2的简单卷的任一空白处,并选择   扩展卷。 根据   扩展卷向导  的指示完成扩展卷操作。完成后,新增的数据盘空间会自动合入原来的卷中, 磁盘 2  在磁盘管理器中显示如下。 说明 如果是Windows Server 2003,完成后新增的数据盘空间会自动增加到数据盘中,但是在磁盘管理器中,新增的数据盘空间会以一个独立卷的形式存在。Windows Server 2003中,扩容多少次就会有创建多少个独立的卷,不会将所有的卷都合并到之前的卷里面,但并不会影响实际使用。以下是一个Windows Server 2003系统里扩容后数据盘的显示信息。 至此,您已经完成了扩容数据盘。 如果您对我的回答满意,请您采纳一下,谢谢!

zihangu 2019-12-02 00:30:26 0 浏览量 回答数 0

回答

高可用架构部署方案 高可用架构提供业务分发、弹性扩展、多可用区部署等功能。相较于使用单台ECS实例部署数据库与应用,高可用架构只需简单部署,并且拥有更高的稳定性和可扩展性。 高可用架构特点 高可用架构具有如下特点: 使用多可用区高可用版的负载均衡SLB(Server Load Balancer)对多台云服务器ECS进行流量分发,可扩展应用系统对外服务能力、消除单点故障,提升应用系统的可用性。使用SLB自动跨可用区部署,可加强业务容灾能力。 通过自定义镜像,可以迅速复制出相同应用部署的云服务器ECS实例,之后将实例添加到SLB后端服务器组中,实现业务高可用。SLB可以同时配置四层和七层监听,及轮循、加权轮循、加权最小连接数等多种算法,合理分配后端ECS计算资源。 使用云数据库RDS(Relational Database Service),针对高并发场景进行特殊优化,同时引入线程池、并行复制、隐含主键等功能保证系统持续稳定和高吞吐。云数据库CloudDBA具有完备的性能监控数据,实时监控实例硬件使用指标、慢SQL,并给出各种优化建议,帮您快速定位并解决问题。 部署流程 假设您已拥有一台ECS实例,并且在该实例上部署了数据库与应用,您可以将单实例部署方式转变为单可用区或多可用区高可用架构。本教程指导您如何使用ECS、EIP、SLB和RDS产品来部署多可用区高可用架构。 高可用结构图 使用自定义镜像,部署多台相同配置的ECS实例。详情请参见复制ECS实例。 创建负载均衡SLB实例,将实例添加到SLB后端服务器组中,用于跨可用区挂载ECS实例,实现业务的高可用性。详情请参见配置SLB实例。 使用DTS将ECS实例上的自建数据库迁移至RDS实例,保障业务数据库不中断,自动备份保障数据不丢失。详情请参见迁移自建数据库至RDS实例。 复制ECS实例为了支持跨可用区容灾部署,本教程使用源实例的自定义镜像复制出三台ECS实例。一台与源实例位于同一可用区,两台与源实例位于同一地域下的不同可用区。 前提条件 已注册阿里云账号。如还未注册,请先完成账号注册。 已拥有待复制的源ECS实例。 操作步骤 为ECS实例创建自定义镜像。 登录ECS管理控制台。 在左侧导航栏,单击实例与镜像 > 实例。 在顶部状态栏处,选择地域。 找到目标实例。在操作列中,单击更多 > 磁盘和镜像 > 创建自定义镜像。 输入镜像名称和描述信息。 单击创建。 说明 创建镜像需要一段时间,请您耐心等待。 在左侧导航栏,单击实例与镜像 > 镜像。当目标镜像的进度为100%、状态为可用时,表示镜像创建成功。自定义镜像 使用自定义镜像创建3台ECS实例。 在左侧导航栏,单击实例与镜像 > 镜像。 在自定义镜像页面,找到上一步创建的自定义镜像,在操作列,单击创建实例。 在自定义购买页面,镜像区域已设置为您选择的自定义镜像。根据页面提示,完成其他配置项并购买1台ECS实例。 其中: 地域:选择与源实例相同的地域。 可用区:选择与源实例相同的可用区。 公网带宽:取消勾选分配公网IPv4地址。 更多配置详情,请参见使用向导创建实例。 重复第i步和第ii步。在自定义购买页,镜像区域已设置为您选择的自定义镜像。根据页面提示,完成其他配置项并购买2台实例。 其中: 地域:选择与源实例相同的地域。 可用区:选择与源实例不同的可用区。 实例区域:设置购买实例数量为2。 公网带宽区域:取消勾选分配公网IPv4地址。 更多配置详情,请参见使用向导创建实例。 执行结果 在左侧导航栏,单击实例与镜像 > 实例。在实例列表页面,四台ECS实例的状态均为运行中,可用区两两相同。 ecs_instances 配置SLB实例 ECS实例复制完成后,在支持多可用区的地域创建负载均衡SLB实例,用于跨可用区挂载ECS实例,扩展应用系统对外服务能力、消除单点故障,提升应用系统的可用性。本文介绍SLB实例的部署方法。 前提条件 已复制三台ECS实例,详情请参见复制ECS实例。 四台ECS实例的Web服务均已启动并正常运行。 注意 若Web服务未运行,则SLB实例与ECS实例之间无法正常通信。 操作步骤 创建SLB实例。具体操作,请参见创建负载均衡实例。 本教程使用的配置如下: 地域:必须与ECS实例位于同一地域。 可用区类型:选择多可用区。 实例类型:选择私网。 网络类型:选择专有网络。 主可用区和备可用区:按需配置。 create_slb 将源实例的公网IP转换为弹性公网IP。具体操作,请参见专有网络公网IP转换为弹性公网IP。 说明 为避免影响业务,需保证源实例IP地址不变。因此,需要先将源实例的公网IP转换为弹性公网IP,与源实例解绑后,再将其绑定至高可用版SLB实例上。 ip_eip 解绑源实例与弹性公网IP。 在源实例的IP地址列,单击弹性IP地址链接。 click_eip 在弹性公网IP页面,单击解绑。 unbindEIP 单击确定。更多详情,请参见解绑EIP。 绑定弹性公网IP至SLB实例。 在弹性公网IP页面,找到与源实例解绑后的弹性公网IP。 bindEIP 在操作列,单击绑定。 实例类型选择SLB实例,SLB实例选择刚创建的SLB实例,单击确定。更多详情,请参见绑定SLB实例。 配置SLB实例。具体操作,请参见配置负载均衡实例。 基本配置如下: 在协议&监听页签,完成以下配置。 负载均衡协议:选择TCP。 监听端口:输入80。 调度算法:按需选择。本教程选择轮询。 其他配置使用默认值。 configure_slb 单击下一步。在后端服务器页签,选择默认服务器组,单击继续添加添加ECS实例。 addEcsInstance 勾选源实例和已复制的三台ECS实例,单击下一步:配置权重和端口号。端口配置为80,其他值保持默认,单击下一步。 configure_ports 在健康检查页签,使用默认值,单击下一步。 在配置审核页签,核对信息后,单击提交。 单击确定,返回实例管理页面,单击refresh。 当健康检查状态为正常时,表示后端ECS实例可以正常处理负载均衡转发的请求了。 说明 健康检查需要几分钟时间,请您耐心等待并单击刷新图标查看状态。 health_check 执行结果 为方便测试,本教程分别在四台ECS实例上搭建了静态网页,以标识每台ECS实例。在浏览器中输入负载均衡实例的服务地址,测试负载均衡服务。由于调度算法为轮询,请求会轮流发往每台ECS实例。 slb_test 迁移自建数据库至RDS实例 将源ECS实例上的数据库迁移至高可用版云数据库RDS,可实现数据库服务的高可用性、高可靠性、高安全性和高易用性。本教程以MySQL数据库为例,介绍如何使用DTS将ECS实例上的自建数据库迁移至RDS实例。 前提条件 已配置SLB实例,详情请参见配置SLB实例。 已创建高可用版RDS实例。如未创建,请参见创建RDS for MySQL实例。 已为RDS实例创建账号。如未创建,请参见创建账号和数据库。 已为ECS实例上的自建数据库创建非root账号,用于DTS迁移。 例如,您可以运行以下命令为MySQL数据库创建名为dts、密码为123456的账号。 grant all on . to 'dts'@'%' IDENTIFIED BY '123456'; 背景信息 DTS提供的数据迁移功能能够支持同异构数据源之间的数据迁移,同时提供了库表列三级映射、数据过滤多种ETL特性。您可以使用DTS进行零停机迁移,在迁移过程中,源数据库正常持续提供服务,最大程度降低迁移对业务的影响。DTS支持的数据库类型请参见数据迁移。 操作步骤 登录数据传输DTS控制台。 在左侧导航栏,选择数据迁移。 选择目标RDS实例所在地域,并单击创建迁移任务。 配置迁移任务。 配置任务名称。 您可以使用默认的名称或者自定义名称。 配置源库信息。 DTS支持通过公网、VPN网关、专线及智能网关访问的自建数据库。本教程使用的源数据库为ECS实例上的自建数据库。其他类型数据库的迁移方案,请参见DTS用户手册。 参数名称 描述 实例类型 ECS上的自建数据库。 实例地区 源ECS实例所在地域。 ECS实例ID 源ECS实例的实例ID。DTS支持经典网络及专有网络的ECS实例。 数据库类型 源ECS实例上自建数据库的类型。本示例中,数据库类型为MySQL。 端口 MySQL数据库监听的端口号。 数据库账号 源ECS实例上MySQL数据库的非root账号。 说明 数据库账号必须填写非root账号,否则测试连接时会报错。 数据库密码 非root账号对应的密码。 单击源库信息右下角的测试连接。 当返回的结果为测试通过时,表示源库连接正常。 配置目标库信息。 参数名称 参数值 实例类型 RDS实例。 实例地区 RDS实例所在地域。 RDS实例ID RDS实例的实例ID。 数据库账号 RDS实例的账号。 为RDS实例创建账号,请参见创建账号和数据库。 说明 数据库账号必须填写非root账号,否则测试连接时会报错。 数据库密码 账号对应的密码。 单击目标库信息右下角的测试连接。 当返回的结果为测试通过时,表示目标库连接正常。 单击授权白名单并进入下一步。 配置迁移类型及迁移对象。 配置迁移类型。 业务零停机迁移,请选择:结构迁移+全量数据迁移+增量数据迁移。 全量迁移,请选择:结构迁移+全量数据迁移。 配置迁移对象。 在迁移对象框中单击要迁移的数据库对象,如数据库、表或列,然后单击>添加到已选择对象框中。 说明 默认情况下,数据库对象迁移到ECS自建MySQL实例后,对象名跟本地MySQL实例一致。如果迁移的数据库对象在源实例跟目标实例上名称不同,您需要使用DTS提供的对象名映射功能,详情请参见库表列映射。 单击预检查并启动。 在迁移任务正式启动之前,会预检查连通性、权限及日志格式等。下图表示预检查成功通过。 precheck 预检查通过后,您可以在迁移任务列表中查看迁移任务的迁移状态及进度。 task_result 后续步骤 在应用程序中配置RDS实例的连接地址和账号密码,以连接到RDS实例。您还可以使用数据管理服务DMS(Data Management Service)或客户端管理RDS实例。具体操作,请参见连接MySQL实例。

1934890530796658 2020-03-25 19:18:04 0 浏览量 回答数 0

回答

软件工程(Software Engineering,简称为SE)是一门研究用工程化方法构建和维护有效的、实用的和高质量的软件的学科。它涉及到程序设计语言,数据库,软件开发工具,系统平台,标准,设计模式等方面。 在现代社会中,软件应用于多个方面。典型的软件比如有电子邮件,嵌入式系统,人机界面,办公套件,操作系统,编译器,数据库,游戏等。同时,各个行业几乎都有计算机软件的应用,比如工业,农业,银行,航空,政府部门等。这些应用促进了经济和社会的发展,使得人们的工作更加高效,同时提高了生活质量。 软件工程师是对应用软件创造软件的人们的统称,软件工程师按照所处的领域不同可以分为系统分析员,软件设计师,系统架构师,程序员,测试员等等。人们也常常用程序员来泛指各种软件工程师。 软件工程(SoftWare Engineering)的框架可概括为:目标、过程和原则。 (1)软件工程目标:生产具有正确性、可用性以及开销合宜的产品。正确性指软件产品达到预期功能的程度。可用性指软件基本结构、实现及文档为用户可用的程度。开销合宜是指软件开发、运行的整个开销满足用户要求的程度。这些目标的实现不论在理论上还是在实践中均存在很多待解决的问题,它们形成了对过程、过程模型及工程方法选取的约束。 (2)软件工程过程:生产一个最终能满足需求且达到工程目标的软件产品所需要的步骤。软件工程过程主要包括开发过程、运作过程、维护过程。它们覆盖了需求、设计、实现、确认以及维护等活动。需求活动包括问题分析和需求分析。问题分析获取需求定义,又称软件需求规约。需求分析生成功能规约。设计活动一般包括概要设计和详细设计。概要设计建立整个软件系统结构,包括子系统、模块以及相关层次的说明、每一模块的接口定义。详细设计产生程序员可用的模块说明,包括每一模块中数据结构说明及加工描述。实现活动把设计结果转换为可执行的程序代码。确认活动贯穿于整个开发过程,实现完成后的确认,保证最终产品满足用户的要求。维护活动包括使用过程中的扩充、修改与完善。伴随以上过程,还有管理过程、支持过程、培训过程等。 (3)软件工程的原则是指围绕工程设计、工程支持以及工程管理在软件开发过程中必须遵循的原则。 一、软件工程概述 概念:应需而生 软件工程是一类工程。工程是将理论和知识应用于实践的科学。就软件工程而言,它借鉴了传统工程的原则和方法,以求高效地开发高质量软件。其中应用了计算机科学、数学和管理科学。计算机科学和数学用于构造模型与算法,工程科学用于制定规范、设计范型、评估成本及确定权衡,管理科学用于计划、资源、质量和成本的管理。 软件工程这一概念,主要是针对20世纪60年代“软件危机”而提出的。它首次出现在1968年NATO(北大西洋公约组织)会议上。自这一概念提出以来,围绕软件项目,开展了有关开发模型、方法以及支持工具的研究。其主要成果有:提出了瀑布模型,开发了一些结构化程序设计语言(例如PASCAL语言,Ada语言)、结构化方法等。并且围绕项目管理提出了费用估算、文档复审等方法和工具。综观60年代末至80年代初,其主要特征是,前期着重研究系统实现技术,后期开始强调开发管理和软件质量。 70年代初,自“软件工厂”这一概念提出以来,主要围绕软件过程以及软件复用,开展了有关软件生产技术和软件生产管理的研究与实践。其主要成果有:提出了应用广泛的面向对象语言以及相关的面向对象方法,大力开展了计算机辅助软件工程的研究与实践。尤其是近几年来,针对软件复用及软件生产,软件构件技术以及软件质量控制技术、质量保证技术得到了广泛的应用。目前各个软件企业都十分重视资质认证,并想通过这些工作进行企业管理和技术的提升。软件工程所涉及的要素可概括如下: 根据这一框架,可以看出:软件工程涉及了软件工程的目标、软件工程原则和软件工程活动。 目标:我的眼里只有“产品” 软件工程的主要目标是:生产具有正确性、可用性以及开销合宜的产品。正确性意指软件产品达到预期功能的程度。可用性指软件基本结构、实现及文档为用户可用的程度。开销合宜性是指软件开发、运行的整个开销满足用户要求的程度。这些目标的实现不论在理论上还是在实践中均存在很多问题有待解决,它们形成了对过程、过程模型及工程方法选取的约束。 软件工程活动是“生产一个最终满足需求且达到工程目标的软件产品所需要的步骤”。主要包括需求、设计、实现、确认以及支持等活动。需求活动包括问题分析和需求分析。问题分析获取需求定义,又称软件需求规约。需求分析生成功能规约。设计活动一般包括概要设计和详细设计。概要设计建立整个软件体系结构,包括子系统、模块以及相关层次的说明、每一模块接口定义。详细设计产生程序员可用的模块说明,包括每一模块中数据结构说明及加工描述。实现活动把设计结果转换为可执行的程序代码。确认活动贯穿于整个开发过程,实现完成后的确认,保证最终产品满足用户的要求。支持活动包括修改和完善。伴随以上活动,还有管理过程、支持过程、培训过程等。 框架:四项基本原则是基石 软件工程围绕工程设计、工程支持以及工程管理,提出了以下四项基本原则: 第一,选取适宜开发范型。该原则与系统设计有关。在系统设计中,软件需求、硬件需求以及其他因素之间是相互制约、相互影响的,经常需要权衡。因此,必须认识需求定义的易变性,采用适宜的开发范型予以控制,以保证软件产品满足用户的要求。 第二,采用合适的设计方法。在软件设计中,通常要考虑软件的模块化、抽象与信息隐蔽、局部化、一致性以及适应性等特征。合适的设计方法有助于这些特征的实现,以达到软件工程的目标。 第三,提供高质量的工程支持。“工欲善其事,必先利其器”。在软件工程中,软件工具与环境对软件过程的支持颇为重要。软件工程项目的质量与开销直接取决于对软件工程所提供的支撑质量和效用。 第四,重视开发过程的管理。软件工程的管理,直接影响可用资源的有效利用,生产满足目标的软件产品,提高软件组织的生产能力等问题。因此,仅当软件过程得以有效管理时,才能实现有效的软件工程。 这一软件工程框架告诉我们,软件工程的目标是可用性、正确性和合算性;实施一个软件工程要选取适宜的开发范型,要采用合适的设计方法,要提供高质量的工程支撑,要实行开发过程的有效管理;软件工程活动主要包括需求、设计、实现、确认和支持等活动,每一活动可根据特定的软件工程,采用合适的开发范型、设计方法、支持过程以及过程管理。根据软件工程这一框架,软件工程学科的研究内容主要包括:软件开发范型、软件开发方法、软件过程、软件工具、软件开发环境、计算机辅助软件工程(CASE) 及软件经济学等。 作用:高效开发高质量软件 自从软件工程概念提出以来,经过30多年的研究与实践,虽然“软件危机”没得到彻底解决,但在软件开发方法和技术方面已经有了很大的进步。尤其应该指出的是,自80年代中期,美国工业界和政府部门开始认识到,在软件开发中,最关键的问题是软件开发组织不能很好地定义和管理其软件过程,从而使一些好的开发方法和技术都起不到所期望的作用。也就是说,在没有很好定义和管理软件过程的软件开发中,开发组织不可能在好的软件方法和工具中获益。 根据调查,中国的现状几乎和美国10多年前的情况一样,软件开发过程没有明确规定,文档不完整,也不规范,软件项目的成功往往归功于软件开发组的一些杰出个人或小组的努力。这种依赖于个别人员上的成功并不能为全组织的软件生产率和质量的提高奠定有效的基础,只有通过建立全组织的过程改善,采用严格的软件工程方法和管理,并且坚持不懈地付诸实践,才能取得全组织的软件过程能力的不断提高。 这一事实告诉我们,只有坚持软件工程的四条基本原则,既重视软件技术的应用,又重视软件工程的支持和管理,并在实践中贯彻实施,才能高效地开发出高质量的软件。

云篆 2019-12-02 01:21:35 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 您可以通过控制台或者API接口单独创建云盘,增加系统的存储空间。本文介绍如何在ECS控制台上单独创建一个全新的空云盘。 注意事项 创建云盘前,您需要了解以下信息: 通过这种方式创建的云盘,只能采用 按量付费 方式计费,而且,只能作数据盘用。 说明 您可以在创建ECS实例时同时创建云盘作为数据盘。通过这种方式创建的云盘,计费方式与实例的计费方式相同。 您可以创建全新的空云盘,也可以 用快照创建云盘。 每个账号在所有地域创建作数据盘用的按量付费云盘限额 = 该账号在所有地域的按量付费实例数量 * 5。详细信息,请参见 使用限制。 目前云服务器ECS不支持合并多块云盘。云盘创建后,每块云盘都是独立个体,无法通过格式化将多块云盘空间合并到一起。建议您提前做好云盘数量和容量的规划。 已创建的多块云盘,不建议做LVM(Logical Volume Manager)等逻辑卷。因为快照只能针对独立的每个云盘创建,使用LVM后,使用快照回滚云盘时会造成数据差异。 创建后,您可以转换云盘的计费方式: 如果云盘挂载在预付费实例上,通过 预付费实例升级配置 将按量付费云盘转换为预付费云盘。 如果云盘挂载在按量付费实例上,通过 按量付费转预付费 将按量付费云盘转为预付费云盘。 通过这种方式创建的云盘,只要未转换计费方式,您能随时 卸载云盘 并 释放云盘。 前提条件 创建云盘前,您必须确认以下信息: 您的账户余额不得少于100元或者等值的代金券或者优惠券。因为单独创建的云盘采用按量付费方式。 需要挂载云盘的实例所在的地域和可用区。挂载云盘 时,实例与云盘必须在同一个地域和可用区。 云盘是否需要加密。详细信息,请参见 ECS 磁盘加密。 操作步骤 登录 ECS管理控制台。 在左侧导航栏中,单击 存储 > 云盘。 在 磁盘列表 页右上角,单击 创建云盘 进入 创建 页面。 选择地域和可用区。 说明 挂载云盘时,实例与云盘必须在同一个地域和可用区。 选择云盘的类型、大小,确认是否 加密,并设置购买量。您也可以选择 用快照创建云盘。 确认当前配置和 配置费用。 单击 立即购买,并根据页面引导完成创建。 创建成功后,回到 磁盘列表 页,刷新列表,您可以看到新建的云盘,磁盘状态 显示为 待挂载。 后续操作 挂载云盘 相关视频 您可以观看视频 Windows ECS实例挂载云盘 查看完整的创建、挂载、格式化云盘操作。 相关 API 单独创建云盘:CreateDisk 随实例一起创建云盘:RunInstances 或 CreateInstance

2019-12-01 22:57:12 0 浏览量 回答数 0

回答

常见错误处理 错误码 处理方式 1000 一般为语法或者超时引起,如果多次刷新不再出现,则是超时引起,如果仍出现,则语法有问题,请对照文档仔细检查,如分隔符、函数字段类型等 2112 排序表达式中的text_relevance(field)、fieldterm_proximity(field)等文本feature中的field必须在查询的索引包含的源字段中,否则会报错,但不影响搜索结果。 3007 对于API推送系统是有频率限制,请控制好频率重试 4003 可以先按照文档样例,试下签名结果是否一致,判断是否是签名算法问题。如果不是,请检查下参数按照字典序排序后应该是公共参数(大写字母)在前,请求参数(小写字母)在后。另外还有空格等一些编码规则,具体参考授权文档介绍 4007 一般Json字段内容中包含双引号或者不可见字符会导致格式解析失败,请转义或者过滤后重试 4010 TimeStamp参数是有过期时间的,请按照要求格式取当前时间来计算 5001 没有找到对应的用户,一般为ACCESSKEY信息不正确,或者使用区域域名错误(API域名请以应用管理-》基本信息-》API入口为准),请检查修改后重试 5008 服务内部是通过Accesskey来进行用户身份校验的,请确保AccessKey已经开启,您可以通过控制台AccessKey管理入口来创建和删除 6013 start+hit不能超过5000,否则会报错无结果。需要超过5000的请求,请查看下API文档中的SCROLL接口,看是否满足需求 6015 请及时到控制台配额管理处进行QPS峰值的调整,否则超过的请求会被丢弃 6127 除了query子句,其他子句出现的字段都必须配置为属性字段才能使用。请修改应用结构后重试 系统级别(1000-1999) 错误码 错误说明 1000 系统内部错误 1001 没有找到模版 1003 不支持的索引类型 1004 服务暂时不可用,请稍后再试 应用相关(2000-2999) 错误码 错误说明 2001 待查应用不存在 2002 应用已经存在 2003 到达创建应用总限制 2004 应用名不可用。应用名由数字、26个英文字母或下划线组成,长度不超过30位 2005 应用名称没有设定 2006 新应用名称没有设定 2007 备注不超300字 2008 摘要配置参数错误 2009 更新状态失败 2010 应用暂停中 2011 应用冻结中 2012 应用未开启 2013 删除失败,没有此应用 2014 文件上传失败 2016 区域信息没有 2017 此应用并不属于当前区域 2099 当前接口暂时不提供服务。 2101 表达式不存在 2102 表达式名称被占用 2103 到达该应用表达式总数限制 2104 表达式名不可用。表达式名由数字、26个英文字母或下划线组成,长度不超过30位 2105 表达式名称没有设定 2106 新表达式名称没有设定 2107 表达式备注不超过300字 2108 表达式备注格式错误 2109 表达式格式错误 2110 表达式长度超过限制 2111 表达式id未指定 2112 表达式错误 2113 表达式不能为空 2114 操作错误 2201 粗排配置名没有设定 2202 粗排配置名已经存在 2203 粗排配置个数超出限制 2204 粗排配置名错误。只能由数字、26个英文字母或下划线组成 2205 粗排配置名长度超出限制 2206 粗排字段必须是数值型 2207 粗排配置不存在 2208 粗排配置错误,必须包含字段 2209 粗排配置权重错误,必须是-100000到100000之间的非0数值,浮点数精度支持6位 2210 与系统默认粗排配置重名 2211 timeliness()的参数必须是INT类型 2112 排序表达式错误 2551 查询指定的下拉提示规则不存在 文档相关(3000-3999) 错误码 错误说明 3001 文档不能为空 3002 文档大小超过限制 3003 已经到最大文档数 3004 保存文档失败 3005 doc格式错误 3006 文档操作cmd不合法 3007 请求过于频繁 3008 文档总长度太长 3009 没有文档id 3011 在配置RDS或MYSQL数据源后,不支持API推送文档 3012 未找到指定资源 3013 文档推送速率超过应用配额 3014 文档推送速率触发系统限制 3015 单次推送文档个数超过系统限制 3016 文档总数超过应用配额 授权相关(4000-4999) 错误码 错误说明 4001 认证失败 4002 需要设置签名 4003 签名验证失败 4004 需要设置SignatureNonce 4005 SignatureNonce不能重复使用 4006 SignatureNonce验证失败 4007 解析JSON格式失败 4008 用户名称不能为空,请检查域名正确性 4009 需要指定用户标识 4010 时间过期 4011 demo帐号禁止执行的操作 4012 数据表不存在 4013 Timestamp格式错误 4014 需要设置Timestamp 4020 RAM子账户鉴权失败 用户相关(5000-5999) 错误码 错误说明 5001 用户不存在 5002 用户名不正确 5003 需要用户登录 5005 用户未开通OpenSearch服务,请前往阿里云官网开通 5008 用户没有启用ACCESSKEY 5100 用户没有此区域的操作权限 5004 用户未缴费 5005 用户未开通OpenSearch服务,请前往阿里云官网开通 5006 欠费冻结中 5008 用户没有启用ACCESSKEY 5009 用户已经删除 5010 ACCESSKEY 已经禁用 5011 通过邮箱获取到多个用户 5012 CODE_USER_ALIYUN_USER_ID_INVALID,错误信息为空 5013 CODE_USER_ALIYUN_BID_INVALID,错误信息为空 5014 CODE_USER_CLIENT_ID_INVALID,错误信息为空 5015 CODE_USER_ID_INVALID,错误信息为空 5100 用户没有此区域的操作权限 搜索相关(6000-6999) 错误码 错误说明 6001 查询query为空 6002 并不被支持的搜索key关键字 6003 并不被支持的搜索field关键字 6004 复杂查询为空 6005 field无效 6006 请求包含太多应用名 6007 超出多索引查询每个模板中索引总数 6008 请求串语法错误,解析失败 6009 查询子句过长 6010 无效的rerank size 6011 SignatureNonce格式错误 6013 start+hit超过系统限制 6014 因系统繁忙,请求被丢弃 6015 因流量超出配额,请求被丢弃 6016 查询hit数超过系统限制 6017 目前scroll只支持search_type为scan,也就是说设置了参数scroll,就必须设置参数search_type=scan 6018 设置了scroll参数,但没有search_type参数 6019 传入的scroll_id参数解析失败 6020 无效的scroll参数值 6021 scroll请求不支持Aggregate/Sort/Distinct,当传入这些clause时,会报错 6022 scroll_id已经过期失效了 6100 查询词为空 6101 查询的索引字段不存在 6102 Query中的数值范围错误 6103 Filter中的表达式返回值必须为bool类型 6104 Sort中的表达式返回值不能为bool类型 6105 Sort中存在相同的表达式 6106 查询query语句非法 6107 统计函数表达式的返回值不能为bool或者string类型 6108 统计中的范围必须为升序 6109 统计中的范围表达式返回值类型错误 6110 统计函数不存在 6111 不支持的统计函数 6112 Query 子句错误 6113 Filter子句错误 6114 Aggregate子句错误 6115 Sort子句错误 6116 Distinct子句错误 6117 查询中包含未知的子句 6118 语法错误 6119 Distinct子句中的dist_count值错误,应该为大于0的整数 6120 Distinct子句中的dist_times值错误,应该为大于0的整数 6121 Distinct子句中的reserved值错误,应为true/false 6122 Distinct子句缺少distinct_key 6123 Distinct子句中的grade值错误,例如为空,或非数值 6124 Distinct子句中包含distinct个数不对,个数应在(0,2] 6125 Distinct子句中的max_item_count值错误,应该为大于0的整数 6126 Distinct子句中的update_total_hit值错误,应为true/false 6127 请求中包含了未定义的attribute字段 6128 表达式中的二元操作符的两边的表达式结果类型不匹配 6129 表达式中的二元操作符的两边表达式不能同时为常量 6130 二元逻辑运算表达式类型错误,应为bool类型 6131 二元表达式中不支持string类型 6132 二元表达式中不支持数组类型 6133 位操作中的类型错误 6134 常量表达式的返回值类型错误 6300 常量表达式类型应是整数或浮点数 6301 位取反操作数类型必须为整数 6302 取负数操作数必须为数值 6303 逻辑非操作数必须为数值 6304 二元运算操作数类型错误 6305 非法的二元运算符 6306 函数参数类型错误 6307 函数未定义 6308 函数参数个数错误 6309 非法的数组操作 6310 可过滤字段不存在 6311 数组字段被错当作单值使用 6312 单值字段被错当作数组使用 6313 数组字段下标越界(小于0) 6314 不支持的字段类型 6315 索引字段参数不存在 6316 Query中没有指定索引 6317 Filter子句中只能使用一次公式 6318 公式语法解析出错 6500 搜索语法中包含不存在的字段 6501 在线系统没有索引数据 6502 用户query语法错误 6601 一个索引字段只能包含在一个规则中 6602 没有查询词,如default:’’的情况 6603 查询中的索引字段没有在查询分析规则中指定 6604 关键词没有使用引号括起来,如default:xxx,正确为default:’xxx’ 6605 双引号查询不能配置查询分析规则 6607 disable参数格式错误 6608 disable指定关闭的索引字段不存在 6609 disable指定关闭的功能列表不存在 6610 查询分析后的query为空(原query为空,或者全部是stopword) 6611 查询中没有指定索引字段 数据处理相关(7000-7999) 错误码 错误说明 7100 没有错误发生 7101 单个文档过长 7102 文档所属应用的元信息错误(clientid 或 accesskey、应用名或表名等不正确) 7103 HA3 文档格式错误: 字段解析失败 7104 JSON文档格式错误:字段解析失败 7105 JSON 文档格式错误: json非法 7106 JSON 文档格式错误: json非法 7107 不支持的编码 7108 编码转换失败 7109 fields中没有id字段 7110 fields中id定义不合法 7111 fields中包含保留字段 7201 HA3 文档格式错误: cmd 非法(cmd 非 ADD/UPDATE/DELETE) 7202 JSON 文档格式错误: cmd 非法(cmd 非 ADD/UPDATE/DELETE) 7301 主键字段不存在 7302 字段数据类型错误 7303 数组字段相关错误 7401 文档总数超出配额 7402 每日更新文档数超出配额 7403 单次导入的数据大小超出配额 7500 系统内部错误 7501 云梯Hive待同步字段的列号超出了当前数据的列数范围 7502 从Mysql中读取到的主键字段为空,请联系数据库管理员 7503 JsonKeyValueExtractor内容转换错误: Json格式非法 7504 JsonKeyValueExtractor内容转换错误: key不存在 7505 TairLDBExtractor内容转换错误: namespace非法(应为int32类型) 7506 TairLDBExtractor内容转换错误: 从Tair中读取数据失败 7507 MySql实时同步过滤条件格式错误 7508 系统内部错误: 内容转换插件初始化失败 7509 TairLDBExtractor内容转换配置错误:Tair连接失败,请检查configId 或 namespace 是否有效 7510 KVExtractor内容解析错误:KV格式无法解析 7511 OSS 数据读取失败 7512 OSS 内容长度超过限度 7513 OSS 内容解析错误 7514 系统内部错误: OSS LOG 格式不兼容 7515 过滤条件执行错误 7516 字段映射过程中源表字段缺失 7517 StringCatenateExtractor内容转换错误: 源字段不存在 7518 StringCatenateExtractor内容转换错误: 不支持多值字段 7601 任务执行错误 7602 更新app失败 7701 数据清理任务错误:指定过滤字段不存在 7801 文档格式错误 文档错误内部通知(8000-8999) 错误码 错误说明 8001 保存错误信息失败 8002 必要参数缺失 8003 应用不存在 8004 参数错误 模板相关(9000-9999) 错误码 错误说明 9001 用户名为空 9002 应用名为空 9003 模板名不可用。模板名只能由数字、26个英文字母或下划线组成 9004 模板名长度不可超过30位 9005 查询模板信息出错 9006 模板名字已存在 9007 插入模板信息出错 9008 无效的数据 9009 定义的字段数目超过系统允许的最大字段数 9010 此字段保留字段名 9011 字段已存在 9012 索引名称必须以字母开头,由数字、26个英文字母或下划线组成,长度不超过30位,多值字段类型不能为SWS_TEXT或TEXT 9013 不支持数组 9014 不支持主键 9015 未设定主键 9016 主键不唯一 9017 更新信息失败 9018 删除信息失败 9019 包含多个索引字段的搜索字段最多4个 9020 同一个STRING/TEXT类型的索引字段不能进入多个只包含一个字段的搜索字段中 9021 索引名称必须以字母开头,由数字、26个英文字母或下划线组成,长度不超过30个 9022 该表已经关联 9023 索引名不能包含多类型的字段 9100 系统内部错误 9101 该字段超过数量限制 9102 该数据源未被用到 9103 无效的外表连接 9104 最多2级关联 9105 待查模板不存在 9501 用户名为空 9502 应用名为空 9519 未指定模板 9600 系统内部错误 9902 插件字段类型错误 9999 此域名不提供本服务 数据同步相关(10000-) 错误码 错误说明 10001 没有指定的tddl group key,tddl信息获取失败 10002 获取字段失败或者表不存在 10011 连接agg失败 10012 应用里存在doc 10013 应用不是自定义结构 10110 该任务已结束 10010 部分数据源有问题,已经忽略有错误的数据 10014 数据源类型错误 10100 创建任务失败,未结束的任务已经存在 10101 没有指定应用ID 10106 没有指定应用ID 10107 没有指定应用ID 10102 ACTION无效 10112 文档数量超过限制 10201 获取配额列表失败 10202 更新配额失败 10301 参数错误:参数未提供或者格式不正确 10302 时间参数错误 10303 数据源未配置 10304 该表配额超限 10305 OSS参数错误 10306 OSS BUCKET名称无效 10307 OSS 记录类型无效 10308 OSS BUCKET日志功能未开启 10309 存在未完成的任务 10310 不是运行中的应用,无法创建任务 10311 时间范围不合法 10312 应用描述长度超过限制,最多600字 10313 OSS 内容格式不合法 10314 OSS BUCKET所在区域ACL网络不通 10315 OSS BUCKET的地址信息不合法 10330 数据源参数不合法 10350 连接ODPS服务失败 10351 ODPS 返回错误 10400 OSS前缀不合法 10450 字段不存在

保持可爱mmm 2020-03-26 22:06:37 0 浏览量 回答数 0

回答

在工程实践上,为了保障系统的可用性,互联网系统大多将强一致性需求转换成最终一致性的需求,并通过系统执行幂等性的保证,保证数据的最终一致性。但在电商等场景中,对于数据一致性的解决方法和常见的互联网系统(如 MySQL 主从同步)又有一定区别,分成以下 6 种解决方案。(一)规避分布式事务——业务整合业务整合方案主要采用将接口整合到本地执行的方法。拿问题场景来说,则可以将服务 A、B、C 整合为一个服务 D 给业务,这个服务 D 再通过转换为本地事务的方式,比如服务 D 包含本地服务和服务 E,而服务 E 是本地服务 A ~ C 的整合。优点:解决(规避)了分布式事务。缺点:显而易见,把本来规划拆分好的业务,又耦合到了一起,业务职责不清晰,不利于维护。由于这个方法存在明显缺点,通常不建议使用。(二)经典方案 - eBay 模式此方案的核心是将需要分布式处理的任务通过消息日志的方式来异步执行。消息日志可以存储到本地文本、数据库或消息队列,再通过业务规则自动或人工发起重试。人工重试更多的是应用于支付场景,通过对账系统对事后问题的处理。消息日志方案的核心是保证服务接口的幂等性。考虑到网络通讯失败、数据丢包等原因,如果接口不能保证幂等性,数据的唯一性将很难保证。eBay 方式的主要思路如下。Base:一种 Acid 的替代方案此方案是 eBay 的架构师 Dan Pritchett 在 2008 年发表给 ACM 的文章,是一篇解释 BASE 原则,或者说最终一致性的经典文章。文中讨论了 BASE 与 ACID 原则在保证数据一致性的基本差异。如果 ACID 为分区的数据库提供一致性的选择,那么如何实现可用性呢?答案是BASE (basically available, soft state, eventually consistent)BASE 的可用性是通过支持局部故障而不是系统全局故障来实现的。下面是一个简单的例子:如果将用户分区在 5 个数据库服务器上,BASE 设计鼓励类似的处理方式,一个用户数据库的故障只影响这台特定主机那 20% 的用户。这里不涉及任何魔法,不过它确实可以带来更高的可感知的系统可用性。文章中描述了一个最常见的场景,如果产生了一笔交易,需要在交易表增加记录,同时还要修改用户表的金额。这两个表属于不同的远程服务,所以就涉及到分布式事务一致性的问题。文中提出了一个经典的解决方法,将主要修改操作以及更新用户表的消息放在一个本地事务来完成。同时为了避免重复消费用户表消息带来的问题,达到多次重试的幂等性,增加一个更新记录表 updates_applied 来记录已经处理过的消息。基于以上方法,在第一阶段,通过本地的数据库的事务保障,增加了 transaction 表及消息队列 。在第二阶段,分别读出消息队列(但不删除),通过判断更新记录表 updates_applied 来检测相关记录是否被执行,未被执行的记录会修改 user 表,然后增加一条操作记录到 updates_applied,事务执行成功之后再删除队列。通过以上方法,达到了分布式系统的最终一致性。进一步了解 eBay 的方案可以参考文末链接。(三)去哪儿网分布式事务方案随着业务规模不断地扩大,电商网站一般都要面临拆分之路。就是将原来一个单体应用拆分成多个不同职责的子系统。比如以前可能将面向用户、客户和运营的功能都放在一个系统里,现在拆分为订单中心、代理商管理、运营系统、报价中心、库存管理等多个子系统。拆分首先要面临的是什么呢?最开始的单体应用所有功能都在一起,存储也在一起。比如运营要取消某个订单,那直接去更新订单表状态,然后更新库存表就 ok 了。因为是单体应用,库在一起,这些都可以在一个事务里,由关系数据库来保证一致性。但拆分之后就不同了,不同的子系统都有自己的存储。比如订单中心就只管理自己的订单库,而库存管理也有自己的库。那么运营系统取消订单的时候就是通过接口调用等方式来调用订单中心和库存管理的服务了,而不是直接去操作库。这就涉及一个『分布式事务』的问题。分布式事务有两种解决方式优先使用异步消息。上文已经说过,使用异步消息 Consumer 端需要实现幂等。幂等有两种方式,一种方式是业务逻辑保证幂等。比如接到支付成功的消息订单状态变成支付完成,如果当前状态是支付完成,则再收到一个支付成功的消息则说明消息重复了,直接作为消息成功处理。另外一种方式如果业务逻辑无法保证幂等,则要增加一个去重表或者类似的实现。对于 producer 端在业务数据库的同实例上放一个消息库,发消息和业务操作在同一个本地事务里。发消息的时候消息并不立即发出,而是向消息库插入一条消息记录,然后在事务提交的时候再异步将消息发出,发送消息如果成功则将消息库里的消息删除,如果遇到消息队列服务异常或网络问题,消息没有成功发出那么消息就留在这里了,会有另外一个服务不断地将这些消息扫出重新发送。有的业务不适合异步消息的方式,事务的各个参与方都需要同步的得到结果。这种情况的实现方式其实和上面类似,每个参与方的本地业务库的同实例上面放一个事务记录库。比如 A 同步调用 B,C。A 本地事务成功的时候更新本地事务记录状态,B 和 C 同样。如果有一次 A 调用 B 失败了,这个失败可能是 B 真的失败了,也可能是调用超时,实际 B 成功。则由一个中心服务对比三方的事务记录表,做一个最终决定。假设现在三方的事务记录是 A 成功,B 失败,C 成功。那么最终决定有两种方式,根据具体场景:重试 B,直到 B 成功,事务记录表里记录了各项调用参数等信息;执行 A 和 B 的补偿操作(一种可行的补偿方式是回滚)。对 b 场景做一个特殊说明:比如 B 是扣库存服务,在第一次调用的时候因为某种原因失败了,但是重试的时候库存已经变为 0,无法重试成功,这个时候只有回滚 A 和 C 了。那么可能有人觉得在业务库的同实例里放消息库或事务记录库,会对业务侵入,业务还要关心这个库,是否一个合理的设计?实际上可以依靠运维的手段来简化开发的侵入,我们的方法是让 DBA 在公司所有 MySQL 实例上预初始化这个库,通过框架层(消息的客户端或事务 RPC 框架)透明的在背后操作这个库,业务开发人员只需要关心自己的业务逻辑,不需要直接访问这个库。总结起来,其实两种方式的根本原理是类似的,也就是将分布式事务转换为多个本地事务,然后依靠重试等方式达到最终一致性。(四)蘑菇街交易创建过程中的分布式一致性方案交易创建的一般性流程我们把交易创建流程抽象出一系列可扩展的功能点,每个功能点都可以有多个实现(具体的实现之间有组合/互斥关系)。把各个功能点按照一定流程串起来,就完成了交易创建的过程。面临的问题每个功能点的实现都可能会依赖外部服务。那么如何保证各个服务之间的数据是一致的呢?比如锁定优惠券服务调用超时了,不能确定到底有没有锁券成功,该如何处理?再比如锁券成功了,但是扣减库存失败了,该如何处理?方案选型服务依赖过多,会带来管理复杂性增加和稳定性风险增大的问题。试想如果我们强依赖 10 个服务,9 个都执行成功了,最后一个执行失败了,那么是不是前面 9 个都要回滚掉?这个成本还是非常高的。所以在拆分大的流程为多个小的本地事务的前提下,对于非实时、非强一致性的关联业务写入,在本地事务执行成功后,我们选择发消息通知、关联事务异步化执行的方案。消息通知往往不能保证 100% 成功;且消息通知后,接收方业务是否能执行成功还是未知数。前者问题可以通过重试解决;后者可以选用事务消息来保证。但是事务消息框架本身会给业务代码带来侵入性和复杂性,所以我们选择基于 DB 事件变化通知到 MQ 的方式做系统间解耦,通过订阅方消费 MQ 消息时的 ACK 机制,保证消息一定消费成功,达到最终一致性。由于消息可能会被重发,消息订阅方业务逻辑处理要做好幂等保证。所以目前只剩下需要实时同步做、有强一致性要求的业务场景了。在交易创建过程中,锁券和扣减库存是这样的两个典型场景。要保证多个系统间数据一致,乍一看,必须要引入分布式事务框架才能解决。但引入非常重的类似二阶段提交分布式事务框架会带来复杂性的急剧上升;在电商领域,绝对的强一致是过于理想化的,我们可以选择准实时的最终一致性。我们在交易创建流程中,首先创建一个不可见订单,然后在同步调用锁券和扣减库存时,针对调用异常(失败或者超时),发出废单消息到MQ。如果消息发送失败,本地会做时间阶梯式的异步重试;优惠券系统和库存系统收到消息后,会进行判断是否需要做业务回滚,这样就准实时地保证了多个本地事务的最终一致性。(五)支付宝及蚂蚁金融云的分布式服务 DTS 方案业界常用的还有支付宝的一种 xts 方案,由支付宝在 2PC 的基础上改进而来。主要思路如下,大部分信息引用自官方网站。分布式事务服务简介分布式事务服务 (Distributed Transaction Service, DTS) 是一个分布式事务框架,用来保障在大规模分布式环境下事务的最终一致性。DTS 从架构上分为 xts-client 和 xts-server 两部分,前者是一个嵌入客户端应用的 JAR 包,主要负责事务数据的写入和处理;后者是一个独立的系统,主要负责异常事务的恢复。核心特性传统关系型数据库的事务模型必须遵守 ACID 原则。在单数据库模式下,ACID 模型能有效保障数据的完整性,但是在大规模分布式环境下,一个业务往往会跨越多个数据库,如何保证这多个数据库之间的数据一致性,需要其他行之有效的策略。在 JavaEE 规范中使用 2PC (2 Phase Commit, 两阶段提交) 来处理跨 DB 环境下的事务问题,但是 2PC 是反可伸缩模式,也就是说,在事务处理过程中,参与者需要一直持有资源直到整个分布式事务结束。这样,当业务规模达到千万级以上时,2PC 的局限性就越来越明显,系统可伸缩性会变得很差。基于此,我们采用 BASE 的思想实现了一套类似 2PC 的分布式事务方案,这就是 DTS。DTS在充分保障分布式环境下高可用性、高可靠性的同时兼顾数据一致性的要求,其最大的特点是保证数据最终一致 (Eventually consistent)。简单的说,DTS 框架有如下特性:最终一致:事务处理过程中,会有短暂不一致的情况,但通过恢复系统,可以让事务的数据达到最终一致的目标。协议简单:DTS 定义了类似 2PC 的标准两阶段接口,业务系统只需要实现对应的接口就可以使用 DTS 的事务功能。与 RPC 服务协议无关:在 SOA 架构下,一个或多个 DB 操作往往被包装成一个一个的 Service,Service 与 Service 之间通过 RPC 协议通信。DTS 框架构建在 SOA 架构上,与底层协议无关。与底层事务实现无关: DTS 是一个抽象的基于 Service 层的概念,与底层事务实现无关,也就是说在 DTS 的范围内,无论是关系型数据库 MySQL,Oracle,还是 KV 存储 MemCache,或者列存数据库 HBase,只要将对其的操作包装成 DTS 的参与者,就可以接入到 DTS 事务范围内。一个完整的业务活动由一个主业务服务与若干从业务服务组成。主业务服务负责发起并完成整个业务活动。从业务服务提供 TCC 型业务操作。业务活动管理器控制业务活动的一致性,它登记业务活动中的操作,并在活动提交时确认所有的两阶段事务的 confirm 操作,在业务活动取消时调用所有两阶段事务的 cancel 操作。”与 2PC 协议比较,没有单独的 Prepare 阶段,降低协议成本。系统故障容忍度高,恢复简单(六)农信网数据一致性方案电商业务公司的支付部门,通过接入其它第三方支付系统来提供支付服务给业务部门,支付服务是一个基于 Dubbo 的 RPC 服务。对于业务部门来说,电商部门的订单支付,需要调用支付平台的支付接口来处理订单;同时需要调用积分中心的接口,按照业务规则,给用户增加积分。从业务规则上需要同时保证业务数据的实时性和一致性,也就是支付成功必须加积分。我们采用的方式是同步调用,首先处理本地事务业务。考虑到积分业务比较单一且业务影响低于支付,由积分平台提供增加与回撤接口。具体的流程是先调用积分平台增加用户积分,再调用支付平台进行支付处理,如果处理失败,catch 方法调用积分平台的回撤方法,将本次处理的积分订单回撤。用户信息变更公司的用户信息,统一由用户中心维护,而用户信息的变更需要同步给各业务子系统,业务子系统再根据变更内容,处理各自业务。用户中心作为 MQ 的 producer,添加通知给 MQ。APP Server 订阅该消息,同步本地数据信息,再处理相关业务比如 APP 退出下线等。我们采用异步消息通知机制,目前主要使用 ActiveMQ,基于 Virtual Topic 的订阅方式,保证单个业务集群订阅的单次消费。总结分布式服务对衍生的配套系统要求比较多,特别是我们基于消息、日志的最终一致性方案,需要考虑消息的积压、消费情况、监控、报警等。

小川游鱼 2019-12-02 01:46:40 0 浏览量 回答数 0

问题

【直播回顾】21天搭建推荐系统:实现“千人千面”个性化推荐(含视频)

小柒2012 2019-12-01 21:21:27 7489 浏览量 回答数 1

问题

ECS导入镜像需要注意哪些事项

boxti 2019-12-01 21:41:49 1444 浏览量 回答数 0

回答

本文介绍AliSQL的内核版本更新说明。 MySQL 8.0 20200229 新特性 Performance Agent:更加便捷的性能数据统计方案。通过MySQL插件的方式,实现MySQL实例内部各项性能数据的采集与统计。 在半同步模式下添加网络往返时间,并记录到性能数据。 性能优化 允许在只读实例上进行语句级并发控制(CCL)操作。 备实例支持Outline。 Proxy短连接优化。 优化不同CPU架构下的pause指令执行时间。 添加内存表查看线程池运行情况。 Bug修复 在低于4.9的Linux Kenerls中禁用ppoll,使用poll代替。 修复wrap_sm4_encrypt函数调用错误问题。 修复在滚动审核日志时持有全局变量锁的问题。 修复恢复不一致性检查的问题。 修复io_statistics表出现错误time值的问题。 修复无效压缩算法导致崩溃的问题。 修复用户列与5.6不兼容的问题。 20200110 新特性 Inventory Hint:新增了三个hint, 支持SELECT、UPDATE、INSERT、DELETE 语句,快速提交/回滚事务,提高业务吞吐能力。 性能优化 启动实例时,先初始化Concurrency Control队列结构,再初始化Concurrency Control规则。 异步清除文件时继续取消小文件的链接。 优化Thread Pool性能。 默认情况下禁用恢复不一致性检查。 更改设置变量所需的权限: 设置以下变量所需的权限已更改为普通用户权限: auto_increment_increment auto_increment_offset bulk_insert_buffer_size binlog_rows_query_log_events 设置以下变量所需的权限已更改为超级用户或系统变量管理用户权限: binlog_format binlog_row_image binlog_direct sql_log_off sql_log_bin 20191225 新特性 Recycle Bin:临时将删除的表转移到回收站,还可以设置保留的时间,方便您找回数据。 性能优化 提高短连接处理性能。 使用专用线程为maintain user服务,避免HA失败。 通过Redo刷新Binlog时出现错误会显式释放文件同步锁。 删除不必要的TCP错误日志。 默认情况下启用线程池。 Bug修复 修复慢日志刷新的问题。 修复锁定范围不正确的问题。 修复TDE的Select函数导致的核心转储问题。 20191115 新特性 Statement Queue:针对语句的排队机制,将语句进行分桶排队,尽量把可能具有相同冲突的语句放在一个桶内排队,减少冲突的开销。 20191101 新特性 为TDE添加SM4加密算法。 保护备实例信息:拥有SUPER或REPLICATION_SLAVE_ADMIN权限的用户才能插入/删除/修改表slave_master_info、slave_relay_log_info、slave_worker_info。 提高自动递增键的优先级:如果表中没有主键或非空唯一键,具有自动增量的非空键将是第一候选项。 对系统表和处于初始化状态线程用到的表,不进行Memory引擎到MyISAM引擎的自动转换。 Redo Log刷新到磁盘之前先将Binlog文件刷新到磁盘。 实例被锁定时也会影响临时表。 添加新的基于LSM树的事务存储引擎X-Engine。 性能优化 Thread Pool:互斥优化。 Performance Insight:性能点支持线程池。 参数调整: primary_fast_lookup:会话参数,默认值为true。 thread_pool_enabled:全局参数,默认值为true。 20191015 新特性 TDE:支持透明数据加密TDE(Transparent Data Encryption)功能,可对数据文件执行实时I/O加密和解密,数据在写入磁盘之前进行加密,从磁盘读入内存时进行解密。 Returning:Returning功能支持DML语句返回Resultset,同时提供了工具包(DBMS_TRANS)便于您快捷使用。 强制将引擎从MyISAM/MEMORY转换为InnoDB:如果全局变量force_memory/mysiam_to_innodb为ON,则创建/修改表时会将表引擎从MyISAM/MEMORY转换为InnoDB。 禁止非高权限账号切换主备实例。 性能代理插件:收集性能数据并保存到本地格式化文本文件,采用文件轮循方式,保留最近的秒级性能数据。 Innodb mutex timeout cofigurable:可配置全局变量innodb_fatal_semaphore_wait_threshold,默认值:600。 忽略索引提示错误:可配置全局变量ignore_index_hint_error,默认值:false。 可关闭SSL加密功能。 TCP错误信息:返回TCP方向(读取、读取等待、写入等待)错误及错误代码到end_connection事件,并且输出错误信息到错误日志。 Bug修复 支持本地AIO的Linux系统内,在触发线性预读之前会合并AIO请求。 优化表/索引统计信息。 如果指定了主键,则直接访问主索引。 20190915 Bug修复 修复Cmd_set_current_connection内存泄露问题。 20190816 新特性 Thread Pool:将线程和会话分离,在拥有大量会话的同时,只需要少量线程完成活跃会话的任务即可。 Statement Concurrency Control:通过控制并发数应对突发的数据库请求流量、资源消耗过高的语句访问以及SQL访问模型的变化,保证MySQL实例持续稳定运行。 Statement Outline:利用Optimizer Hint和Index Hint让MySQL稳定执行计划。 Sequence Engine:简化获取序列值的复杂度。 Purge Large File Asynchronously:删除单个表空间时,会将表空间文件重命名为临时文件,等待异步清除进程清理临时文件。 Performance Insight:专注于实例负载监控、关联分析、性能调优的利器,帮助您迅速评估数据库负载,找到性能问题的源头,提升数据库的稳定性。 优化实例锁状态:实例锁定状态下,可以drop或truncate表。 Bug修复 修复文件大小计算错误的问题。 修复偶尔出现的内存空闲后再次使用的问题。 修复主机缓存大小为0时的崩溃问题。 修复隐式主键与CTS语句的冲突问题。 修复慢查询导致的slog出错问题。 20190601 性能优化 缩短日志表MDL范围,减少MDL阻塞的可能性。 重构终止选项的代码。 Bug修复 修复审计日志中没有记录预编译语句的问题。 屏蔽无效表名的错误日志。 MySQL 5.7基础版/高可用版 20200229 新特性 Performance Agent:更加便捷的性能数据统计方案。通过MySQL插件的方式,实现MySQL实例内部各项性能数据的采集与统计。 在半同步模式下添加网络往返时间,并记录到性能数据。 性能优化 优化不同CPU架构下的pause指令执行时间。 Proxy短连接优化。 添加内存表查看线程池运行情况。 Bug修复 修复DDL重做日志不安全的问题。 修复io_statistics表出现错误time值的问题。 修复更改表导致服务器崩溃的问题。 修复MySQL测试用例。 20200110 性能优化 异步清除文件时继续取消小文件的链接。 优化Thread Pool性能。 thread_pool_enabled参数的默认值调整为OFF。 20191225 新特性 内部账户管理与防范:调整用户权限保护数据安全。 性能优化 提高短连接处理性能。 使用专用线程为maintain user服务,避免HA失败。 删除不必要的TCP错误日志。 优化线程池。 Bug修复 修复读写分离时mysqld进程崩溃问题。 修复密钥环引起的核心转储问题。 20191115 Bug修复 修复主备切换后审计日志显示变量的问题。 20191101 新特性 为TDE添加SM4加密算法。 如果指定了主键,则直接访问主索引。 对系统表和处于初始化状态线程用到的表,不进行Memory引擎到MyISAM引擎的自动转换。 性能优化 Thread Pool:互斥优化。 引入审计日志缓冲机制,提高审计日志的性能。 Performance Insight:性能点支持线程池。 默认开启Thread Pool。 Bug修复 在处理维护用户列表时释放锁。 补充更多TCP错误信息。 20191015 新特性 轮换慢日志:为了在收集慢查询日志时保证零数据丢失,轮换日志表会将慢日志表的csv数据文件重命名为唯一名称并创建新文件。您可以使用show variables like '%rotate_log_table%';查看是否开启轮换慢日志。 性能代理插件:收集性能数据并保存到本地格式化文本文件,采用文件轮轮循方式,保留最近的秒级性能数据。 强制将引擎从MEMORY转换为InnoDB:如果全局变量rds_force_memory_to_innodb为ON,则创建/修改表时会将表引擎从MEMORY转换为InnoDB。 TDE机制优化:添加keyring-rds插件与管控系统/密钥管理服务进行交互。 TCP错误信息:返回TCP方向(读取、读取等待、写入等待)错误及错误代码到end_connection事件,并且输出错误信息到错误日志。 Bug修复 修复DDL中的意外错误Error 1290。 20190925 参数修改 将系统变量auto_generate_certs的默认值由true改为false。 增加全局只读变量auto_detact_certs,默认值为false,有效值为[true | false]。 该系统变量在Server端使用OpenSSL编译时可用,用于控制Server端在启动时是否在数据目录下自动查找SSL加密证书和密钥文件,即控制是否开启Server端的证书和密钥的自动查找功能。 20190915 新特性 Thread Pool:将线程和会话分离,在拥有大量会话的同时,只需要少量线程完成活跃会话的任务即可。 20190815 新特性 Purge Large File Asynchronously:删除单个表空间时,会将表空间文件重命名为临时文件,等待异步清除进程清理临时文件。 Performance Insight:专注于实例负载监控、关联分析、性能调优的利器,帮助您迅速评估数据库负载,找到性能问题的源头,提升数据库的稳定性。 优化实例锁状态:实例锁定状态下,可以drop或truncate表。 Bug修复 禁止在set rds_current_connection命令中设置rds_prepare_begin_id。 允许更改已锁定用户的信息。 禁止用关键字actual作为表名。 修复慢日志导致时间字段溢出的问题。 20190510版本 新特性:允许在事务内创建临时表。 20190319版本 新特性:支持在handshake报文内代理设置threadID。 20190131版本 升级到官方5.7.25版本。 关闭内存管理功能jemalloc。 修复内部变量net_lenth_size计算错误问题。 20181226版本 新特性:支持动态修改binlog-row-event-max-size,加速无主键表的复制。 修复Proxy实例内存申请异常的问题。 20181010版本 支持隐式主键。 加快无主键表的主备复制。 支持Native AIO,提升I/O性能。 20180431版本 新特性: 支持高可用版。 支持SQL审计。 增强对处于快照备份状态的实例的保护。 MySQL 5.7三节点企业版 20191128 新特性 支持读写分离。 Bug修复 修复部分场景下Follower Second_Behind_Master计算错误问题。 修复表级并行复制事务重试时死锁问题。 修复XA相关bug。 20191016 新特性 支持MySQL 5.7高可用版(本地SSD盘)升级到三节点企业版。 兼容MySQL官方GTID功能,默认不开启。 合并AliSQL MySQL 5.7基础版/高可用版 20190915版本及之前的自研功能。 Bug修复 修复重置备实例导致binlog被关闭问题。 20190909 新特性 优化大事务在三节点强一致状态下的执行效率。 支持从Leader/Follower进行Binlog转储。 支持创建只读实例。 系统表默认使用InnoDB引擎。 Bug修复 修复Follower日志清理命令失效问题。 修复参数slave_sql_verify_checksum=OFF和binlog_checksum=crc32时Slave线程异常退出问题。 20190709 新特性 支持三节点功能。 禁用semi-sync插件。 支持表级并行复制、Writeset并行复制。 支持pk_access主键查询加速。 支持线程池。 合并AliSQL MySQL 5.7基础版/高可用版 20190510版本及之前的自研功能。 MySQL 5.6 20200229 新特性 支持Proxy读写分离功能。 性能优化 优化线程池功能。 优化不同CPU架构下的pause指令执行时间。 Bug修复 修复XA事务部分提交的问题。 20200110 新特性 Thread Pool:将线程和会话分离,在拥有大量会话的同时,只需要少量线程完成活跃会话的任务即可。 性能优化 异步清除文件时继续取消小文件的链接。 Bug修复 修复页面清理程序的睡眠时间计算不正确问题。 修复SELECT @@global.gtid_executed导致的故障转移失败问题。 修复IF CLIENT KILLED AFTER ROLLBACK TO SAVEPOINT PREVIOUS STMTS COMMITTED问题。 20191212 性能优化 删除不必要的tcp错误日志 20191115 Bug修复 修复慢日志时间戳溢出问题。 20191101 Bug修复 修复刷新日志时切换慢日志的问题,仅在执行刷新慢日志时切换慢日志。 修正部分显示错误。 20191015 新特性 轮换慢日志:为了在收集慢查询日志时保证零数据丢失,轮换日志表会将慢日志表的csv数据文件重命名为唯一名称并创建新文件。您可以使用show variables like '%rotate_log_table%';查看是否开启轮换慢日志。 SM4加密算法:添加新的SM4加密算法,取代旧的SM加密算法。 Purge Large File Asynchronously:删除单个表空间时,会将表空间文件重命名为临时文件,等待异步清除进程清理临时文件。 TCP错误信息:返回TCP方向(读取、读取等待、写入等待)错误及错误代码到end_connection事件,并且输出错误信息到错误日志。 引入审计日志缓冲机制,提高审计日志的性能。。 Bug修复 禁用pstack,避免存在大量连接时可能导致pstack无响应。 修复隐式主键与create table as select语句之间的冲突。 自动清除由二进制日志创建的临时文件。 20190815 优化实例锁状态:实例锁定状态下,可以drop或truncate表。 20190130版本 修复部分可能导致系统不稳定的bug。 20181010版本 添加参数rocksdb_ddl_commit_in_the_middle(MyRocks)。如果这个参数被打开,部分DDL在执行过程中将会执行commit操作。 201806** (5.6.16)版本 新特性:slow log精度提升为微秒。 20180426(5.6.16)版本 新特性:引入隐藏索引,支持将索引设置为不可见,详情请参见参考文档。 修复备库apply线程的bug。 修复备库apply分区表更新时性能下降问题。 修复TokuDB下alter table comment重建整张表问题,详情请参见参考文档。 修复由show slave status/show status可能触发的死锁问题。 20171205(5.6.16)版本 修复OPTIMIZE TABLE和ONLINE ALTER TABLE同时执行时会触发死锁的问题。 修复SEQUENCE与隐含主键冲突的问题。 修复SHOW CREATE SEQUENCE问题。 修复TokuDB引擎的表统计信息错误。 修复并行OPTIMIZE表引入的死锁问题。 修复QUERY_LOG_EVENT中记录的字符集问题。 修复信号处理引起的数据库无法停止问题,详情请参见参考文档。 修复RESET MASTER引入的问题。 修复备库陷入等待的问题。 修复SHOW CREATE TABLE可能触发的进程崩溃问题。 20170927(5.6.16)版本 修复TokuDB表查询时使用错误索引问题。 20170901(5.6.16)版本 新特性: 升级SSL加密版本到TLS 1.2,详情请参见参考文档。 支持Sequence。 修复NOT IN查询在特定场景下返回结果集有误的问题。 20170530 (5.6.16)版本 新特性:支持高权限账号Kill其他账号下的连接。 20170221(5.6.16)版本 新特性:支持读写分离简介。 MySQL 5.5 20181212 修复调用系统函数gettimeofday(2) 返回值不准确的问题。该系统函数返回值为时间,常用来计算等待超时,时间不准确时会导致一些操作永不超时。

游客yl2rjx5yxwcam 2020-03-08 13:18:55 0 浏览量 回答数 0

问题

Linux运维人员最常用150个命令汇总

福利达人 2019-12-01 21:47:08 3342 浏览量 回答数 1

回答

1.阻塞与同步2.BIO与NIO对比3.NIO简介4.缓冲区Buffer5.通道Channel6.反应堆7.选择器8.NIO源码分析9.AIO1.阻塞与同步1)阻塞(Block)和非租塞(NonBlock):阻塞和非阻塞是进程在访问数据的时候,数据是否准备就绪的一种处理方式,当数据没有准备的时候阻塞:往往需要等待缞冲区中的数据准备好过后才处理其他的事情,否則一直等待在那里。非阻塞:当我们的进程访问我们的数据缓冲区的时候,如果数据没有准备好则直接返回,不会等待。如果数据已经准备好,也直接返回2)同步(Synchronization)和异步(Async)的方式:同步和异步都是基于应用程序私操作系统处理IO事件所采用的方式,比如同步:是应用程序要直接参与IO读写的操作。异步:所有的IO读写交给搡作系统去处理,应用程序只需要等待通知。同步方式在处理IO事件的时候,必须阻塞在某个方法上靣等待我们的IO事件完成(阻塞IO事件或者通过轮询IO事件的方式).对于异步来说,所有的IO读写都交给了搡作系统。这个时候,我们可以去做其他的事情,并不拓要去完成真正的IO搡作,当搡作完成IO后.会给我们的应用程序一个通知同步:阻塞到IO事件,阻塞到read成则write。这个时候我们就完全不能做自己的事情,让读写方法加入到线程里面,然后阻塞线程来实现,对线程的性能开销比较大,参考:https://blog.csdn.net/CharJay_Lin/article/details/812598802.BIO与NIO对比block IO与Non-block IO1)区别IO模型 IO NIO方式 从硬盘到内存 从内存到硬盘通信 面向流(乡村公路) 面向缓存(高速公路,多路复用技术)处理 阻塞IO(多线程) 非阻塞IO(反应堆Reactor)触发 无 选择器(轮询机制)2)面向流与面向缓冲Java NIO和IO之间第一个最大的区别是,IO是面向流的.NIO是面向缓冲区的。Java IO面向流意味着毎次从流中读一个成多个字节,直至读取所有字节,它们没有被缓存在任何地方,此外,它不能前后移动流中的数据。如果需要前后移动从流中读取的教据,需要先将它缓存到一个缓冲区。Java NIO的缓冲导向方法略有不同。数据读取到一个它稍后处理的缓冲区,霱要时可在缓冲区中前后移动。这就增加了处理过程中的灵活性。但是,还需要检查是否该缓冲区中包含所有您需要处理的数裾。而且,需确保当更多的数据读入缓冲区时,不要覆盖缓冲区里尚未处理的数据。3)阻塞与非阻塞Java IO的各种流是阻塞的。这意味着,当一个线程调用read() 或 write()时,该线程被阻塞,直到有一些数据被读取,或数据完全写入。该线程在此期间不能再干任何事情了。 Java NIO的非阻塞模式,使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。 线程通常将非阻塞IO的空闲时间用于在其它通道上执行IO操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。4)选择器(Selector)Java NIO的选择器允许一个单独的线程来监视多个输入通道,你可以注册多个通道使用一个选择器,然后使用一个单独的线程来“选择"通道:这些通里已经有可以处理的褕入,或者选择已准备写入的通道。这选怿机制,使得一个单独的线程很容易来管理多个通道。5)NIO和BIO读取文件BIO读取文件:链接BIO从一个阻塞的流中一行一行的读取数据image | left | 469x426NIO读取文件:链接通道是数据的载体,buffer是存储数据的地方,线程每次从buffer检查数据通知给通道image | left | 559x3946)处理数据的线程数NIO:一个线程管理多个连接BIO:一个线程管理一个连接3.NIO简介在Java1.4之前的I/O系统中,提供的都是面向流的I/O系统,系统一次一个字节地处理数据,一个输入流产生一个字节的数据,一个输出流消费一个字节的数据,面向流的I/O速度非常慢,而在Java 1.4中推出了NIO,这是一个面向块的I/O系统,系统以块的方式处理处理,每一个操作在一步中产生或者消费一个数据库,按块处理要比按字节处理数据快的多。在NIO中有几个核心对象需要掌握:缓冲区(Buffer)、通道(Channel)、选择器(Selector)。参考:链接image2.png | center | 851x3834.缓冲区Buffer缓冲区实际上是一个容器对象,更直接的说,其实就是一个数组,在NIO库中,所有数据都是用缓冲区处理的。在读取数据时,它是直接读到缓冲区中的; 在写入数据时,它也是写入到缓冲区中的;任何时候访问 NIO 中的数据,都是将它放到缓冲区中。而在面向流I/O系统中,所有数据都是直接写入或者直接将数据读取到Stream对象中。在NIO中,所有的缓冲区类型都继承于抽象类Buffer,最常用的就是ByteBuffer,对于Java中的基本类型,基本都有一个具体Buffer类型与之相对应,它们之间的继承关系如下图所示:image3.png | center | 650x3681)其中的四个属性的含义分别如下:容量(Capacity):缓冲区能够容纳的数据元素的最大数量。这一个容量在缓冲区创建时被设定,并且永远不能改变。上界(Limit):缓冲区的第一个不能被读或写的元素。或者说,缓冲区中现存元素的计数。位置(Position):下一个要被读或写的元素的索引。位置会自动由相应的 get( )和 put( )函数更新。标记(Mark):下一个要被读或写的元素的索引。位置会自动由相应的 get( )和 put( )函数更新。2)Buffer的常见方法如下所示:flip(): 写模式转换成读模式rewind():将 position 重置为 0 ,一般用于重复读。clear() :compact(): 将未读取的数据拷贝到 buffer 的头部位。mark(): reset():mark 可以标记一个位置, reset 可以重置到该位置。Buffer 常见类型: ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。3)基本操作Buffer基础操作: 链接缓冲区分片,缓冲区分配,直接缓存区,缓存区映射,缓存区只读:链接4)缓冲区存取数据流程存数据时position会++,当停止数据读取的时候调用flip(),此时limit=position,position=0读取数据时position++,一直读取到limitclear() 清空 buffer ,准备再次被写入 (position 变成 0 , limit 变成 capacity) 。5.通道Channel通道是一个对象,通过它可以读取和写入数据,当然了所有数据都通过Buffer对象来处理。我们永远不会将字节直接写入通道中,相反是将数据写入包含一个或者多个字节的缓冲区。同样不会直接从通道中读取字节,而是将数据从通道读入缓冲区,再从缓冲区获取这个字节。image4.png | center | 368x191在NIO中,提供了多种通道对象,而所有的通道对象都实现了Channel接口。它们之间的继承关系如下图所示:image5.png | center | 650x5171)使用NIO读取数据在前面我们说过,任何时候读取数据,都不是直接从通道读取,而是从通道读取到缓冲区。所以使用NIO读取数据可以分为下面三个步骤:从FileInputStream获取Channel 创建Buffer 将数据从Channel读取到Buffer中 例子:链接 2)使用NIO写入数据使用NIO写入数据与读取数据的过程类似,同样数据不是直接写入通道,而是写入缓冲区,可以分为下面三个步骤:从FileInputStream获取Channel 创建Buffer 将数据从Channel写入到Buffer中 例子:链接 6.反应堆1)阻塞IO模型在老的IO包中,serverSocket和socket都是阻塞式的,因此一旦有大规模的并发行为,而每一个访问都会开启一个新线程。这时会有大规模的线程上下文切换操作(因为都在等待,所以资源全都被已有的线程吃掉了),这时无论是等待的线程还是正在处理的线程,响应率都会下降,并且会影响新的线程。image6.png | center | 739x3362)NIOJava NIO是在jdk1.4开始使用的,它既可以说成“新IO”,也可以说成非阻塞式I/O。下面是java NIO的工作原理:1.由一个专门的线程来处理所有的IO事件,并负责分发。2.事件驱动机制:事件到的时候触发,而不是同步的去监视事件。3.线程通讯:线程之间通过wait,notify等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。image7.png | center | 689x251注:每个线程的处理流程大概都是读取数据,解码,计算处理,编码,发送响应。7.选择器传统的 server / client 模式会基于 TPR ( Thread per Request ) .服务器会为每个客户端请求建立一个线程.由该线程单独负贵处理一个客户请求。这种模式带未的一个问题就是线程数是的剧增.大量的线程会增大服务器的开销,大多数的实现为了避免这个问题,都采用了线程池模型,并设置线程池线程的最大数量,这又带来了新的问题,如果线程池中有 200 个线程,而有 200 个用户都在进行大文件下载,会导致第 201 个用户的请求无法及时处理,即便第 201 个用户只想请求一个几 KB 大小的页面。传统的 Sorvor / Client 模式如下围所示:image8.png | center | 597x286NIO 中非阻塞IO采用了基于Reactor模式的工作方式,IO调用不会被阻塞,相反是注册感兴趣的特点IO事件,如可读数据到达,新的套接字等等,在发生持定率件时,系统再通知我们。 NlO中实现非阻塞IO的核心设计Selector,Selector就是注册各种IO事件的地方,而且当那些事件发生时,就是这个对象告诉我们所发生的事件。image9.png | center | 462x408当有读或者写等任何注册的事件发生时,可以从Selector中获得相应的SelectionKey,同时从SelectionKey中可以找到发生的事件和该事件所发生的具体的SelectableChannel,以获得客户端发送过来的数据。使用NIO中非阻塞IO编写服务器处理程序,有三个步骤1.向Selector对象注册感兴趣的事件2.从Selector中获取感兴趣的事件3.根据不同事件进行相应的处理8.NIO源码分析Selector是NIO的核心epool模型1)SelectorSelector的open()方法:链接2)ServerSocketChannelServerSocketChannel.open() 链接9.AIOAsynchronous IO异步非阻塞IOBIO ServerSocketNIO ServerSocketChannelAIO AsynchronousServerSocketChannel

wangccsy 2019-12-02 01:46:51 0 浏览量 回答数 0

问题

【教程免费下载】Flume日志收集与MapReduce模式

沉默术士 2019-12-01 22:07:57 1285 浏览量 回答数 1

问题

磁盘缩容

chenchuan 2019-12-01 21:36:34 624 浏览量 回答数 0

回答

数据转换服务(DTS)在数据库管理和开发的多种领域都有会涉及DTS: 数据仓库-将数据从原始的处理系统和表格中提取出来以供报表使用 建立OLAP 将大量数据从文本文件或其它非数据库格式的文件中拷贝到数据库 生成Microsoft Office文档报表 使用 Distributed Transaction Coordinator (DTC)实现多数据库操作 在客户的桌面程序或网站上,经常需要允许用户按需执行DTS包。在这种情况下,在部署DTS包时,你应该决定将DTS包安置在何处,以及通过何种手段调用它。 你的选择 要建立一个按需执行的DTS包,可以有多种选择。下面就对这些选择进行逐一说明。 SQL Server job 你可以在SQL Server里建立一个job,并调用sp_start_job存储过程。使用sp_start_job的不足之处在于它是一个异步过程。由于它不能返回成功或失败指示,你必须强制使用sp_help_job系统存储过程查询job的结果。除非不关心job调用后的结果,否则异步的job将使桌面程序或Web程序变得很复杂。一个job可以被设置成非管理员(sa)模式,但需要一些额外的步骤。 在客户端桌面使用DTS DLLs 第二种方法是用户电脑载入Enterprise Manager或DTS DLLs,在用户的电脑上调用DTS包。虽然用户电脑执行DTS包有一定可行性,但也有不足:必须考虑到升级DTS包带来的分发和安装问题。 在服务器上使用sp_OA 扩展存储过程 第三种选择,也就是本文所介绍的核心内容,就是使用sp_OA系统存储过程族并有计划的调用DTS包。这种方案可以有效的避免上两种方案的弊端。 使用 VBScript调用DTS包 实现一个可以运行DTS包的存储过程的第一步是,编写一段VBScript代码。因为sp_OA存储过程使用起来有些麻烦,因此在利用sp_OA存储过程实现目标之前,要用VBScript编写你希望实现的代码。一般倾向于使用Visual Basic进行简单的脚本开发工作。如图A所示,通过在项目引用窗口中加入DTS包对象库,就可以在脚本中引用DTS包对象了。 图A:DTS对象库 在代码中使用了LoadFromStorageFile函数。一般说,开发工作应该在一个测试环境进行。了解DTS格式的结构化,对将测试产品变为实际产品时很有帮助。 Sp_OA 实现 写好了VBScript代码,就可用sp_OA扩展存储过程实现代码。和VBScript类似,sp_OA系统存储过程允许与对象库的COM+ API进行交互。 Sp_OACreate和在VB或VBScript中调用的CreateObject函数类似。Sp_OAGetProperty、sp_OASetProperty以及sp_OAMethod用来连接对象库中的特性和函数。和VB或 VBScript不同的是,sp_OA存储过程导致的COM+错误不会令SQL语句失败,因此必须手动检查每个使用sp_OA的函数是否工作正常。 同时,很多sp_OA存储过程都会引用参数,因此必须在sp_OA存储过程中的适当参数后加入OUTPUT语句。如果省略了OUTPUT 语句,T-SQL也不会发出警告信息。因此在运行时状态,虽然存储过程运行正常但也不会返回正确值。列表B是一个详细的实现代码。 解决方案中包括可以重命名DTS包的表格以及实现的过程。其中sp_AdRunDTSPackageOnServer存储过程接收一个ID参数。在继续执行前,程序会从T_AdDTSPackageSetup表中,查找到达DTS包的SQL Server路径。 安全性 详细的安全性问题不在本文的讨论范围,这里要说的是一些必须考虑到的基本问题: 在主数据库的sp_OA扩展系统存储过程中,实现sp_AdRunDTSPackageOnServer存储过程需要EXECUTE权限。为了防止一些恶意用户通过sp_OA过程实现某种目的,可以针对应用程序修改SQL Server规则,以加强安全性。 T-SQL的CURRENT_USER函数对系统安全会有稍许帮助。使用CURRENT_USER和T_AdDTSPackageSetup表格中的区域,可以查询某个用户是否被设为:使用给定的DTS包。 DTS包在SQL Server上执行时,会受到SQL Server Agent服务的帐户设置影响,如果从文件系统中读取ASCII文件,应该确定SQL Server Agent的帐户设置对该文件有通过许可。 扩展范例 可以使用sp_OA系统存储过程与其他COM+库进行交互。同时在其他使用ODBC和ActiveX数据对象(ADO)的非SQL Server系统上,sp_OA也可以有效的调用存储过程。一个仅10行左右的VBScript脚本根本没有实用价值,而最后合成的T-SQL代码会变得非常冗长。网上的SQL Server 2000 Books 包括详细的COM+对象库的支持说明,并包含了sp_OA系统存储过程的相关文档。当用户再需要按需运行DTS包时,不妨考虑使用sp_OA系统存储过程来实现。 “答案来源于网络,供您参考” 希望以上信息可以帮到您!

牧明 2019-12-02 02:17:30 0 浏览量 回答数 0

回答

这是一个非常典型的解决方案, 对象存储 OSS 可以支持海量视频存储,采集上传的视频被转码以适配各种终端,CDN 加速终端设备播放视频的速度。此外还有一些内容安全审查需求, 比如鉴黄、鉴恐等。 而在视频点播解决方案中, 视频转码是最消耗计算力的一个子系统,虽然您可以使用云上专门的转码服务,但在很多情况下,您会选择自己搭建转码服务。比如: 您已经在虚拟机/容器平台上基于 FFmpeg 部署了一套视频处理服务,能否在此基础上让它更弹性,更高的可用性? 您的需求只是简单的转码需求,或是一些极其轻量的需求,比如获取 OSS 上视频前几帧的 GIF、获取视频或者音频的时长,自己搭建成本更低。 各种格式的音频转换或者各种采样率自定义、音频降噪等功能 您有更高级的自定义处理需求,比如视频转码完成后, 需要记录转码详情到数据库, 或者在转码完成后, 自动将热度很高的视频预热到 CDN 上, 从而缓解源站压力。 您有并发处理大量视频的需求。 自定义视频处理流程中可能会有多种操作组合, 比如转码、加水印和生成视频首页 GIF。后续为视频处理系统增加新需求,比如调整转码参数,希望新功能发布上线对在线服务无影响。 您的视频源文件存放在 NAS 或者 ECS 云盘上,自建服务可以直接读取源文件处理,而不需要将它们再迁移到 OSS 上。 如果您的视频处理系统有上述需求,或者您期望实现一个 弹性、高可用、低成本、免运维、灵活支持任意处理逻辑 的视频处理系统,那么本文则是您期待的最佳实践方案。 Serverless 自定义视频处理 在介绍具体方案之前, 先介绍两款产品: 函数计算 :阿里云函数计算是事件驱动的全托管计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,并提供日志查询、性能监控、报警等功能。 函数工作流:函数工作流(Function Flow,以下简称 FnF)是一个用来协调多个分布式任务执行的全托管云服务。您可以用顺序,分支,并行等方式来编排分布式任务,FnF 会按照设定好的步骤可靠地协调任务执行,跟踪每个任务的状态转换,并在必要时执行用户定义的重试逻辑,以确保工作流顺利完成。 免费开通函数计算,按量付费,函数计算有很大的免费额度。 免费开通函数工作流,按量付费,函数工作流有很大的免费额度。 函数计算可靠的执行任意逻辑, 逻辑可以是利用 FFmpeg 对视频任何处理操作, 也可以更新视频 meta 数据到数据库等。 函数工作流对相应的函数进行编排, 比如第一步的函数是转码, 第二步的函数是转码成功后,将相应 meta 数据库写入数据库等。 至此,您应该初步理解了函数计算的自定义处理能力 + 函数工作流编排能力几乎满足您任何自定义处理的需求,接下来,本文以一个具体的示例展示基于函数计算和函数工作流打造的一个弹性高可用的 Serverless 视频处理系统,并与传统方案进行性能、成本和工程效率的对比。 简单视频处理系统 假设您是对短视频进行简单的处理, 架构方案图如下: 如上图所示, 用户上传一个视频到 OSS, OSS 触发器自动触发函数执行, 函数调用 FFmpeg 进行视频转码, 并且将转码后的视频保存回 OSS。 OSS 事件触发器, 阿里云对象存储和函数计算无缝集成。您可以为各种类型的事件设置处理函数,当 OSS 系统捕获到指定类型的事件后,会自动调用函数处理。例如,您可以设置函数来处理 PutObject 事件,当您调用 OSS PutObject API 上传视频到 OSS 后,相关联的函数会自动触发来处理该视频。 简单视频处理系统示例工程地址 您可以直接基于示例工程部署您的简单视频处理系统服务, 但是当您想要处理大视频(比如 test_huge.mov ) 或者对小视频进行多种组合操作的时候, 您会发现函数很大概率会执行失败,原因是函数计算的执行环境存在一些限制, 比如最大执行时间为 10 分钟, 最大内存为 3G。 为了突破函数计算执行环境的限制,引入函数工作流 FnF 去编排函数实现一个功能强大的全功能视频处理系统。 全功能视频处理系统 如上图所示, 假设用户上传一个 mov 格式的视频到 OSS,OSS 触发器自动触发函数执行, 函数调用 FnF,并行进行提取音频文件,同时进行 avi,mp4,flv 格式的转码。 所以您可以实现如下需求: 一个视频文件可以同时被转码成各种格式以及其他各种自定义处理,比如增加水印处理或者在 after-process 更新信息到数据库等。 当有多个文件同时上传到 OSS,函数计算会自动伸缩, 并行处理多个文件。 对于每一个视频,先进行切片处理,然后并行转码切片,最后合成,通过设置合理的切片时间,可以大大加速较大视频的转码速度。 所谓的视频切片,是将视频流按指定的时间间隔,切分成一系列分片文件,并生成一个索引文件记录分片文件的信息 结合 NAS + 视频切片, 可以解决超大视频(大于 3G )的转码。 全功能视频处理系统示例工程地址

保持可爱mmm 2020-04-15 23:08:12 0 浏览量 回答数 0

回答

您好,请参考: 主机重启迁移帮助文档 为了提升服务器的运行性能和稳定性,我们需要分批次进行硬件升级。我们将会把重启的具体时间发送给您,如果您想要对重启时间进行修改,请参考如下方式进行操作。如您有疑问或困难,请通过工单联系我们,我们将全力协助您。    下面分别介绍翔云、锋云主机的预约和独享虚拟主机、轻云服务器的迁移时间修改方式。 首先在开始准备迁移之前,我们会通过邮件向您发送需要设置重启时间的主机列表,请根据列表登录阿里云网站进行操作。   一、翔云、锋云主机 1.    通过ID密码登陆阿里云网站,并点击左侧“云虚拟主机”,再点击“锋云/翔云/独享主机” 2.    然后根据通过邮件或者站内信发送给您的列表,找到您需要设置迁移时间的主机,点击“管理”   3.    页面最下方有“重启迁移设置”菜单,点击“设置”,并根据提示设置重启时间 注意:重启时间不能早于当前时间,也不能晚于页面提示的最晚重启时间   设置时间 4.    设置完毕后,请您届时做好迁移重启准备,避免影响您的业务. 注意:如果是Linux服务器,磁盘设备识别名称将在迁移后发生变化。在预约迁移前,您需要修改系统的 /etc/fstab 文件,将 /dev/xvda、/dev/xvdb、/dev/xvdc 等修改为 /dev/vda、/dev/vdb、/dev/vdc 等,避免迁移后实例启动异常或磁盘挂载失败。 二、 独享虚拟主机和轻云服务器 1.      通过ID密码登陆阿里云网站,并点击左侧“云虚拟主机”   2.      然后根据通过邮件或者站内信发送给您的列表,找到您需要设置迁移时间的主机,点击“管理” 3.      登录到控制台后,首页会有需要设置重启时间的提示,可以直接点击相关操作的链接“这里”,或者点击上方的“主机信息” 4.      页面中部有“迁移重启设置”的操作区域,点击“设置重启时间”,然后按照提示设置。 注意:重启时间不能早于当前时间,也不能晚于页面提示的最晚重启时间 设置重启时间 5.      设置完毕后,请您届时做好迁移重启准备,避免影响您的业务。 另外提醒您注意: 在重启迁移完毕后一段时间内,由于正在同步数据,服务器的磁盘IO性能会有所下降并且快照、磁盘功能也将关闭,等数据同步完毕后IO性能和快照、磁盘功能都将自动恢复。请您了解。 迁移常见问题FAQ 1.对服务器的影响主要有哪些? 对服务器的主要影响有: 1)时长:通常来说升级会在15分钟左右完成,期间服务器会重启并且用户无法操作,当天快照可能失败(数据自动备份功能将会没有当天的记录)。对于长时间未重启或升级过内核、驱动但未重启过的,本次重启可能会有文件系统检查(File System Check , fsck)、相关配置改动生效、启动失败等问题,如遇异常时请及时通过工单联系我们。 2) 迁移后的 IP:为了方便您的操作, 本次迁移将保持公网 IP 不变. 3)IO 性能 :迁移后由于在底层还需要追加数据,所以 IO 性能会有所下降,同时快照和磁盘功能也将关闭。一旦数据追加完毕后,IO 性能、快照和磁盘功能都将自动恢复。通常100GB的数据需要4个小时左右。 4 )  软件授权码:硬件升级后部分依赖识别硬件的软件授权码可能会发生变化。 2.预约重启时间后可不可以再修改? 预约后重启时间不可以修改。         3.如何知道迁移进度? 重启迁移成功后会将成功的消息发送给您。 专有网络 VPC-单ECS迁移方案 单ECS迁移方案,即无需通过创建镜像、重新购买等步骤就能把经典网络的ECS实例迁移到专有网络。 在控制台上完成迁移预约后,阿里云会根据您设置的迁移时间进行迁移,迁移完成后,您将收到迁移成功的短信消息提醒。 在使用单ECS迁移方案时,注意: 迁移过程中ECS需要进行重启,请关注对系统的影响。迁移后,不需要进行任何特殊配置,ECS实例的公网IP都不变。 虽然公网IP没有变化,但无法在ECS的操作系统中查看到这个公网IP(称之为VPC类型的ECS的固定公网IP)。您可以将按流量计费的ECS实例的固定公网IP转换为EIP,方便管理,详情参见ECS固定公网IP转换为EIP。如果您的个别应用对ECS操作系统上可见的公网IP有依赖,迁移后会有影响,请谨慎评估。迁移后,所有地域的ECS实例的私网IP都会变化。迁移到的目标VPC的交换机的可用区必须和待迁移的ECS的可用区相同。迁移过程中实例ID及登录信息不变。包年包月购买方式的实例迁移过程中不需要额外付费。从新的计费周期开始,按照同规格专有网络的价格计算。且迁移到VPC后,ECS的使用费用会降低。迁移前如有续费变配未生效订单或未支付订单,迁移后该订单将被取消且不能恢复,您需要重新下单。迁移到VPC后,若ECS有使用其它云服务,需将访问方式调整到VPC访问方式(云产品混访方案)。

微wx笑 2019-12-01 23:47:39 0 浏览量 回答数 0

回答

如何迁移? 目前,阿里云提供以下两种将经典网络迁移到VPC的方案。这些方案可以独立使用,也可以组合使用,以满足不同的迁移场景: 混访混挂方案 如果您的服务依赖RDS、SLB等云产品,建议您选择混访混挂的迁移方案。该方案可以平滑地将系统迁移至专有网络环境中,保证服务的稳定性。 搭配使用ClassicLink功能,以满足未迁移的经典网络ECS实例访问VPC中云资源的需求。详情参见ClassicLink概述。 单ECS迁移方案 如果您的应用部署在了ECS实例上,且ECS实例重启对系统没有影响,可以选择单ECS迁移方案。 混挂和混访方案 混挂和混访方案是一种系统平滑迁移方案,即用户通过在VPC中新建ECS等云产品实例,然后将系统平滑迁移到VPC。当所有系统都迁移到VPC后,再将经典网络内的资源释放,从而完成经典网络到VPC的迁移。详情参见混访混挂迁移示例。 混挂 混挂指一个负载均衡实例可以同时添加经典网络和VPC网络的ECS作为后端服务器接收监听转发的请求,且支持虚拟服务器组形式的混挂。 公网负载均衡实例和私网负载均衡实例都可开通混挂。 说明  VPC私网负载均衡实例同时挂载经典网络和专有网络ECS时,如果使用四层(TCP和UDP协议)监听,目前无法在经典网络ECS上获取客户端的真实IP,但在专有网络ECS上还可以正常获取客户端的真实IP。对七层监听(HTTP和HTTPS协议)没有影响,可以正常获取客户端的真实IP。 混访 云数据库RDS和对象存储OSS等云产品支持混访,即支持同时被经典网络和专有网络中的ECS访问。通常该类产品都提供两个访问域名,一个是经典网络访问域名,另外一个是专有网络访问域名。 在使用本方案时,请注意: 本方案可以满足绝大部分系统的迁移要求。但如果系统中的专有网络ECS和经典网络ECS有内网通信的需求,可通过ClassicLink功能实现。 本方案仅用于经典网络迁移到VPC。 单ECS迁移方案 单ECS迁移方案,即无需通过创建镜像、重新购买等步骤就能把经典网络的ECS实例迁移到专有网络。 在控制台上完成迁移预约后,阿里云会根据您设置的迁移时间进行迁移,迁移完成后,您将收到迁移成功的短信消息提醒。 在使用单ECS迁移方案时,注意: 迁移过程中ECS需要进行重启,请关注对系统的影响。 迁移后,不需要进行任何特殊配置,ECS实例的公网IP都不变。 虽然公网IP没有变化,但无法在ECS的操作系统中查看到这个公网IP(称之为VPC类型的ECS的固定公网IP)。您可以将按流量计费的ECS实例的固定公网IP转换为EIP,方便管理,详情参见ECS固定公网IP转换为EIP。 如果您的个别应用对ECS操作系统上可见的公网IP有依赖,迁移后会有影响,请谨慎评估。 迁移后,所有地域的ECS实例的私网IP都会变化。 迁移到的目标VPC的交换机的可用区必须和待迁移的ECS的可用区相同。 迁移过程中实例ID及登录信息不变。 包年包月购买方式的实例迁移过程中不需要额外付费。从新的计费周期开始,按照同规格专有网络的价格计算。且迁移到VPC后,ECS的使用费用会降低。 迁移前如有续费变配未生效订单或未支付订单,迁移后该订单将被取消且不能恢复,您需要重新下单。 迁移到VPC后,若ECS有使用其它云服务,需将访问方式调整到VPC访问方式(云产品混访方案)。 望采纳,谢谢

元芳啊 2019-12-02 00:17:01 0 浏览量 回答数 0

问题

RDS的数据源如何配置?

轩墨 2019-12-01 20:55:59 839 浏览量 回答数 0

问题

最佳实践多语言网站?mysql

保持可爱mmm 2020-05-18 09:52:23 2 浏览量 回答数 1
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 云栖号物联网 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 云栖号弹性计算 阿里云云栖号 云栖号案例 云栖号直播