• 关于

    依赖类型不可用

    的搜索结果

回答

复杂分布式体系结构中的应用程序有数十个依赖关系,每个依赖关系在某些时候将不可避免地失败。 服务雪崩 多个微服务之间调用的时候,假设微服务A调用微服务B和微服务C,微服务B和微服务C又调用其它的微服务,这就是所谓的“扇出”。如果扇出的链路上某个微服务的调用响应时间过长或者不可用,对微服务A的调用就会占用越来越多的系统资源,进而引起系统崩溃,所谓的“雪崩效应”. 对于高流量的应用来说,单一的后端依赖可能会导致所有服务器上的所有资源都在几秒钟内饱和。比失败更糟糕的是,这些应用程序还可能导致服务之间的延迟增加,备份队列,线程和其他系统资源紧张,导致整个系统发生更多的级联故障。这些都表示需要对故障和延迟进行隔离和管理,以便单个依赖关系的失败,不能取消整个应用程序或系统。 一般情况对于服务依赖的保护主要有以下三种解决方案: 熔断模式:这种模式主要是参考电路熔断,如果一条线路电压过高,保险丝会熔断,防止火灾。放到我们的系统中,如果某个目标服务调用慢或者有大量超时,此时,熔断该服务的调用,对于后续调用请求,不在继续调用目标服务,直接返回,快速释放资源。如果目标服务情况好转则恢复调用。 隔离模式:这种模式就像对系统请求按类型划分成一个个小岛的一样,当某个小岛被火少光了,不会影响到其他的小岛。例如可以对不同类型的请求使用线程池来资源隔离,每种类型的请求互不影响,如果一种类型的请求线程资源耗尽,则对后续的该类型请求直接返回,不再调用后续资源。这种模式使用场景非常多,例如将一个服务拆开,对于重要的服务使用单独服务器来部署,再或者公司最近推广的多中心。 限流模式:上述的熔断模式和隔离模式都属于出错后的容错处理机制,而限流模式则可以称为预防模式。限流模式主要是提前对各个类型的请求设置最高的QPS阈值,若高于设置的阈值则对该请求直接返回,不再调用后续资源。这种模式不能解决服务依赖的问题,只能解决系统整体资源分配问题,因为没有被限流的请求依然有可能造成雪崩效应。
问问小秘 2020-01-03 15:30:05 0 浏览量 回答数 0

回答

异常处理不仅仅是狭义上遇到了 Exception 怎么去处理,还有各种业务逻辑遇 到错误的时候我们怎么去处理。service 服务层捕获的异常主要包括 BusinessException( 业务异常 )、RetriableException ( 可重试异常 ) 到 common-api,定义一 个公共异常拦截器,对业务异常、重试异常进行统一处理,对于可重试的异常调用的 服务接口需要保证其幂等性。 另外其他业务层有些特殊异常不需要拦截器统一处理,内部可以进行自我消化处 理掉,根据场景对应的处理原则主要包括: ● 直接返回 ● 抛出异常 ● 重试处理 ● 熔断处理 ● 降级处理 这又涉及到了弹力设计的话题,我们的系统往往会对接各种依赖外部服务、Api, 大部分服务都不会有 SLA,即使有在大并发下我们也需要考虑外部服务不可用对自 己的影响,会不会把自己拖死。我们总是希望: ● 尽可能以小的代价通过尝试让业务可以完成; ● 如果外部服务基本不可用,而我们又同步调用外部服务的话,我们需要进行自 我保护直接熔断,否则在持续的并发的情况下自己就会垮了; ● 如果外部服务特别重要,我们往往会考虑引入多个同类型的服务,根据价格、 服务标准做路由,在出现问题的时候自动降级。 推荐使用 Netflix 开源的 hystrix 容灾框架,主要解决当外部依赖出现故障时拖垮 业务系统、甚至引起雪崩的问题。目前我团队也在使用,能够很好的解决异常熔断、 超时熔断、基于并发数限流熔断的降级处理。
Lee_tianbai 2020-12-30 18:24:23 0 浏览量 回答数 0

回答

尽管E-HPC集群是基于ECS云服务器组建,但E-HPC还提供了额外的部署流程,包括且不限于以下条目: E-HPC帮助用户按照既定节点配比(如开通高可用的情况下,4管控:1登录:n计算)和指定实例配置,为各类节点批量开通ECS云服务器。 E-HPC在开通各个节点对应的ECS云服务器后,会进一步部署管控系统。 E-HPC通过管控系统为用户预装选定的软件及其依赖软件包。 E-HPC根据节点类型分别配置作业调度器server和client。 以上操作和相关服务都依赖于E-HPC集群部署流程。若用户自行使用ECS管理控制台对各个节点进行干预则很可能导致集群创建失败,节点掉线或调度系统失效。因此我们强烈建议如非排查故障,禁止使用ECS管理控制台对E-HPC集群节点进行操作。 如有特殊需要,请在E-HPC开发维护人员指引下使用ECS管理控制台对节点进行检查。
星尘linger 2020-03-24 22:03:21 0 浏览量 回答数 0

回答

您好,请注意如下事项: 迁移过程中ECS需要进行重启,请关注对系统的影响。 迁移后,不需要进行任何特殊配置,ECS实例的公网IP都不变。 虽然公网IP没有变化,但无法在ECS的操作系统中查看到这个公网IP(称之为VPC类型的ECS的固定公网IP)。您可以将按流量计费的ECS实例的固定公网IP转换为EIP,方便管理,详情参见ECS固定公网IP转换为EIP。 如果您的个别应用对ECS操作系统上可见的公网IP有依赖,迁移后会有影响,请谨慎评估。 迁移的目标VPC的交换机的可用区必须和待迁移的ECS的可用区相同。 迁移过程中实例ID及登录信息不变。 包年包月购买方式的实例迁移过程中不需要额外付费。从新的计费周期开始,按照同规格专有网络的价格计算。迁移到VPC后,ECS的使用费用会降低。 迁移前如有续费变配未生效订单或未支付订单,迁移后该订单将被取消且不能恢复,需要重新下单。
昵称1个 2019-12-02 00:31:00 0 浏览量 回答数 0

回答

在使用单ECS迁移方案时, 注意如下事项: 迁移过程中ECS需要进行重启,请关注对系统的影响。 迁移后,不需要进行任何特殊配置,ECS实例的公网IP都不变。 虽然公网IP没有变化,但无法在ECS的操作系统中查看到这个公网IP(称之为VPC类型的ECS的固定公网IP)。您可以将按流量计费的ECS实例的固定公网IP转换为EIP,方便管理,详情参见ECS固定公网IP转换为EIP。 如果您的个别应用对ECS操作系统上可见的公网IP有依赖,迁移后会有影响,请谨慎评估。 迁移的目标VPC的交换机的可用区必须和待迁移的ECS的可用区相同。 迁移过程中实例ID及登录信息不变。 包年包月购买方式的实例迁移过程中不需要额外付费。从新的计费周期开始,按照同规格专有网络的价格计算。迁移到VPC后,ECS的使用费用会降低。 迁移前如有续费变配未生效订单或未支付订单,迁移后该订单将被取消且不能恢复,需要重新下单。 ------------------------- 回 2楼(迪威乐云商) 的帖子 自动迁移,你只有预约才迁移,不预约不迁移。
51干警网 2019-12-02 00:49:50 0 浏览量 回答数 0

问题

Hystrix 是什么?【Java问答学堂】60期

Hystrix 是什么? 在分布式系统中,每个服务都可能会调用很多其他服务,被调用的那些服务就是依赖服务,有的时候某些依赖服务出现故障也是很正常的。 Hystrix 可以让我们在分...
剑曼红尘 2020-07-20 12:49:25 2 浏览量 回答数 1

回答

本文介绍了创建及配置集群的基本配置流程和查看配置清单的方法,并详细说明了各高级配置项的用法。 基本配置流程 开通并创建NAS 首次创建E-HPC集群之前,需要先登录文件存储产品页面 开通NAS服务,NAS服务开通后,登录到NAS控制台开始 创建NAS文件系统,并为文件系统 添加挂载点,操作完成之后,就可以登录到EHPC控制台创建集群了。 创建集群 1.. 登录E-HPC管理控制台。如果尚未注册,请先单击 免费注册 完成注册流程(按照最新国家规定,需要实名制注册)。登录后定位到 弹性高性能计算,会直接显示如下的集群界面: ClusterView 2.. 在该 集群 界面,先选择地域(如华东1),单击右上角开始 创建集群。 注意1:请先了解地域和可用区。 注意2: 在创建、管理或使用E-HPC集群时,非特殊情况请勿使用云服务器ECS管理控制台调整单个集群节点。建议通过E-HPC集群管控平台操作。详情见 为什么不能使用ECS管理控制台对E-HPC集群节点进行操作? 第一步:硬件配置 硬件配置项包括:可用区、付费类型、部署方式和节点配置,如下图所示:HardwareConfig 选择可用区。 ZoneSelect 说明:为了保证E-HPC节点间的网络通讯效率,所有开通的节点均位于同一地域同一可用区,请参见地域和可用区。如果在开通E-HPC集群时发现想用的区域不可选,请参见为什么某些地域无法开通E-HPC集群 选择付费类型 付费类型是指集群节点ECS实例的计费方式,其中不包括弹性IP、NAS存储的费用。共有三种付费类型供您选择:包年包月、按量付费和竞价实例。ChargeMode 选择部署方式 DeployMode 说明: 标准:登录节点、管控节点和计算节点分离部署,管控节点可以选2台或4台(HA)。 简易:登录、管控服务混合部署在一台节点上,计算节点分离。 One-box: 所有类型的服务都部署在一台计算节点上,整个集群只有一个节点,可选择使用本地存储或NAS存储。使用NAS存储时可支持集群扩容。 4. 节点配置 NodeSelect 如上图,系统中默认分配2个管控节点实例,还可以自己选择1个或者4(HA)。计算节点的数量指定为3台。登录节点默认分配1台。点击节点的打开下拉菜单可进一步选择所需机型。 说明: E-HPC集群主要由以下3种节点构成 计算节点:用于执行高性能计算作业的节点 管控节点:用于进行作业角度和域账户管理的节点,包括相互独立的2种节点: 作业调度节点:部署作业调度器 域帐户管理节点:部署集群的域账号管理软件 登录节点:具备公网IP,用户可远程登录该节点,通过命令行操作HPC集群 一般来说,作业调度节点只处理作业调度,域帐户管理节点只处理帐户信息,都不参与作业运算,因此原则上管控节点选用较低配置的企业级实例(如小于4CPU核的sn1ne实例)保证高可用性即可。计算节点的硬件配置选择是影响集群性能的关键点。登录节点通常会被配置为开发环境,需要为集群所有用户提供软件开发调试所需的资源及测试环境,因此推荐登录节点选择与计算节点配置一致或内存配比更大的实例。各种机型的详细信息可参考推荐配置。 完成硬件配置后,点击下一步进入软件配置界面。 第二步:软件配置 软件配置项包括:镜像类型、操作系统、调度器和软件包,如下图所示:SoftwareConfig 说明: 选择不同的镜像类型,操作系统的可选项也会变化。操作系统指部署在集群所有节点上的操作系统。“镜像类型”说明: 若用户选择镜像为"自定义镜像类型",则不能使用基于已有E-HPC集群节点创建产生的自定义镜像,否则,创建集群计算节点将会产生异常。 调度器是指HPC集群上部署的作业调度软件。选择不同的作业调度软件,向集群提交作业时作业脚本和参数也会有相应的不同。 软件包是指HPC集群上部署的HPC软件,HPC提供多种类型的典型配置软件包如GROMACS、OpenFOAM和LAMMPS等,包含相应的软件和运行依赖,集群创建完毕之后,所选的软件将会预装到集群上。 第三步:基础配置 基础配置项包括:基本信息和登录设置,如下图所示:BaseConfig 说明: 基本信息中的名称是指集群名称,该名称将会在集群列表中显示,便于用户查找。 登录设置填写的是登录该集群的密码,该密码用于远程SSH访问集群登录节点时使用,对应的用户名为root。 完成基本配置后,勾选《E-HPC服务条款》,点击确认即可创建集群。 查看配置清单 您可以在创建集群界面的右侧查看当前配置清单。默认情况下,配置清单仅显示基础配置,您可以勾选高级配置选项查看更多配置项。 ConfigList 查看配置拓扑图 在创建完集群之后,点击右上角查看详情,我们可以查看到集群的在拓扑图。TopoButton 可以看到当前配置拓扑图中,包括VPC名称、交换机名称、NAS实例名、登录节点、管控节点、计算节点的配置及数量等。ClusterTopo 查询创建状态 大约20分钟后,您可以回到E-HPC集群页面,查看新集群状态。若新集群所有节点皆处于 运行中 的状态,则集群已创建完毕。下一步用户可登录到集群进行操作,请参见指引使用集群。 高级配置 按照基本配置流程可创建通用E-HPC集群,如果用户需要更灵活的配置,可以在高级配置选项下进行选择。创建集群的三个步骤中前两个步骤都有高级配置可供用户选择。 硬件高级配置 依次打开创建集群 > 硬件配置 > 高级配置,可以看到如下配置选项(本例在创建集群前已事先创建了网络、存储等基础服务): HardwareAdvConfig 网络配置 上图中的网络配置部分,用户可自行在阿里云专有网络控制台创建VPC、交换机,在阿里云云服务器控制台创建安全组,创建完成后即可在这里可以选择所需的VPC、交换机、安全组等网络配置。如果不想跳转到其他服务的控制台,也可点击此处的“创建VPC”、“创建子网(交换机)”链接,在右侧的滑动窗口中创建相应的组件。 说明:如果用户事先没有创建VPC和交换机,创建集群的流程将会自动创建默认一个默认的VPC和交换机,VPC网段为192.168.0.0/16,交换机网段为192.168.0.0/20。用户如果自行创建了VPC,需要在所需的可用区下自行创建交换机才可继续创建集群。如果用户自行创建了VPC和交换机,使用基础配置流程创建集群时将会自动选择第一个VPC和交换机,请确保交换机下的IP地址空间足够(可用IP数大于集群所有节点的数量),用户也可以在高级配置下的VPC和交换机配置中自行选择任何已创建的VPC和交换机。 共享存储配置 上图中的共享存储部分,E-HPC所有用户数据、用户管理、作业共享数据等信息都会存储在共享存储上以供集群各节点访问。目前共享存储是由文件存储NAS提供。而要使用NAS还要配套挂载点和远程目录。 说明:如果用户事先没有在当前可用区创建NAS实例和挂载点,创建集群的流程将会在可用区下自动创建默认一个默认的NAS实例与挂载点。如果用户在当前可用区自行创建了NAS实例和挂载点,使用基础配置流程创建集群时将会自动选择第一个NAS实例和挂载点。如果在该NAS实例在可用区下没有可用的挂载点,创建集群的流程会自动创建一个挂载点。请确保该NAS实例还有可用的挂载点余量。 系统盘大小配置 用户可以根据自己实际需求,在这里指定创建集群计算节点的系统盘大小,默认值是40,范围在40-500(G)之间。 该值与集群扩容时系统盘大小的默认值保持一致,用户也可以在集群扩容时为新扩容的节点重新设置系统盘大小。 软件高级配置 依次打开创建集群 > 软件配置 > 高级配置,进行高级选项配置。 队列配置 用户可在此处为创建的集群指定队列,当不指定时集群会加入到默认的队列,如,PBS集群的默认队列为workq,slurm集群的默认队列为comp. queueconfig 安装后执行脚本 集群部署完毕后,用户可以在此处执行脚本。PostScript 说明: 下载地址是指脚本文件所在的地址,一般将脚本上传到OSS服务,这里填写OSS文件的url。 执行参数是指执行脚本时需要传入的命令行参数。 软件版本 用户可以在此处选择域账号服务软件类型和具体的软件清单:VersionConfig 注意:在选择预装高性能计算应用软件时,必须选择所依赖的软件包(如mpich或openmpi,参见软件包名后缀)。如选择”-gpu”后缀的软件,必须确保计算节点使用GPU系列机型。否则会有集群创建失败或软件无法正常运行的风险。
1934890530796658 2020-03-23 16:48:30 0 浏览量 回答数 0

回答

在primary-secondary 类型的协议中,副本被分为两大类,其中有且仅有一个副本作为primary 副本, 除primary 以外的副本都作为secondary 副本。维护primary 副本的节点作为中心节点,中心节点负 责维护数据的更新、并发控制、协调副本的一致性。 Primary-secondary 类型的协议一般要解决四大类问题:数据更新流程、数据读取方式、Primary 副本的确定和切换、数据同步(reconcile)。 数据更新基本流程 1. 数据更新都由primary 节点协调完成。 2. 外部节点将更新操作发给primary 节点 3. primary 节点进行并发控制即确定并发更新操作的先后顺序 4. primary 节点将更新操作发送给secondary 节点 5. primary 根据secondary 节点的完成情况决定更新是否成功并将结果返回外部节点 在工程实践中,如果由primary 直接同时发送给其他N 个副本发送数据,则每个 secondary 的更新吞吐受限于primary 总的出口网络带宽,最大为primary 网络出口带宽的1/N。为了 解决这个问题,有些系统(例如,GFS),使用接力的方式同步数据,即primary 将更新发送给第一 个secondary 副本,第一个secondary 副本发送给第二secondary 副本,依次类推。 数据读取方式 数据读取方式也与一致性高度相关。如果只需要最终一致性,则读取任何副本都可以满足需求。如果需要会 话一致性,则可以为副本设置版本号,每次更新后递增版本号,用户读取副本时验证版本号,从而 保证用户读到的数据在会话范围内单调递增。使用primary-secondary 比较困难的是实现强一致性。 由于数据的更新流程都是由primary 控制的,primary 副本上的数据一定是最新的,所以 如果始终只读primary 副本的数据,可以实现强一致性。如果只读primary 副本,则secondary 副本 将不提供读服务。实践中,如果副本不与机器绑定,而是按照数据段为单位维护副本,仅有primary 副本提供读服务在很多场景下并不会造出机器资源浪费。 将副本分散到集群中个,假设primary 也是随机的确定的,那么每台机器 上都有一些数据的primary 副本,也有另一些数据段的secondary 副本。从而某台服务器实际都提供 读写服务。 - 由primary 控制节点secondary 节点的可用性。当primary 更新某个secondary 副本不成功 时,primary 将该secondary 副本标记为不可用,从而用户不再读取该不可用的副本。不可用的 secondary 副本可以继续尝试与primary 同步数据,当与primary 完成数据同步后,primary 可以副本 标记为可用。这种方式使得所有的可用的副本,无论是primary 还是secondary 都是可读的,且在一 个确定的时间内,某secondary 副本要么更新到与primary 一致的最新状态,要么被标记为不可用, 从而符合较高的一致性要求。这种方式依赖于一个中心元数据管理系统,用于记录哪些副本可用, 哪些副本不可用。某种意义上,该方式通过降低系统的可用性来提高系统的一致性。 primary 副本的确定与切换 在primary-secondary 类型的协议中,另一个核心的问题是如何确定primary 副本,尤其是在原 primary 副本所在机器出现宕机等异常时,需要有某种机制切换primary 副本,使得某个secondary 副本成为新的primary 副本。 通常的,在primary-secondary 类型的分布式系统中,哪个副本是primary 这一信息都属于元信 息,由专门的元数据服务器维护。执行更新操作时,首先查询元数据服务器获取副本的primary 信 息,从而进一步执行数据更新流程。 由于分布式系统中可靠的发现节点异常是需要一定的探测时间的,这样的探测时间通常是10 秒级别,这也意味着一旦primary 异常,最多需要10 秒级别的 发现时间,系统才能开始primary 的切换,在这10 秒时间内,由于没有primary,系统不能提供更 新服务,如果系统只能读primary 副本,则这段时间内甚至不能提供读服务。从这里可以看到, primary-backup 类副本协议的最大缺点就是由于primary 切换带来的一定的停服务时间。 数据同步 不一致的secondary 副本需要与primary 进行同步(reconcile)。 通常不一致的形式有三种:一、由于网络分化等异常,secondary 上的数据落后于primary 上的 数据。二、在某些协议下,secondary 上的数据有可能是脏数据,需要被丢弃。所谓脏数据是由于 primary 副本没有进行某一更新操作,而secondary 副本上反而进行的多余的修改操作,从而造成 secondary 副本数据错误。三、secondary 是一个新增加的副本,完全没有数据,需要从其他副本上 拷贝数据。 对于第一种secondary 数据落后的情况,常见的同步方式是回放primary 上的操作日志(通常是 redo 日志),从而追上primary 的更新进度。对于脏数据的情况, 较好的做法是设计的分布式协议不产生脏数据。如果协议一定有产生脏数据的可能,则也应该使得 产生脏数据的概率降到非常低得情况,从而一旦发生脏数据的情况可以简单的直接丢弃有脏数据的 副本,这样相当于副本没有数据。另外,也可以设计一些基于undo 日志的方式从而可以删除脏数据。 如果secondary 副本完全没有数据,则常见的做法是直接拷贝primary 副本的数据,这种方法往往比 回放日志追更新进度的方法快很多。但拷贝数据时primary 副本需要能够继续提供更新服务,这就 要求primary 副本支持快照(snapshot)功能。即对某一刻的副本数据形成快照,然后拷贝快照,拷贝 完成后使用回放日志的方式追快照形成后的更新操作。
kun坤 2020-04-24 15:30:53 0 浏览量 回答数 0

问题

ECS 实例的 VPC 属性应该如何修改

描述 修改 ECS 实例的 VPC 属性。 专有网络相关的接口,参见 专有网络 VPC 的 API 参考。指定 VSwitchId 修改 VPC 属性时,指定的 VSwitchId,必须属于当前...
boxti 2019-12-01 21:46:54 3114 浏览量 回答数 0

回答

您好! 您可以将一个或多个ECS实例从经典网络迁移至专有网络。 限制 在使用单ECS迁移方案时, 注意如下事项: 迁移过程中ECS需要进行重启,请关注对系统的影响。 迁移后,不需要进行任何特殊配置,ECS实例的公网IP都不变。 虽然公网IP没有变化,但无法在ECS的操作系统中查看到这个公网IP(称之为VPC类型的ECS的固定公网IP)。您可以将按流量计费的ECS实例的固定公网IP转换为EIP,方便管理,详情参见ECS固定公网IP转换为EIP。 如果您的个别应用对ECS操作系统上可见的公网IP有依赖,迁移后会有影响,请谨慎评估。 迁移的目标VPC的交换机的可用区必须和待迁移的ECS的可用区相同。 迁移过程中实例ID及登录信息不变。 包年包月购买方式的实例迁移过程中不需要额外付费。从新的计费周期开始,按照同规格专有网络的价格计算。迁移到VPC后,ECS的使用费用会降低。 迁移前如有续费变配未生效订单或未支付订单,迁移后该订单将被取消且不能恢复,需要重新下单。 具体申请迁移步骤: https://help.aliyun.com/document_detail/57954.html?spm=5176.11065259.1996646101.searchclickresult.361c11b3P7Gy9o 望采纳,谢谢!
alvin.zhu 2019-12-02 00:48:52 0 浏览量 回答数 0

回答

软件系统架构设计原则就是把我们在各种场景下的架构设计进行抽选化提取公共特征形成过一定的方法论,这些方法论是经过严格推敲并具备移植性的,我们在设计系统时遵从这些设计规则可以为我们的体统提供更高的扩展性、稳定性。抽象原则各平台(含基础设施、中间件技术服务、各层业务服务等)需要通过合理地抽象,将内部信息、处理与扩展能力聚合成标准的服务于扩展接口,并通过统一的形式提供给使用者,屏蔽内部的实现与运行细节。以下是一些符合抽象原则的架构规范或模式: 架构分层(layer)/级(tier),层、级间提供标准服务与数据接口 根据业务模型,统一服务标准与数据标准 使用服务目录屏蔽服务位置等实现细节 使用“逻辑库”屏蔽数据库物理细节 通过SLA,标准化服务的质量水平 提供标准插件架构支持扩展 使用标准数据库特性,保持厂商无关性 使用逻辑的网络与系统名称 使用商品化硬件单元共享原则最大化重用数据、计算资源、业务组件等资产,防止数据、逻辑与技术实现不一致性带来的管理复杂性,避免重复建设成本与管理成本,通过安全机制保证共享资产的合法使用,通过业务分级保障共享资源效益最大化。 以下是一些符合共享原则的架构规范或模式:同一业务服务有唯一提供者 同一技术服务有唯一提供者 同一数据有唯一可信源 控制技术多样性 (但需要同时防止厂商绑定) 服务具备互操作性 服务具备易用性 统一的身份、访问控制与加解密机制 为共享服务提供多租户能力 (Multi-tenancy) 提供访问计量与控制能力 提供业务分级能力,对不同级别的业务提供区分服务 自治原则每一个组件(计算资源、业务组件、信息实体等)具备最大可能的自我完备性,可独立运行、监控、部署、配置与禁用,具备确定的SLA,并与其它组件之间以松散耦合的方式进行协作。当依赖的组件不存在或者无法正常提供服务时,能够以良好的方式降级,且在故障解除后自动恢复。 以下是一些符合自治原则的架构规范或模式:基于开-闭原则(OCP)设计组件 应用无启动依赖 最小化运行依赖集 根据运行依赖关系合理安排组件物理colocation 能够隔离依赖组件的故障 异步调用 (提升异常流量的承载能力,简化故障隔离的实现) 具备自我健康检查能力 具备自我恢复能力 无状态设计 冗余原则各组件(计算资源、业务组件、数据等)都必须有充分、合理的冗余实例,保证单一组件实例失效不影响业务正常运行(多活/热备),或可以通过切换备份实例快速恢复(温备/冷备),不会丢失不可恢复的数据。针对不同类型的组件,需要明确定义冗余量与冗余类型。 以下是一些符合冗余原则的架构规范或模式:高可用水平扩展服务器集群(负载均衡、健康检查与自动切换) 无单点设计 (含逻辑单点) 采用“随机写”策略的数据库水平拆分 Failover数据库 N+1或N+x设计 “多活”数据中心 数据复制 灾难备份 分布原则整个系统拆分成职责清晰、粒度恰当、便于管理的组件,各组件(计算资源、业务组件、数据等)可分布部署运行。组件的拆分与分布可以采取复制、根据功能垂直拆分、或根据用户与访问模式水平拆分等形式。 以下是一些符合分布原则的架构规范或模式:读写分离设计 垂直分拆 水平分拆 柔性的分布事务 自动原则系统设计了具备自监控、自管理、自适应与自优化能力,可以随着业务量与访问模式的变化、以及其它内、外部因素的改变,自动地对资源进行调度、调整服务策略,保障自身的稳定与服务的质量。 以下是一些符合自动原则的架构规范或模式:监控每一个服务的质量与资源的状态与报警 从客户视角监控最终服务的质量 统一、自动的错误报告、管理与响应 提供完备的配置能力 自动化系统安装 自动化应用部署 自动化资源分配 可以mark up/mark down服务 支持优雅降级 自动拒绝超出SLA之外异常流量 作者:技术僧 来源:CSDN 原文:https://blog.csdn.net/Bryans/article/details/80545040 版权声明:本文为博主原创文章,转载请附上博文链接!
wangccsy 2019-12-02 01:46:48 0 浏览量 回答数 0

问题

Swarm mode 集群的集群环境要求

创建 swarm mode 集群时,不管是新建节点,还是将已有 ECS 实例添加到集群中,集群对机器环境有一系列相关依赖。 ECS 机器配置规格Docker Engine 要求操作系统安全组配置 ...
反向一觉 2019-12-01 21:20:46 1318 浏览量 回答数 0

回答

两者都是编程语言。 1.语法:PHP 的语法看起来就像没有经过精心设计一样,很随意。有的语法看似很方便(用点来连接字符串), 但是却为之后扩展造成了很多麻烦(点没法用于访问对象的成员), 再比如比较蛋疼的命名空间的语法。Python 相比之下要好一点,但是 Python2 和 Python3 直接存在着一些不兼容的语法变动。 2.编写 HTML 模版:PHP 可以非常方便地直接用来编写 HTML 模版,Python 需要借助其他的语言或库来实现。 3.包管理器:PHP 的包管理器(PEAR)和扩展管理器(PECL)恐怕根本没人用,这导致引入一个新依赖的成本很高,于是很多人倾向于自己造轮子而不是引入现成的库。Python 有统一的包管理器,虽然也有问题,但要比 PHP 好得多,引入库之后的命名空间管理也要比 PHP 好。 4.扩展和库:PHP 和 Python 都可以用 C 来编写扩展。相比之下 Python 可用的库要更多一点。 5.运行方式:PHP 运行方式比较单一(php-fpm, mod_php), Python 则可以以 fastCGI 运行,也可以自行监听端口来处理请求。 6.性能:因为 PHP 运行方式单一,opcode 缓存方案也比较成熟(APC, opcache),缓存 opcode 之后运行速度很快。Python 则可能需要更多地自行优化性能。 7.类型系统:PHP 和 Python 都是动态类型。PHP 对类型判别比较模糊,有很多陷阱,Python 则严格一些。 8.学习成本:PHP 和学习成本都不是很高。PHP 优势在于有比较完整的官方中文文档,而且 PHP 应用领域只有 Web, 所以需要学习的内容较少。Python 因为学习路线较多,不太容易找到适合自己的教程和资料。 9.社区:PHP 的资料遍地,但是高质量的中文社区较少,普遍对官方的新功能不是很关注。Python 则要好一点。 10.应用领域:PHP 仅在 Web 后端方面被使用,Python 应用领域更广泛一点,如果需要将逻辑移植到其他平台(如桌面), Python 要方便一点。
红鱼 2019-12-02 01:05:30 0 浏览量 回答数 0

回答

单ECS迁移方案 单ECS迁移方案,即无需通过创建镜像、重新购买等步骤就能把经典网络的ECS实例迁移到专有网络。 在控制台上完成迁移预约后,阿里云会根据您设置的迁移时间进行迁移,迁移完成后,您将收到迁移成功的短信消息提醒。 在使用单ECS迁移方案时,注意: 迁移过程中ECS需要进行重启,请关注对系统的影响。 迁移后,不需要进行任何特殊配置,ECS实例的公网IP都不变。 虽然公网IP没有变化,但无法在ECS的操作系统中查看到这个公网IP(称之为VPC类型的ECS的固定公网IP)。您可以将按流量计费的ECS实例的固定公网IP转换为EIP,方便管理,详情参见ECS固定公网IP转换为EIP。  如果您的个别应用对ECS操作系统上可见的公网IP有依赖,迁移后会有影响,请谨慎评估。 迁移后,所有地域的ECS实例的私网IP都会变化。 迁移到的目标VPC的交换机的可用区必须和待迁移的ECS的可用区相同。 迁移过程中实例ID及登录信息不变。 包年包月购买方式的实例迁移过程中不需要额外付费。从新的计费周期开始,按照同规格专有网络的价格计算。且迁移到VPC后,ECS的使用费用会降低。 迁移前如有续费变配未生效订单或未支付订单,迁移后该订单将被取消且不能恢复,您需要重新下单。 迁移到VPC后,若ECS有使用其它云服务,需将访问方式调整到VPC访问方式(云产品混访方案)。
元芳啊 2019-12-02 00:06:14 0 浏览量 回答数 0

回答

语法:PHP 的语法看起来就像没有经过精心设计一样,很随意。有的语法看似很方便(用点来连接字符串), 但是却为之后扩展造成了很多麻烦(点没法用于访问对象的成员), 再比如比较蛋疼的命名空间的语法。Python 相比之下要好一点,但是 Python2 和 Python3 直接存在着一些不兼容的语法变动。编写 HTML 模版:PHP 可以非常方便地直接用来编写 HTML 模版,Python 需要借助其他的语言或库来实现。包管理器:PHP 的包管理器(PEAR)和扩展管理器(PECL)恐怕根本没人用,这导致引入一个新依赖的成本很高,于是很多人倾向于自己造轮子而不是引入现成的库。Python 有统一的包管理器,虽然也有问题,但要比 PHP 好得多,引入库之后的命名空间管理也要比 PHP 好。扩展和库:PHP 和 Python 都可以用 C 来编写扩展。相比之下 Python 可用的库要更多一点。运行方式:PHP 运行方式比较单一(php-fpm, mod_php), Python 则可以以 fastCGI 运行,也可以自行监听端口来处理请求。性能:因为 PHP 运行方式单一,opcode 缓存方案也比较成熟(APC, opcache),缓存 opcode 之后运行速度很快。Python 则可能需要更多地自行优化性能。类型系统:PHP 和 Python 都是动态类型。PHP 对类型判别比较模糊,有很多陷阱,Python 则严格一些。学习成本:PHP 和学习成本都不是很高。PHP 优势在于有比较完整的官方中文文档,而且 PHP 应用领域只有 Web, 所以需要学习的内容较少。Python 因为学习路线较多,不太容易找到适合自己的教程和资料。社区:PHP 的资料遍地,但是高质量的中文社区较少,普遍对官方的新功能不是很关注。Python 则要好一点。应用领域:PHP 仅在 Web 后端方面被使用,Python 应用领域更广泛一点,如果需要将逻辑移植到其他平台(如桌面), Python 要方便一点。希望我提供的答案能够帮助到你,答案满意还请采纳一下,谢谢。另外,你可以继续留言或者到论坛参与更多的互动。
大财主 2019-12-02 01:05:03 0 浏览量 回答数 0

问题

错误代码表

说明 错误代码和英文描述是错误返回信息可见的,中文描述只用于文档解释和补充说明,错误返回信息不可见。 错误代码和英文描述的组合标示一个错误返回,有相同错误代码时,依赖英文描述区分不同的...
行者武松 2019-12-01 21:43:10 2572 浏览量 回答数 0

问题

DRDS Sequence 是什么?

DRDS 全局唯一数字序列(64 位数字,对应 MySQL 中 Signed BIGINT 类型,以下简称为 Sequence)的主要目标是为了生成全局唯一和有序递增的数字序列...
猫饭先生 2019-12-01 21:20:47 1752 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档使用 数据传输 DTS 可以将本地 PostgreSQL 数据库实例的数据迁移到 RDS for PostgreSQL 实例。PostgreSQL 迁移支持增量数据同步功能,可以实现在本地应用不停服的情况下,平滑完成 PostgreSQL 数据库的迁移工作。 本小节简单介绍使用 数据传输 DTS (以下简称 DTS)进行 PostgreSQL->RDS for PostgreSQL 数据迁移的任务配置流程。 迁移类型简介 结构迁移 DTS 将被迁移对象的结构定义迁移到目标实例。对于 PostgreSQL,DTS 支持结构迁移的对象包含:Table、trigger、view、sequence、function、user defined type、rule、domain、operation、aggregate。 全量数据迁移 DTS 将源数据库迁移对象的存量数据全部迁移到目标实例。 增量数据迁移 增量数据迁移将迁移过程中,本地 PostgreSQL 数据库实例的增量更新数据同步到目标 RDS for PostgreSQL 实例,最终实现本地 PostgreSQL 数据库实例同目标 RDS for PostgreSQL 实例保持动态数据同步的过程。使用增量数据迁移,可以实现在本地 PostgreSQL 数据库实例正常提供服务的同时,平滑完成本地 PostgreSQL->RDS For PostgreSQL 的数据迁移。 迁移限制 全量迁移支持的 PostgreSQL 版本为:9.2、9.3、9.4、9.5 及以上版本;增量迁移支持的源实例 PostgreSQL 版本:9.4.8、9.5 及以上版本。迁移过程中,不支持 DDL 操作。不支持迁移使用 C 语言编写的 function。如果使用了对象名映射功能后,依赖这个对象的其他对象可能迁移失败。 迁移权限要求当使用数据传输服务进行 PostgreSQL 迁移时,在不同迁移类型情况下,源跟目标数据库的迁移帐号权限要求如下: 迁移类型 结构迁移 全量迁移 增量数据迁移 本地 PostgreSQL 实例 pg_catalog 的 usage 权限 迁移对象的 select superuser 目标 RDS for PostgreSQL 实例 迁移对象的 create、usage 权限 schema 的 owner schema 的 owner 迁移顺序DTS 在进行 PostgreSQL->RDS For PostgreSQL 数据迁移时,为了解决对象间的依赖,提高迁移成功率。结构对象及数据的迁移顺序如下: 进行结构对象:Table、view、sequence、function、user defined type、rule、domain、operation、aggregate 的迁移全量数据迁移进行结构对象:trigger、foreign key 的迁移 全量数据迁移完成后,任务列表中的迁移进度为:结构迁移 100%,全量迁移 100%,迁移状态为“迁移中”,此时迁移任务正在进行步骤(3)中的对象的迁移。此时,请勿手动结束任务,否则会造成迁移数据丢失。待迁移状态显示为“迁移完成”后,表示全量数据迁移任务已经完成,这时可以安全地手动结束任务。 迁移步骤下面详细介绍下使用 DTS 将本地的 PostgreSQL 数据库迁移到 RDS for PostgreSQL 的任务配置流程。 RDS实例数据库创建在数据迁移过程中,如果待迁移的数据库在目标 RDS for PostgreSQL 实例中不存在,那么 DTS 自动会创建。但是对于如下两种情况,用户需要在配置迁移任务之前,手动创建数据库。 数据库名称不符合:RDS 定义规范(由小写字母、数字、下划线、中划线组成,字母开头,字母或数字结尾,最长 64 个字符)。待迁移数据库,在本地 PostgreSQL 数据库实例和目标 RDS for PostgreSQL 实例中存储名称不同。 对于这两种情况,用户需要在配置迁移任务之前,先在 RDS 控制台完成数据库创建。具体参考RDS数据库创建流程。 迁移帐号创建迁移任务配置,需要提供 PostgreSQL 数据库实例及目标 RDS for PostgreSQL 实例的迁移账号。迁移账号所需权限详见上文的 迁移权限要求。 如果您的本地 PostgreSQL 数据库实例或 RDS for PostgreSQL 实例的迁移账号尚未创建,那么可以参考如下流程创建迁移账号: 通过 PostgreSQL 客户端,在 PostgreSQL 中创建迁移账号。 create user username password 'password' 如果您要使用增量迁移,那么创建的账号必须是 superuser,所以创建账号语句调整为: create user username with superuser password 'password' 参数说明: username:要创建的账号名password:该账号的登录密码 给迁移账号授权,本地 PostgreSQL 数据库实例及 RDS For PostgreSQL 实例的迁移账号权限要求详见上表。 GRANT privileges ON tablename TO username; 参数说明: privileges:该账号的操作权限,如 SELECT、INSERT、UPDATE 等。如果要授权该账号所有权限,则使用 ALLtablename:表名。如果要授权该账号所有的表权限,则使用通配符 *username:要授权的账号名 逻辑流复制插件安装如果您需要使用增量数据迁移进行不停机迁移,那么在任务配置之前,需要在本地 PostgreSQL 中安装 DTS 提供的逻辑流复制插件。 插件下载。 PostgreSQL 9.4 版本 PostgreSQL 9.5 版本 PostgreSQL 9.6版本 PostgreSQL 10.0版本 插件安装。 解压下载的压缩包。将 ali_decoding.so 文件拷贝到 PostgreSQL 安装路径的 lib 目录下。 如果用 rpm 包安装,那么这个绝对路径为:/usr/pgsql-{$version}/lib/,其中 $version 为版本号,例如如果版本为 9.5,那么绝对路径为:/usr/pgsql-9.5/lib。 将ali_decoding.contorl 文件拷贝到 PostgreSQL 安装路径下的share/extension 目录下。 如果用 rpm 包安装,那么这个绝对路径为:/usr/pgsql-${version}/share/extension/,其中 ${version}为 PostgreSQL 版本号,例如如果版本为 9.5,那么绝对路径为:/usr/pgsql-9.5/share/extension/。 测试安装是否成功。 使用 superuser 账号登录 PostgreSQL 客户端,运行如下 SQL,看是否能够成功创建 replication slot 。如果成功创建那么说明插件安装成功。 SELECT * FROM pg_create_logical_replication_slot('replication_slot_test', 'ali_decoding'); 如果输出结果如下,说明插件安装成功。 测试成功后,使用如下 SQL 将 replication slot 删除掉。 SELECT pg_drop_replication_slot('replication_slot_test'); 迁移任务配置当上面的所有前置条件都配置完成后,就可以开始正式的数据迁移了。下面详细介绍迁移任务配置流程。 进入数据传输 DTS 控制台,点击右上角的创建迁移任务,开始迁移任务配置。本地 PostgreSQL 数据库实例跟目标 RDS for PostgreSQL 实例连接信息配置。 这个步骤主要配置 迁移任务名称,本地 PostgreSQL 数据库实例连接信息及目标 RDS for PostgreSQL 实例连接信息。其中: 任务名称 DTS 为每个任务自动生成一个任务名称,任务名称没有唯一性要求。您可以根据需要修改任务名称,建议为任务配置具有业务意义的名称,便于后续的任务识别。 源实例信息 实例类型:选择 有公网 IP 的自建数据库 数据库类型: 选择 PostgreSQL主机名或IP地址: 配置本地 PostgreSQL 数据库实例的访问地址,这个地址必须为公网访问方式端口:本地 PostgreSQL 数据库实例的监听端口数据库名称:连接本地 PostgreSQL 数据库实例的默认数据库名数据库账号:本地 PostgreSQL 数据库实例的连接账号数据库密码:本地 PostgreSQL 数据库实例连接账号对应的密码 目标实例信息 实例类型:选择 RDS 实例RDS 实例 ID: 配置迁移的目标 RDS for PostgreSQL 实例的实例 ID。 DTS 支持经典网络和 VPC 网络的 RDS for PostgreSQL 实例数据库名称:连接 RDS for PostgreSQL 实例的默认数据库名数据库账号:RDS For PostgreSQL 实例的连接账号数据库密码:上面指定的 RDS for PostgreSQL 实例连接账号对应的密码 当配置完连接信息后,点击右下角 授权白名单 并进入下一步进行白名单授权。这个步骤 DTS 会将 DTS 服务器的 IP 地址添加到目标 RDS 实例的白名单中,避免因为 RDS 实例设置了白名单,导致 DTS 服务器连接不上 RDS for PostgreSQL 实例导致迁移失败。 选择迁移对象及迁移类型。 迁移类型 对于 PostgreSQL->RDS for PostgreSQL,支持 结构迁移、全量数据迁移、增量数据迁移。 如果只需要进行全量迁移,那么迁移类型选择:结构迁移 + 全量数据迁移。 如果需要进行不停机迁移,那么迁移类型选择:结构迁移 + 全量数据迁移+增量数据迁移。 迁移对象 选择您要迁移的对象。迁移对象选择的粒度可以为:库、表、列三个粒度。默认情况下,对象迁移到 RDS for PostgreSQL 实例后,对象名跟本地 PostgreSQL 数据库实例一致。如果您迁移的对象在源实例跟目标实例上名称不同,那么需要使用 DTS 提供的对象名映射功能,详细使用方式可以参考库表列映射。 预检查。 在迁移任务正式启动之前,会先进行前置预检查,只有预检查通过后,才能成功启动迁移。预检查的内容及修复方式可以参考本文末尾的 预检查简介 一节。 如果预检查失败,那么可以点击具体检查项后的按钮,查看具体的失败详情,并根据失败原因修复后,重新进行预检查。 启动迁移任务。 当预检查通过后,可以启动迁移任务,任务启动成功后,可以在任务列表中查看迁移的具体状态及迁移进度。 至此,完成本地 PostgreSQL 数据库实例到 RDS for PostgreSQL 实例的数据迁移任务配置。 预检查内容DTS 在启动迁移之前,会进行前置预检查,本小节简单介绍 PostgreSQL->RDS for PostgreSQL 的预检查内容: 预检查项 检查内容 备注 源库连接性检查 检查 DTS 服务同本地 PostgreSQL 数据库 实例的连通性 (1) 填写信息是否有误?如果填写信息有误,请修改后重新预检查(2) 检查端口是否配置从其他服务器连接 目的库连接性检查 检查 DTS 服务同目的 RDS for PostgreSQL 实例的连通性 检查填写信息是否有误,如果有误请先修改后重新预检查 源库版本检查 检查本地 PostgreSQL 数据库实例版本跟目标 RDS for PostgreSQL 是否一致 如果版本不一致,预检查会有提醒。可以根据提醒对本地 PostgreSQL 数据库实例进行升级或降级,也可以继续迁移 数据库可用性检查 检查待迁移数据库在目标 RDS for PostgreSQL 实例是否已存在 如果待迁移数据库命名规范不满足 RDS 实例要求,那么 DTS 在目标 RDS for PostgreSQL 实例创建待迁移数据库会报错失败,即数据库可用性检查会失败。此时可以参考 库表列映射 对迁移数据库进行重命名 源库权限检查 检查任务配置时,提供的本地 PostgreSQL 数据库实例的账号的权限是否满足要求 如果检查失败,那么请参考本文 迁移账号创建 一节对迁移账号进行授权后,重新进行预检查 目的库权限检查 检查任务配置时,提供的目的 RDS for PostgreSQL 数据库账号的权限是否满足要求 如果检查失败,那么请参考本文 迁移账号创建 一节对迁移账号进行授权后,重新进行预检查 同名对象存在性检查 检查待迁移对象在目标 RDS for PostgreSQL 实例中是否已经存在 如果检查失败,请将目标库中这些已经存在的对象删除后,重新进行预检查 源端同名对象存在性检查 检查要迁移到同一个数据库中的多个对象是否重名 如果检查失败,可以参考 库表列映射 将重名对象进行重命名 约束完整性检查 检查待迁移对象依赖的父对象是否迁移 如果检查失败,那么可以修改迁移对象,同时迁移依赖的父对象后,重新预检查 增量拓扑冲突检查 检查同一个迁移对象是否已经存在迁移链路 如果存在冲突链路,那么需要删除掉冲突链路后,重新预检查 LC_MONETERY 一致性检查 检查源库、目标库的 Lc_monetery 定义是否一致 如果检查失败,可以修改目标 RDS For PostgreSQL 实例的 LC_MONETERY 定义,或者继续迁移 PostgreSQL 逻辑流复制插件检查 检查本地 PostgreSQL 实例是否安装了逻辑流复制插件 如果检查失败,可以参考下面的 逻辑流复制插件安装 一节安装逻辑流复制插件后重新预检查 PostgreSQL 逻辑流 slot 存在性检查 检查本地 PostgreSQL 数据库实例存在跟 DTS 创建的 replication slot 重名的 replication slot 如果检查失败,可以删除本地 PostgreSQL 数据库实例中已经存在的同名 replication slot 后,重新预检查
2019-12-01 23:09:43 0 浏览量 回答数 0

问题

详解 Spring 3.0 基于 Annotation 的依赖注入实现 配置报错 

作者:张 建平, 项目经理, iSoftStone Co.,Ltd 简介: Spring 的依赖配置方式与 Spring 框架的内核自身是松耦合设计的。然而,直到 Spring 3.0 以前...
kun坤 2020-06-01 09:44:47 3 浏览量 回答数 1

回答

详细解答可以参考官方帮助文档 使用数据传输服务(DTS)将本地数据库迁移到 RDS for MySQL,可以实现应用不停服务的情况下,平滑完成数据库的迁移工作。 背景信息 DTS 数据迁移支持 MySQL 的结构迁移、全量迁移和增量迁移。 结构迁移 DTS 会将本地数据库的结构定义迁移到目标实例。目前 DTS 支持结构迁移的对象有:表、视图、触发器、存储过程、存储函数。 全量迁移 DTS 会将本地数据库迁移对象的数据全部迁移到目标实例。如果用户还选择了增量迁移,那么全量迁移过程中,为了保证数据一致性,无主键的非事务表会被锁定,锁定期间这些表无法写入,锁定时长依赖于这些表的数据量大小,在这些无主键非事务表迁移完成后,锁才会释放。 增量迁移 增量迁移会将迁移过程进行数据变更同步到目标实例,如果迁移期间进行了 DDL 操作,那么这些结构变更不会迁移到目标实例。 迁移限制 将本地数据库迁移到 RDS 上有以下限制。 迁移过程中,不支持 DDL 操作 结构迁移不支持 event 的迁移 如果使用了对象名映射功能后,依赖这个对象的其他对象可能迁移失败 当选择增量迁移时,本地 MySQL 实例需要开启 binlog,且本地库的 binlog_format 要为 row。如果本地 MySQL 为5.6版本时,它的 binlog_row_image 还须设置为 full 前提条件 已完成 RDS 实例数据库的准备,可参见申请外网地址和 MySQL 5.7高可用版/5.5/5.6创建数据库和账号。 操作步骤 本例以有公网 IP 的本地数据库迁移到 RDS 上为例。 准备本地数据 在正式迁移之前,需要先在本地数据库和 RDS 实例中创建迁移账号,并在 RDS 实例中创建要迁移的数据库,并将要迁移的数据库的读写权限授权给迁移账号。不同的迁移类型需要不同的权限,如下表所示。 迁移类型 结构迁移 全量迁移 增量迁移 本地数据库 select select select replication slave replication client RDS 实例 读写权限 读写权限 读写权限 在本地数据库中创建迁移账号。CREATE USER 'username'@'host' IDENTIFIED BY 'password';参数说明: username:要创建的账号 host:指定该账号登录数据库的主机。如果是本地用户可以使用 localhost,如果想让该用户从任意主机登录,可以使用通配符 % password:该账号的登录密码 例:要创建账号为 William,密码为 Changme123 的账号从任意主机登录本地数据库,命令如下: CREATE USER 'William'@'%' IDENTIFIED BY 'Changme123'; 在本地数据库中给迁移账号授权,本地数据库中迁移账号的权限要求请参见上表。GRANT privileges ON databasename.tablename TO 'username'@'host' WITH GRANT OPTION;参数说明: privileges:该账号的操作权限,如 SELECT、INSERT、UPDATE 等。如果要授权该账号所有权限,则使用 ALL databasename:数据库名。如果要授权该账号所有的数据库权限,则使用通配符 * tablename:表名。如果要授权该账号所有的表权限,则使用通配符 * username:要授权的账号名 host:授权登录数据库的主机名。如果是本地用户可以使用 localhost,如果想让该用户从任意主机登录,可以使用通配符 % WITH GRANT OPTION:授权该账号能使用GRANT命令,该参数为可选 例:授权账号 William 对所有数据库和表的所有权限,并可以从任意主机登录本地数据库,命令如下: GRANT ALL ON *.* TO 'William'@'%'; 说明 如果需要进行增量迁移,那么需要确认本地数据库的 binlog 是否开启并正确设置,执行以下步骤。 开启本地数据库的 binlog。 使用如下命令查询是否开启了binlog。show global variables like "log_bin";如果查询结果为 log_bin=OFF,那么本地数据库没有开启 binlog。为了使迁移过程中产生的增量数据能同步迁移,需要修改配置文件 my.cnf 中的如下参数。 log_bin=mysql_bin binlog_format=row server_id=大于 1 的整数 binlog_row_image=full //当本地 MySQL 版本大于 5.6 时,则需设置该项 修改完成后,重启 MySQL 进程。$mysql_dir/bin/mysqladmin -u root -p shutdown $mysql_dir/bin/safe_mysqld &其中,“mysql_dir”为MySQL安装目录。 正式迁移操作 数据准备完毕后,即可进入正式的迁移操作。 在 RDS 管理控制台 上单击迁移数据库,进入 DTS,如下图所示。 单击 创建在线迁移任务,进入 创建迁移任务 页面,如下图所示。 输入任务名称、本地数据库信息和目标数据库信息,单击 授权白名单并进入下一步,如下图所示。 任务名称:自定义任务名称,可以保持默认值 源库信息 实例类型:本地数据库的实例类型,可以选择有公网IP的自建数据库、ECS上的自建数据库、RDS实例、云数据库MongoDB 数据库类型:本地数据库的类型,可以选择 Oracle、MySQL、SQLServer、PostgreSQL、MongoDB 主机名或 IP 地址:本地数据库的公网地址 端口:本地数据库的公网端口 账号:本地数据库的迁移账号 密码:本地数据库迁移账号对应的密码 目标库信息 实例类型:默认为 RDS 实例 RDS 实例 ID:目标 RDS 实例的 ID。点击下拉菜单将自动联想当前登录 RDS 管理控制台 的账号的 RDS 实例,点击选择所需要的实例 账号:目标 RDS 数据库的迁移账号 密码:目标 RDS 数据库迁移账号对应的密码 择迁移类型,并在 迁移对象 中选择要迁移的对象,单击 > 将要迁移的对象放入已选择中,单击 预检查并启动,如下图所示。 说明 数据迁移只会将本地数据库的数据(结构)复制一份到目标数据库,并不会对本地数据库数据(结构)造成影响。 如果要修改迁移对象在目标数据库上的名字,可以在 已选择 列表右侧单击 编辑,修改已选择的对象名称,如上图4所示。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 8。 系统显示预检查结果,如下图所示。 单击检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 迁移任务列表页面,选择当前迁移任务,单击 启动,如下图所示。 系统预检查通过后,单击确定,自动进行迁移任务,如下图所示。 后续操作 因迁移账号拥有读写权限,为了保证本地数据库安全,请在数据迁移完成后,删除本地数据库和 RDS 实例中的迁移账号。
2019-12-01 22:57:10 0 浏览量 回答数 0

回答

消息队列有什么优缺点 优点上面已经说了,就是在特殊场景下有其对应的好处,解耦、异步、削峰。 缺点有以下几个: 系统可用性降低 系统引入的外部依赖越多,越容易挂掉。本来你就是 A 系统调用 BCD 三个系统的接口就好了,ABCD 四个系统还好好的,没啥问题,你偏加个 MQ 进来,万一 MQ 挂了咋整?MQ 一挂,整套系统崩溃,你不就完了?如何保证消息队列的高可用,可以点击这里查看。 系统复杂度提高 硬生生加个 MQ 进来,你怎么保证消息没有重复消费?怎么处理消息丢失的情况?怎么保证消息传递的顺序性?头大头大,问题一大堆,痛苦不已。 一致性问题 A 系统处理完了直接返回成功了,人都以为你这个请求就成功了;但是问题是,要是 BCD 三个系统那里,BD 两个系统写库成功了,结果 C 系统写库失败了,咋整?你这数据就不一致了。 所以消息队列实际是一种非常复杂的架构,你引入它有很多好处,但是也得针对它带来的坏处做各种额外的技术方案和架构来规避掉,做好之后,你会发现,妈呀,系统复杂度提升了一个数量级,也许是复杂了 10 倍。但是关键时刻,用,还是得用的。 往期回顾: 【Java问答学堂】1期 为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景? 【Java问答学堂】2期 如何保证消息队列的高可用? 【Java问答学堂】3期 如何保证消息不被重复消费?或者说,如何保证消息消费的幂等性? 【Java问答学堂】4期 如何保证消息的可靠性传输?(如何处理消息丢失的问题?) 【Java问答学堂】5期 如何保证消息的顺序性? 【Java问答学堂】6期 如何解决消息队列的延时以及过期失效问题? 【Java问答学堂】7期 如果让你写一个消息队列,该如何进行架构设计? 【Java问答学堂】8期 es 的分布式架构原理能说一下么(es 是如何实现分布式的啊)? 【Java问答学堂】9期 es 写入数据的工作原理是什么啊?es 查询数据的工作原理是什么啊? 【Java问答学堂】10期 es 在数据量很大的情况下(数十亿级别)如何提高查询效率啊? 【Java问答学堂】11期 es 生产集群的部署架构是什么?每个索引的数据量大概有多少? 【Java问答学堂】12期 项目中缓存是如何使用的?为什么要用缓存?缓存使用不当会造成什么后果? 【Java问答学堂】13期 redis 和 memcached 有什么区别? 【Java问答学堂】14期 redis 都有哪些数据类型?分别在哪些场景下使用比较合适? 【Java问答学堂】15期redis 的过期策略都有哪些?内存淘汰机制都有哪些? 【Java问答学堂】16期如何保证 redis 的高并发和高可用?redis 的主从复制原理能介绍 为什么使用消息队列?【Java问答学堂】17期
剑曼红尘 2020-05-14 11:26:41 0 浏览量 回答数 0

问题

消息队列有什么优点和缺点?【Java问答学堂】18期

消息队列有什么优缺点 优点上面已经说了,就是在特殊场景下有其对应的好处,解耦、异步、削峰。 缺点有以下几个: 系统可用性降低 系统引入的外部依赖越多,越容易挂掉。本来你就是 A...
剑曼红尘 2020-05-14 11:26:31 0 浏览量 回答数 1

问题

订阅日志服务数据的用户手册

LogHub Shipper for TableStore(以下简称传送服务)将用户在日志服务中的数据经简单清洗、转换后写入用户在表格存储中的表。 它由表格存储官方提供,以 Docker 镜像的方式...
云栖大讲堂 2019-12-01 20:56:31 1339 浏览量 回答数 0

回答

如何迁移? 目前,阿里云提供以下两种将经典网络迁移到VPC的方案。这些方案可以独立使用,也可以组合使用,以满足不同的迁移场景: 混访混挂方案 如果您的服务依赖RDS、SLB等云产品,建议您选择混访混挂的迁移方案。该方案可以平滑地将系统迁移至专有网络环境中,保证服务的稳定性。 搭配使用ClassicLink功能,以满足未迁移的经典网络ECS实例访问VPC中云资源的需求。详情参见ClassicLink概述。 单ECS迁移方案 如果您的应用部署在了ECS实例上,且ECS实例重启对系统没有影响,可以选择单ECS迁移方案。 混挂和混访方案 混挂和混访方案是一种系统平滑迁移方案,即用户通过在VPC中新建ECS等云产品实例,然后将系统平滑迁移到VPC。当所有系统都迁移到VPC后,再将经典网络内的资源释放,从而完成经典网络到VPC的迁移。详情参见混访混挂迁移示例。 混挂 混挂指一个负载均衡实例可以同时添加经典网络和VPC网络的ECS作为后端服务器接收监听转发的请求,且支持虚拟服务器组形式的混挂。 公网负载均衡实例和私网负载均衡实例都可开通混挂。 说明  VPC私网负载均衡实例同时挂载经典网络和专有网络ECS时,如果使用四层(TCP和UDP协议)监听,目前无法在经典网络ECS上获取客户端的真实IP,但在专有网络ECS上还可以正常获取客户端的真实IP。对七层监听(HTTP和HTTPS协议)没有影响,可以正常获取客户端的真实IP。 混访 云数据库RDS和对象存储OSS等云产品支持混访,即支持同时被经典网络和专有网络中的ECS访问。通常该类产品都提供两个访问域名,一个是经典网络访问域名,另外一个是专有网络访问域名。 在使用本方案时,请注意: 本方案可以满足绝大部分系统的迁移要求。但如果系统中的专有网络ECS和经典网络ECS有内网通信的需求,可通过ClassicLink功能实现。 本方案仅用于经典网络迁移到VPC。 单ECS迁移方案 单ECS迁移方案,即无需通过创建镜像、重新购买等步骤就能把经典网络的ECS实例迁移到专有网络。 在控制台上完成迁移预约后,阿里云会根据您设置的迁移时间进行迁移,迁移完成后,您将收到迁移成功的短信消息提醒。 在使用单ECS迁移方案时,注意: 迁移过程中ECS需要进行重启,请关注对系统的影响。 迁移后,不需要进行任何特殊配置,ECS实例的公网IP都不变。 虽然公网IP没有变化,但无法在ECS的操作系统中查看到这个公网IP(称之为VPC类型的ECS的固定公网IP)。您可以将按流量计费的ECS实例的固定公网IP转换为EIP,方便管理,详情参见ECS固定公网IP转换为EIP。 如果您的个别应用对ECS操作系统上可见的公网IP有依赖,迁移后会有影响,请谨慎评估。 迁移后,所有地域的ECS实例的私网IP都会变化。 迁移到的目标VPC的交换机的可用区必须和待迁移的ECS的可用区相同。 迁移过程中实例ID及登录信息不变。 包年包月购买方式的实例迁移过程中不需要额外付费。从新的计费周期开始,按照同规格专有网络的价格计算。且迁移到VPC后,ECS的使用费用会降低。 迁移前如有续费变配未生效订单或未支付订单,迁移后该订单将被取消且不能恢复,您需要重新下单。 迁移到VPC后,若ECS有使用其它云服务,需将访问方式调整到VPC访问方式(云产品混访方案)。 望采纳,谢谢
元芳啊 2019-12-02 00:17:01 0 浏览量 回答数 0

问题

创建及配置集群

硬件配置 登录E-HPC管理控制台。如果尚未注册,请先单击 [backcolor=transparent]免费注册 完成注册流程(按照最新国家规定,需要实名制注册)。登录后概...
反向一觉 2019-12-01 21:07:21 1249 浏览量 回答数 0

问题

敏捷软件测试常见的七个误区

       敏捷软件开发是从1990年开始逐渐引起广泛关注的一种新型软件开发方法,是能够应对快速变化的需求的一种软件开发能力,它作为一种新型的开发模式,被越来越多地应用到软件项目中。   敏...
技术小菜鸟 2019-12-01 21:47:08 3794 浏览量 回答数 2

回答

大数据系统部署方法 大数据的部署是个复杂的过程,涉及内容众多,但无论如何都离不开以客户需求为导向。所以我们首先需要从客户的角度去考虑对方的需求,抽取出影响点,如实际运行时大概的数据量,客户的实时性要求怎样,高可用方面的要求如何,如此等等。 进而我们依据上述的要求来考虑硬件的选型、平台软件的版本选择、部署时组件的配合以及组件自身针对业务形态进行的优化配置。 一般来说,对于硬件往往是配置越高越好,但客户往往也关注效费比等经济性方面的问题,因此我们进行大数据部署时也需要寻找一个经济上的均衡点,让硬件能最大效率的发挥出功能和性能。 大数据项目的实施,一般从概念阶段到部署上线主要分为以下几个步骤: 需求分析 首先就需要和使用大数据平台的用户进行充分的沟通,通过沟通了解用户将来运行的上层业务的业务特点以及重点。一般来说,大数据的业务类型基本可分为离线业务和在线业务,离线业务主要为MapReduce,进行数据的分析计算处理;在线业务主要为HBase,HBase对外提供实时的数据查询业务。当然上层业务也可能基于Hive来处理,但Hive实质上还是基于MapReduce。 了解用户业务运行时的数据量,分析数据模型,包括已有的数据量、后续单位时间内增加的数据量,以及用户期望的数据保存时间等要求。 模型设计 基于用户的数据量等信息设计存储和计算模型。 考虑数据的存储方式是通过HDFS进行存储还是通过HBase进行存储,或者两者兼而有之。如果用户的数据较为离散,并且只有存储的简单要求,一般单纯采用HDFS即可满足要求。如果用户数据存在外部查询用途,且实时性要求较高,则可以考虑采用HBase进行存储,通过HBase对外提供在线查询业务。 硬件规划 主要基于用户的需求进行硬件规划、部署设计、以及IP地址的规划。需要考虑每台服务器的单节点的性能要求。如计算要求高,则CPU和内存的配置要求也较高,同时在部署设计上需要把计算节点独立出来,避免存储节点占用过多CPU,导致计算延迟。如存储要求高,则需要加大磁盘的容量,在部署设计上可以多DataNode节点分担文件读写压力,同时将计算节点和DataNode节点合设,以减少服务器数量。 市场上有各种类型的磁盘,性能上存在差异,所以还要考虑磁盘类型的选择,一般来说选用sas盘较多,性能要求较低可考虑sata盘,性能要求较高可考虑采用ssd盘。 另外还可以通过raid来辅助实现磁盘性能的提升以及高可靠性的提升。 同时平台的整体部署离不开高性能网络的支撑,所以网络建议采用万兆网,既可以降低网络部署的复杂性,也可以提高可维护性。特殊情况下,也可以采用多网口绑定的方式,但是往往会大幅提高网络部署的复杂性。 对于实现高可用,我们一般都会对网络采用双网双平面的部署方式,如下图所示(图中略去防火墙等设备,主要保留平台所需的设备)。 干货丨大数据系统部署4大步骤5大原则 软件规划 根据用户的业务,规划采用哪些组件来满足用户的功能要求,并且通过部署来实现业务的高可用,高可扩展。 在各个节点部署服务时,还要注意服务间的依赖关系。如HDFS的QJM方式的HA实现对Zookeeper有依赖。 硬件部署 即完成机架的部署和网络的部署,以及服务器在机架上的部署。如果有raid卡的话还要完成raid卡的设置。 软件部署 当硬件完成部署后,接下来就是部署软件了,包括操作系统的安装配置,以及大数据平台的安装配置。 操作系统安装完后,如果是多网口绑定,那就还需要作网口绑定设置。 然后就是最关键的大数据平台的部署了,中兴通讯自研了一套功能强大的管理系统,可完成大规模的平台部署,同时完成大量节点的部署,自动高效。 为保证大数据系统的稳定可靠运行,在整体部署上应遵循如下隔离原则: 生产环境和测试环境的隔离 系统环境分为生产环境和测试环境。其中生产环境用于实际运营,承载真实业务数据和业务应用;测试环境用于各种功能验证和性能测试等,包括应用在上线前的功能验证。如把两个环境合用,将带来很多不确定性,测试环境容易对生产环境造成干扰,影响生产环境正常业务的提供,甚至测试环境中不成熟的应用和业务运行时可能对环境造成破坏性的影响。因此对两个环境进行物理隔离,两者独立运行,互不干扰,防止因硬件资源的占用或者抢夺对运行造成不必要的影响。 不同集群的隔离 为避免可能存在的机架断电导致集群数据丢失或者停止服务,需要将属于同一个集群的不同节点分别部署到不同的机架上,通过多个机架的方式提供对服务器的承载。每个集群都基于一套独立的HDFS运行,这样从物理上和逻辑上与其他集群都进行了隔离。 在线应用和离线应用的隔离 在大数据平台上运行的应用分为在线应用和离线应用两大类。为保证重点在线应用的正常运行,需要单独规划HBase集群,且该集群基于一套独立的HDFS运行,从物理上和逻辑上和其他集群都进行隔离。 不同在线应用的隔离 对于在线应用,分为一般在线应用和重点在线应用,重点在线应用基于一套独立的HDFS运行,实现物理隔离,用于存储重要的在线数据,保证实时查询服务的持续提供。一般在线应用用于提供普通的HBase查询,对实时性的要求低于重点在线应用,所以可和离线应用部署在一个集群中。 不同应用数据的隔离 集群中的数据都是基于HDFS进行存放的,因此对于属于同一个集群内的应用的数据隔离,可通过设置不同的HDFS目录存放的方式实现不同应用数据的隔离,参见下图: 干货丨大数据系统部署4大步骤5大原则 不同应用属于不同的用户,不同的应用使用不同的目录,然后通过对目录进行权限配置的方式进行隔离和共享。
1748847708358317 2019-12-02 03:11:09 0 浏览量 回答数 0

问题

实例自定义数据1

实例自定义数据为您提供实例自定义启动行为及传入数据的功能。您可以在创建实例(RunInstances)时指定实例自定义数据,为您的实例自定义启动行为。例如,自动获取软件资源包、开启服务...
chenchuan 2019-12-01 21:34:12 445 浏览量 回答数 0

回答

本文介绍如何通过阿里云云存储网关控制台快速创建文件网关并完成共享设置。 前提条件 已注册阿里云账号,并完成实名认证,详情请参见阿里云账号注册流程。 说明 建议您使用RAM账户登录云存储网关控制台进行相关操作,详情请参见账号访问控制。 已开通云存储网关服务。 首次登录云存储网关控制台时,根据页面提示开通云存储网关服务。 在需要创建云上文件网关的地域,已有可用的专有网络VPC,详情请参见创建专有网络和交换机。 在需要创建云上文件网关的地域,已有可用的云服务器ECS,并将此云服务器ECS归属到已创建的专有网络VPC下,详情请参见创建ECS实例。 说明 如果您的本地主机已通过专线和阿里云专有网络连通,您也可以使用本地主机进行操作。 已创建OSS Bucket,详情请参见创建存储空间。 说明 云存储网关支持标准(Standard)类型、低频访问(IA)类型和归档存储类型的OSS Bucket。 对于归档文件,如果在创建共享时未开启归档支持功能,则在进行读操作时需要先手动解冻文件。 步骤一:创建文件网关 登录云存储网关控制台。 选择需要创建文件网关的地域。 在网关列表页面,选择目标网关集群,单击创建。 如果还未创建网关集群,请在概览页面,单击创建网关集群,完成网关集群的创建。 在网关信息页签中,完成如下配置并单击下一步。 参数 说明 名称 输入网关名称。 长度为60个字符,可以包含大小写字母、中文、数字、.、_或-,同时必须以大小写字母或者中文开头。 位置 包括本地数据中心和阿里云,请根据业务需求进行选择。 本地数据中心:选择本地数据中心,则部署本地文件网关。您可以通过阿里云云存储网关控制台部署本地文件网关,也可以通过本地文件网关控制台部署本地文件网关。 阿里云:选择阿里云,则部署云上文件网关。您只可以通过阿里云云存储网关控制台部署云上文件网关。 类型 选择文件网关。 在配置网关页签中,完成如下配置并单击下一步。 如果位置选择阿里云,则需要配置网关信息。 参数 说明 型号 包括基础型、标准型、增强型和性能型,具体规格详情请参见产品规格。 专有网络 选择所需的专有网络。 说明 必须与您创建的云服务器ECS或本地主机选择一样的专有网络。 虚拟交换机 选择所需的虚拟交换机。 说明 必须与您创建的云服务器ECS或本地主机选择一样的虚拟交换机。 如果当前的虚拟交换机所在的可用区没有可以分配的网关资源,请到其他可用区创建虚拟交换机。 在付费类型页签中,完成如下配置,并单击下一步。 参数 说明 付费类型 包括按量付费和包年包月,详情请参见计量项和计费项。 如果选择包年包月,完成文件网关创建后,将跳转至购买页面,请根据页面完成付费,详情请参见购买云存储网关。 到期后 包括转后付费和直接回收。 在总结页签中,确认信息无误后,单击完成。 如果您创建的是云上文件网关,则创建完成后,自动部署,大概需要5~10分钟,当状态显示为运行中,则表示文件网关已激活,部署完成。 如果您创建的是本地文件网关,则创建完成后,还需单击激活网关,进行手动激活。相关参数配置请参见激活网关。 步骤二:添加缓存 说明 此处介绍为云上文件网关创建缓存的步骤。本地文件网关的缓存需要在本地部署平台中创建,详情请参见添加磁盘。 登录云存储网关控制台。 选择目标文件网关所在的地域。 在网关列表页面,找到并单击目标文件网关,进入操作页面。 选择缓存页签,单击创建缓存。 在添加缓存对话框中,完成如下配置。 大小:缓存大小需大于等于40GB,小于等于32TB。 类型:包括高效云盘和SSD,请根据业务需求选择。 单击确认,完成创建。 如果您创建的是包年包月的文件网关,则创建缓存后,将跳转到云存储网关缓存盘(包年包月)页面支付费用,详情请参见购买缓存。 步骤三:创建共享 登录云存储网关控制台。 选择目标文件网关所在的地域。 在网关列表页面,找到并单击目标文件网关,进入操作页面。 选择共享页签,单击创建。 在Bucket设置页签中,完成如下配置并单击下一步。 参数 说明 允许跨域访问Bucket 选择是,可访问与云存储网关不同地域的Bucket。 选择否,只能访问与云存储网关相同地域的Bucket。 Bucket区域 选择Bucket区域。 Bucket名称 选择已创建的Bucket或者输入Bucket下的子目录。 子目录只支持英文和数字。 说明 从1.0.38版本开始支持将文件系统的根目录对接到OSS Bucket的某个子目录,便于用户做访问隔离。 子目录可以为OSS Bucket中已存在的目录也可以为OSS Bucket中还未创建的目录,创建共享完成后,将以该子目录为根目录,后续的文件和目录都会创建该目录下。 加密 包括不加密和服务端加密。 如果选择服务端加密,还需设置密钥ID。您可以在密钥管理服务控制台中创建密钥,详情请参见创建密钥。 开启OSS服务端加密后,允许用户自带密钥,目前支持从密钥管理服务中导入KMS密钥。 开启服务端加密后,通过共享目录上云的文件会在OSS端自动利用KMS密钥进行加密。您可以通过Get Object API验证当前文件是否已经加密,如果返回的Header中x-oss-server-side-encryption字段值为KMS,x-oss-server-side-encryption-key-id字段值为密钥ID,则表示已加密。 说明 白名单用户才能使用此功能。 在密钥管理服务控制台创建密钥时,需选择与OSS Bucket一样的区域。 使用SSL连接Bucket 如果选择是,则可通过SSL连接Bucket。 在基本信息页签中,完成如下配置并单击下一步。 参数 说明 共享名称 NFS或者SMB的共享名称。如果选择NFS协议,则此共享名称也是NFS v4的虚拟路径。 不能以数字开头,不能超过32个字符,可以为英文或者数字。 说明 1.0.35之前版本,如果使用NFS v3协议,则该名称无效,需要使用showmount –e <挂载网关的IP> 查看挂载路径进行挂载。 协议 根据业务需求,选择NFS或者SMB。 NFS协议适用于在Linux系统中对挂载的OSS资源进行访问 SMB协议适用于在Windows系统中对挂载的OSS资源进行访问。 缓存 选择已创建的缓存盘。 说明 5TB以下缓存盘,其20%的空间用于存放元数据;5TB以上的存储盘,1TB用于存放元数据。例如:创建40G的缓存盘,其实际可使用的缓存大小为32G。创建20TB的缓存盘,其实际可使用的缓存大小为19TB。 用户映射 设置NFS客户端用户与NFS服务器用户之间的映射关系,仅当协议类型选择NFS时可以配置。 none:NFS客户端用户不被映射为NFS服务器的nobody用户。 root_squash:限制root用户,当NFS客户端以root用户身份访问时,映射为NFS服务器的nobody用户。 all_squash:限制所有用户,无论NFS客户端以何种用户身份访问,均映射为NFS服务器的nobody用户。 all_anonymous:限制所有用户,无论NFS客户端以何种用户身份访问,均映射为NFS服务器的匿名用户。 归档支持 仅当协议类型选择NFS时可以配置。 选择是,开启归档支持功能。在已归档的文件上发起读操作请求时同步发起解冻请求,请求不会报错,但存在一定的时间延迟。 选择否,关闭归档支持功能。在已归档的文件上发起读操作请求时,需先手动解冻文件,否则请求会报错。 说明 基础型文件网关不支持归档支持功能。 加入同步组 开启该共享的极速同步功能,将其加入同步组,对该共享的Bucket中数据进行的任何改动都会自动同步至共享的本地客户端。开启该选项后,该共享的反向同步选项将自动关闭。 说明 要选择该选项,您必须提前创建一个同步组,且同步组的Bucket必须与共享的Bucket相同。有关创建同步组的详细步骤,请参见极速同步。 目前只有标准型、增强型及性能型的云存储网关支持极速同步功能。 极速同步功能依赖于阿里云消息服务 MNS 实现,因此将共享加入同步组会产生 MNS 服务的费用。计费详情请参见极速同步背景信息中的说明。 高级设置 勾选高级设置后,出现高级设置配置页。 在高级设置页签中,完成如下配置并单击下一步。 参数 说明 模式 复制模式:所有数据都会保存两份拷贝,一份保存在本地缓存,另一份保存在OSS。 缓存模式:本地缓存全量元数据和经常访问的用户数据。OSS侧保持全量数据。 传输加速 传输加速会提高跨域情况下的数据传输速度,充分利用网关的公网带宽,使用前请确保正在使用的OSS Bucket已开启了传输加速。 碎片优化 针对某些反复随机小IO读写的应用,启用此配置可提升性能,请根据场景谨慎选择。 上传优化 实时缓存回收,适用于数据纯备份上云场景。 反向同步 将OSS上的元数据同步回本地。适用于网关容灾和数据恢复/共享场景。 说明 反向同步会扫描Bucket下的所有对象,如果对象数量较多,会产生OSS API请求费用。具体费用,请参见对象存储 OSS 详细价格信息中的请求费用。 如果您在基本信息页签中勾选了加入同步组,则此选项不可用。 反向同步时间间隔 设置反向同步为是,可设置反向同步时间间隔。支持15s-36000s的反向同步间隔,缺省值为36000s。 说明 如果Bucket内的对象比较多,建议反向同步间隔大于3600s,否则会由于反复扫描产生大量的OSS API的请求费用。 忽略删除 文件删除操作不同步至OSS防止误操作。OSS侧保持全量数据。 同步延迟 设置同步延迟,在关闭文件会延迟一段时间再上传,防止频繁的本地修改操作造成OSS碎片。缺省值为5s,最大值120s。 在总结页签中,确认信息无误后,单击完成。 创建完成后,您可以通过客户端访问共享目录,详情请参见访问共享目录。
1934890530796658 2020-03-31 11:22:00 0 浏览量 回答数 0

回答

索引,索引!!!为经常查询的字段建索引!! 但也不能过多地建索引。insert和delete等改变表记录的操作会导致索引重排,增加数据库负担。优化目标1.减少 IO 次数 IO永远是数据库最容易瓶颈的地方,这是由数据库的职责所决定的,大部分数据库操作中超过90%的时间都是 IO 操作所占用的,减少 IO 次数是 SQL 优化中需要第一优先考虑,当然,也是收效最明显的优化手段。2.降低 CPU 计算 除了 IO 瓶颈之外,SQL优化中需要考虑的就是 CPU 运算量的优化了。order by, group by,distinct … 都是消耗 CPU 的大户(这些操作基本上都是 CPU 处理内存中的数据比较运算)。当我们的 IO 优化做到一定阶段之后,降低 CPU 计算也就成为了我们 SQL 优化的重要目标优化方法改变 SQL 执行计划 明确了优化目标之后,我们需要确定达到我们目标的方法。对于 SQL 语句来说,达到上述2个目标的方法其实只有一个,那就是改变 SQL 的执行计划,让他尽量“少走弯路”,尽量通过各种“捷径”来找到我们需要的数据,以达到 “减少 IO 次数” 和 “降低 CPU 计算” 的目标分析复杂的SQL语句explain 例如: mysql> explain select from (select from ( select * from t3 where id=3952602) a) b; id select_type table type possible_keys key key_len ref rows Extra 1 PRIMARY system NULL NULL NULL NULL 1 2 DERIVED system NULL NULL NULL NULL 1 3 DERIVED t3 const PRIMARY,idx_t3_id PRIMARY 4 1 很显然这条SQL是从里向外的执行,就是从id=3 向上执行.show show tables或show tables from database_name; // 显示当前数据库中所有表的名称 show databases; // 显示mysql中所有数据库的名称 show columns from table_name from database_name; 或MySQL show columns from database_name.table_name; // 显示表中列名称 show grants for user_name@localhost; // 显示一个用户的权限,显示结果类似于grant 命令 show index from table_name; // 显示表的索引 show status; // 显示一些系统特定资源的信息,例如,正在运行的线程数量 show variables; // 显示系统变量的名称和值show processlist; // 显示系统中正在运行的所有进程,也就是当前正在执行的查询。 show table status; // 显示当前使用或者指定的database中的每个表的信息。信息包括表类型和表的最新更新时间 show privileges; // 显示服务器所支持的不同权限 show create database database_name; // 显示create database 语句是否能够创建指定的数据库 show create table table_name; // 显示create database 语句是否能够创建指定的数据库 show engies; // 显示安装以后可用的存储引擎和默认引擎。 show innodb status; // 显示innoDB存储引擎的状态 show logs; // 显示BDB存储引擎的日志 show warnings; // 显示最后一个执行的语句所产生的错误、警告和通知 show errors; // 只显示最后一个执行语句所产生的错误关于enum 存在争议。 对于取值有限且固定的字段,推荐使用enum而非varchar。但是!!其他数据库可能不支持,导致了难于迁移的问题。开启缓存查询 对于完全相同的sql,使用已经存在的执行计划,从而跳过解析和生成执行计划的过程。 应用场景:有一个不经常变更的表,且服务器收到该表的大量相同查询。对于频繁更新的表,查询缓存是不适合的 Mysql 判断是否命中缓存的办法很简单,首先会将要缓存的结果放在引用表中,然后使用查询语句,数据库名称,客户端协议的版本等因素算出一个hash值,这个hash值与引用表中的结果相关联。如果在执行查询时,根据一些相关的条件算出的hash值能与引用表中的数据相关联,则表示查询命中 查询必须是完全相同的(逐字节相同)才能够被认为是相同的。另外,同样的查询字符串由于其它原因可能认为是不同的。使用不同的数据库、不同的协议版本或者不同 默认字符集的查询被认为是不同的查询并且分别进行缓存。 下面sql查询缓存认为是不同的: SELECT * FROM tbl_name Select * from tbl_name 缓存机制失效的场景 如果查询语句中包含一些不确定因素时(例如包含 函数Current()),该查询不会被缓存,不确定因素主要包含以下情况 · 引用了一些返回值不确定的函数 · 引用自定义函数(UDFs)。 · 引用自定义变量。 · 引用mysql系统数据库中的表。 · 下面方式中的任何一种: SELECT ...IN SHARE MODE SELECT ...FOR UPDATE SELECT ...INTO OUTFILE ... SELECT ...INTO DUMPFILE ... SELECT * FROM ...WHERE autoincrement_col IS NULL · 使用TEMPORARY表。 · 不使用任何表。 · 用户有某个表的列级别权限。额外的消耗 如果使用查询缓存,在进行读写操作时会带来额外的资源消耗,消耗主要体现在以下几个方面 · 查询的时候会检查是否命中缓存,这个消耗相对较小 · 如果没有命中查询缓存,MYSQL会判断该查询是否可以被缓存,而且系统中还没有对应的缓存,则会将其结果写入查询缓存 · 如果一个表被更改了,那么使用那个表的所有缓冲查询将不再有效,并且从缓冲区中移出。这包括那些映射到改变了的表的使用MERGE表的查询。一个表可以被许多类型的语句更改,例如INSERT、UPDATE、DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE。 对于InnoDB而言,事物的一些特性还会限制查询缓存的使用。当在事物A中修改了B表时,因为在事物提交之前,对B表的修改对其他的事物而言是不可见的。为了保证缓存结果的正确性,InnoDB采取的措施让所有涉及到该B表的查询在事物A提交之前是不可缓存的。如果A事物长时间运行,会严重影响查询缓存的命中率 查询缓存的空间不要设置的太大。 因为查询缓存是靠一个全局锁操作保护的,如果查询缓存配置的内存比较大且里面存放了大量的查询结果,当查询缓存失效的时候,会长时间的持有这个全局锁。因为查询缓存的命中检测操作以及缓存失效检测也都依赖这个全局锁,所以可能会导致系统僵死的情况静态表速度更快定长类型和变长类型 CHAR(M)定义的列的长度为固定的,M取值可以为0~255之间,当保存CHAR值时,在它们的右边填充空格以达到指定的长度。当检索到CHAR值时,尾部的空格被删除掉。在存储或检索过程中不进行大小写转换。CHAR存储定长数据很方便,CHAR字段上的索引效率级高,比如定义char(10),那么不论你存储的数据是否达到了10个字节,都要占去10个字节的空间,不足的自动用空格填充。 VARCHAR(M)定义的列的长度为可变长字符串,M取值可以为0~65535之间,(VARCHAR的最大有效长度由最大行大小和使用的字符集确定。整体最大长度是65,532字节)。VARCHAR值保存时只保存需要的字符数,另加一个字节来记录长度(如果列声明的长度超过255,则使用两个字节)。VARCHAR值保存时不进行填充。当值保存和检索时尾部的空格仍保留,符合标准SQL。varchar存储变长数据,但存储效率没有CHAR高。 如果一个字段可能的值是不固定长度的,我们只知道它不可能超过10个字符,把它定义为 VARCHAR(10)是最合算的。VARCHAR类型的实际长度是它的值的实际长度+1。空间上考虑,用varchar合适;从效率上考虑,用char合适,关键是根据实际情况找到权衡点。VARCHAR和TEXT、BlOB类型 VARCHAR,BLOB和TEXT类型是变长类型,对于其存储需求取决于列值的实际长度(在前面的表格中用L表示),而不是取决于类型的最大可能尺寸。 BLOB和TEXT类型需要1,2,3或4个字节来记录列值的长度,这取决于类型的最大可能长度。VARCHAR需要定义大小,有65535字节的最大限制;TEXT则不需要。如果你把一个超过列类型最大长度的值赋给一个BLOB或TEXT列,值被截断以适合它。 一个BLOB是一个能保存可变数量的数据的二进制的大对象。4个BLOB类型TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB仅仅在他们能保存值的最大长度方面有所不同。 BLOB 可以储存图片,TEXT不行,TEXT只能储存纯文本文件。 在BLOB和TEXT类型之间的唯一差别是对BLOB值的排序和比较以大小写敏感方式执行,而对TEXT值是大小写不敏感的。换句话说,一个TEXT是一个大小写不敏感的BLOB。 效率来说基本是char>varchar>text,但是如果使用的是Innodb引擎的话,推荐使用varchar代替char char和varchar可以有默认值,text不能指定默认值静态表和动态表 静态表字段长度固定,自动填充,读写速度很快,便于缓存和修复,但比较占硬盘,动态表是字段长度不固定,节省硬盘,但更复杂,容易产生碎片,速度慢,出问题后不容易重建。当只需要一条数据的时候,使用limit 1 表记录中的一行尽量不要超过一个IO单元 区分in和exist select * from 表A where id in (select id from 表B)这句相当于select from 表A where exists(select from 表B where 表B.id=表A.id)对于表A的每一条数据,都执行select * from 表B where 表B.id=表A.id的存在性判断,如果表B中存在表A当前行相同的id,则exists为真,该行显示,否则不显示 区分in和exists主要是造成了驱动顺序的改变(这是性能变化的关键),如果是exists,那么以外层表为驱动表,先被访问,如果是IN,那么先执行子查询。 所以IN适合于外表大而内表小的情况;EXISTS适合于外表小而内表大的情况复杂多表尽量少用join MySQL 的优势在于简单,但这在某些方面其实也是其劣势。MySQL 优化器效率高,但是由于其统计信息的量有限,优化器工作过程出现偏差的可能性也就更多。对于复杂的多表 Join,一方面由于其优化器受限,再者在 Join 这方面所下的功夫还不够,所以性能表现离 Oracle 等关系型数据库前辈还是有一定距离。但如果是简单的单表查询,这一差距就会极小甚至在有些场景下要优于这些数据库前辈。尽量用join代替子查询 虽然 Join 性能并不佳,但是和 MySQL 的子查询比起来还是有非常大的性能优势。 MySQL需要为内层查询语句的查询结果建立一个临时表。然后外层查询语句在临时表中查询记录。查询完毕后,MySQL需要插销这些临时表。所以在MySQL中可以使用连接查询来代替子查询。连接查询不需要建立临时表,其速度比子查询要快。尽量少排序 排序操作会消耗较多的 CPU 资源,所以减少排序可以在缓存命中率高等 IO 能力足够的场景下会较大影响 SQL 的响应时间。 对于MySQL来说,减少排序有多种办法,比如: 上面误区中提到的通过利用索引来排序的方式进行优化 减少参与排序的记录条数 非必要不对数据进行排序尽量避免select * 大多数关系型数据库都是按照行(row)的方式存储,而数据存取操作都是以一个固定大小的IO单元(被称作 block 或者 page)为单位,一般为4KB,8KB… 大多数时候,每个IO单元中存储了多行,每行都是存储了该行的所有字段(lob等特殊类型字段除外)。 所以,我们是取一个字段还是多个字段,实际上数据库在表中需要访问的数据量其实是一样的。 也有例外情况,那就是我们的这个查询在索引中就可以完成,也就是说当只取 a,b两个字段的时候,不需要回表,而c这个字段不在使用的索引中,需要回表取得其数据。在这样的情况下,二者的IO量会有较大差异。尽量少or 当 where 子句中存在多个条件以“或”并存的时候,MySQL 的优化器并没有很好的解决其执行计划优化问题,再加上 MySQL 特有的 SQL 与 Storage 分层架构方式,造成了其性能比较低下,很多时候使用 union all 或者是union(必要的时候)的方式来代替“or”会得到更好的效果。尽量用 union all 代替 union union 和 union all 的差异主要是前者需要将两个(或者多个)结果集合并后再进行唯一性过滤操作,这就会涉及到排序,增加大量的 CPU 运算,加大资源消耗及延迟。所以当我们可以确认不可能出现重复结果集或者不在乎重复结果集的时候,尽量使用 union all 而不是 union。尽量早过滤 在 SQL 编写中同样可以使用这一原则来优化一些 Join 的 SQL。比如我们在多个表进行分页数据查询的时候,我们最好是能够在一个表上先过滤好数据分好页,然后再用分好页的结果集与另外的表 Join,这样可以尽可能多的减少不必要的 IO 操作,大大节省 IO 操作所消耗的时间。避免类型转换 这里所说的“类型转换”是指 where 子句中出现 column 字段的类型和传入的参数类型不一致的时候发生的类型转换: 人为在column_name 上通过转换函数进行转换直接导致 MySQL(实际上其他数据库也会有同样的问题)无法使用索引,如果非要转换,应该在传入的参数上进行转换,由数据库自己进行转换, 如果我们传入的数据类型和字段类型不一致,同时我们又没有做任何类型转换处理,MySQL 可能会自己对我们的数据进行类型转换操作,也可能不进行处理而交由存储引擎去处理,这样一来,就会出现索引无法使用的情况而造成执行计划问题。优先优化高并发的 SQL,而不是执行频率低某些“大”SQL 对于破坏性来说,高并发的 SQL 总是会比低频率的来得大,因为高并发的 SQL 一旦出现问题,甚至不会给我们任何喘息的机会就会将系统压跨。而对于一些虽然需要消耗大量 IO 而且响应很慢的 SQL,由于频率低,即使遇到,最多就是让整个系统响应慢一点,但至少可能撑一会儿,让我们有缓冲的机会。从全局出发优化,而不是片面调整 尤其是在通过调整索引优化 SQL 的执行计划的时候,千万不能顾此失彼,因小失大。尽可能对每一条运行在数据库中的SQL进行 explain 知道 SQL 的执行计划才能判断是否有优化余地,才能判断是否存在执行计划问题。在对数据库中运行的 SQL 进行了一段时间的优化之后,很明显的问题 SQL 可能已经很少了,大多都需要去发掘,这时候就需要进行大量的 explain 操作收集执行计划,并判断是否需要进行优化。尽量避免where子句中对字段进行null值的判断 会导致引擎放弃索引,进而进行全表扫描。 尽量不要给数据库留null值,尽可能地使用not null填充数据库。可以为每个null型的字段设置一个和null对应的实际内容表述。避免在where中使用!=, >, <操作符 否则引擎放弃使用索引,进行全表扫描。常用查询字段建索引避免在where中使用or imagein和not in关键词慎用,容易导致全表扫面 对连续的数值尽量用between通配符查询也容易导致全表扫描避免在where子句中使用局部变量 sql只有在运行时才解析局部变量。而优化程序必须在编译时访问执行计划,这时并不知道变量值,所以无法作为索引的输入项。 image避免在where子句中对字段进行表达式操作 会导致引擎放弃使用索引 image避免在where子句中对字段进行函数操作 image不要where子句的‘=’左边进行函数、算术运算或其他表达式运算 系统可能无法正确使用索引避免update全部字段 只update需要的字段。频繁调用会引起明显的性能消耗,同时带来大量日志。索引不是越多越好 一个表的索引数最好不要超过6个尽量使用数字型字段而非字符型 因为处理查询和连接时会逐个比较字符串的每个字符,而对于数字型而言只需要比较一次就够了。尽可能用varchar/nvarchar代替char/nchar 变长字段存储空间小,对于查询来说,在一个相对较小的字段内搜索效率更高。。。?避免频繁创建和删除临时表,减少系统表资源消耗select into和create table 新建临时表时,如果一次性插入数据量很大,使用select into代替create table,避免造成大量log,以提高速度。 如果数据量不大,为了缓和系统表的资源,先create table,再insert。 拆分大的DELETE和INSERT语句 因为这两个操作是会锁表的,对于高访问量的站点来说,锁表时间内积累的访问数、数据库连接、打开的文件数等等,可能不仅仅让WEB服务崩溃,还会让整台服务器马上挂了。 所以,一定要拆分,使用LIMIT条件休眠一段时间,批量处理。
wangccsy 2019-12-02 01:50:30 0 浏览量 回答数 0
阿里云企业服务平台 陈四清的老板信息查询 上海奇点人才服务相关的云产品 爱迪商标注册信息 安徽华轩堂药业的公司信息查询 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 天籁阁商标注册信息 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 北京芙蓉天下的公司信息查询