• 关于 阿里云mysql 排查性能 的搜索结果

回答

解决方法 您可以利用数据管理(DMS)或者CloudDBA解决MySQL实例CPU使用率过高的问题。本文主要介绍使用DMS来解决CPU使用率过高的问题,如何通过CloudDBA来解决CPU使用率过高的问题,可以参考文档利用CloudDBA解决MySQL实例CPU使用率过高的问题。 数据管理工具提供了几种辅助排查并解决实例性能问题的功能,主要有: 实例诊断报告。 SQL 窗口提供的查询优化建议和查看执行计划。 实例会话。 其中,实例诊断报告是排查和解决 MySQL 实例性能问题的最佳工具。无论何种原因导致的性能问题,建议您首先参考下实例诊断报告,尤其是诊断报告中的 SQL 优化、会话列表和慢 SQL 汇总分。 另外,如果您需要阿里云的技术支持来解决 CPU 使用率高的状况,请参见 https://market.aliyun.com/store/1682301.html。 避免出现 CPU 使用率达到 100% 的一般原则 设置 CPU 使用率告警,实例 CPU 使用率保证一定的冗余度。 应用设计和开发过程中,要考虑查询的优化,遵守 MySQL 优化的一般优化原则,降低查询的逻辑 IO,提高应用可扩展性。 新功能、新模块上线前,要使用生产环境数据进行压力测试(可以考虑使用阿里云 PTS 压力测试工具)。 新功能、新模块上线前,建议使用生产环境数据进行回归测试。 建议经常关注和使用 DMS 中的诊断报告。 注意  关于如何访问DMS中的诊断报告,请参见 RDS 如何访问诊断报告。 如果本条回复帮助你解决了问题,请“采纳”,谢谢

搞么罗 2019-12-02 01:22:02 0 浏览量 回答数 0

回答

您可以利用数据管理(DMS)或者CloudDBA解决MySQL实例CPU使用率过高的问题。本文主要介绍使用DMS来解决CPU使用率过高的问题,如何通过CloudDBA来解决CPU使用率过高的问题,可以参考文档 利用CloudDBA解决MySQL实例CPU使用率过高的问题 。 数据管理工具提供了几种辅助排查并解决实例性能问题的功能,主要有: 实例诊断报告。 SQL 窗口提供的查询优化建议和查看执行计划。 实例会话。 其中,实例诊断报告是排查和解决 MySQL 实例性能问题的最佳工具。无论何种原因导致的性能问题,建议您首先参考下实例诊断报告,尤其是诊断报告中的 SQL 优化、会话列表和慢 SQL 汇总分。 另外,如果您需要阿里云的技术支持来解决 CPU 使用率高的状况,请参见  https://market.aliyun.com/store/1682301.html 。 避免出现 CPU 使用率达到 100% 的一般原则 设置 CPU 使用率告警,实例 CPU 使用率保证一定的冗余度。 应用设计和开发过程中,要考虑查询的优化,遵守 MySQL 优化的一般优化原则,降低查询的逻辑 IO,提高应用可扩展性。 新功能、新模块上线前,要使用生产环境数据进行压力测试(可以考虑使用阿里云 PTS 压力测试工具)。 新功能、新模块上线前,建议使用生产环境数据进行回归测试。 建议经常关注和使用 DMS 中的诊断报告。 注意   关于如何访问DMS中的诊断报告,请参见  RDS 如何访问诊断报告 。 如果本条回复帮助你解决了问题,请“采纳”,谢谢

搞么罗 2019-12-02 01:24:35 0 浏览量 回答数 0

回答

RDS是阿里云提供的即开即用的关系型数据库服务,兼容了MySQL和SQL Server两种数据库引擎。在传统数据库的基础上,阿里云RDS提供了强大丰富的功能从而保证了高可用性、高安全性以及高性能。此外,RDS还提供了诸多便利功能提升了RDS的易用性。 ★高可用: 采用主从热备的架构。主机down机或者出现故障后,备机秒级完成无缝切换,服务可用性承诺:99.95% 提供自动多重备份的机制。用户可以自行选择备份周期,也可以根据自身业务特点随时进行临时备份,数据可靠性承诺:99.9999% 数据回溯到任意时间点。用户可以选择7天内的任意时间点创建一个临时实例,临时实例生成后验证数据无误,即可将数据迁移到RDS实例,从而完成数据回溯操作。 ★高安全 提供白名单访问策略。可自行设置允许访问的IP及IP段,有效防止黑客扫描端口进行服务器攻击。 提供阈值报警的功能。支持实例锁定报警、连接数报警、IOPS报警、磁盘空间使用报警、CPU报警等。 提供SQL注入告警。将对发往RDS的疑似SQL注入的语句进行记录并展示,供用户进行程序调整,杜绝SQL注入的发生。 SQL审计。记录所有发往RDS的SQL语句,系统将记录SQL语句相关的连接IP、访问数据库的名称、执行语句的账号、执行时间、返回记录数等信息。供用户对RDS安全性进行排查。 控制台操作日志。记录所有在控制台上进行的修改类操作,便于管理员查看并管理RDS。 ★高性能 RDS使用高端服务器来保障每个数据库都拥有良好的性能。 针对MySQL类型的RDS,数据库版本融合了阿里巴巴官方数据库补丁,有效的提升了RDS的性能。 性能监控。提供多种监控图方便用户跟踪RDS的性能状况。如IOPS、连接数、磁盘使用空间、CPU利用率、QPS\TPS、网络流量以及多种数据库的内部监控指标图 慢SQL汇总分析。将数据库中的慢SQL进行相似语句去重,按照指定方式排序后进行展示,为用户排查慢SQL优化数据库性能提供帮助。 优化建议。提供多种优化建议方便用户优化数据库性能,如:存储引擎检查、大表检查、无主键检查、索引过多表检查、缺失索引检查等 ★易用性: 提供向导式迁移服务,使用户能够通过WEB端管理控制台轻松将自建数据库迁移至RDS。 快捷查看数据库系统日志,用户能够RDS管理控制台查看数据库级别的系统日志。 便捷操作数据库实例。提供完善的WEB端管理控制台,帮助用户操作数据库实例,如重启实例、删除BINLOG、备份等等。 轻松升级,按量付费。RDS提供实例配置和数据库版本的在线升级服务,随开随用,按量付费,资源业务轻松拓展。 “答案来源于网络,供您参考” 希望以上信息可以帮到您!

牧明 2019-12-02 02:16:59 0 浏览量 回答数 0

云原生Knative训练营

免费开通产品,还有CNCF指尖陀螺等你拿哦~

问题

云服务器专用软件——护卫神系列登陆阿里云

水帛 2019-12-01 21:16:35 9700 浏览量 回答数 2

回答

RDS是阿里云提供的即开即用的关系型数据库服务,兼容了MySQL和SQL Server两种数据库引擎。在传统数据库的基础上,阿里云RDS提供了强大丰富的功能从而保证了高可用性、高安全性以及高性能。此外,RDS还提供了诸多便利功能提升了RDS的易用性。 ★高可用: 采用主从热备的架构。主机down机或者出现故障后,备机秒级完成无缝切换,服务可用性承诺:99.95% 提供自动多重备份的机制。用户可以自行选择备份周期,也可以根据自身业务特点随时进行临时备份,数据可靠性承诺:99.9999% 数据回溯到任意时间点。用户可以选择7天内的任意时间点创建一个临时实例,临时实例生成后验证数据无误,即可将数据迁移到RDS实例,从而完成数据回溯操作。 ★高安全 提供白名单访问策略。可自行设置允许访问的IP及IP段,有效防止黑客扫描端口进行服务器攻击。 提供阈值报警的功能。支持实例锁定报警、连接数报警、IOPS报警、磁盘空间使用报警、CPU报警等。 提供SQL注入告警。将对发往RDS的疑似SQL注入的语句进行记录并展示,供用户进行程序调整,杜绝SQL注入的发生。 SQL审计。记录所有发往RDS的SQL语句,系统将记录SQL语句相关的连接IP、访问数据库的名称、执行语句的账号、执行时间、返回记录数等信息。供用户对RDS安全性进行排查。 控制台操作日志。记录所有在控制台上进行的修改类操作,便于管理员查看并管理RDS。 答案来源于网络

养狐狸的猫 2019-12-02 02:17:40 0 浏览量 回答数 0

问题

常见问题 - 购买 - MySQL CPU 使用率高的原因和解决方法

李沃晟 2019-12-01 21:41:36 607 浏览量 回答数 0

问题

MySQL CPU 使用率高的原因和解决方法

云栖大讲堂 2019-12-01 21:32:14 1590 浏览量 回答数 0

问题

Nginx 502 bad gateway问题应该怎么解决

boxti 2019-12-01 22:02:08 1779 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:11 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:11 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:11 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:12 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:12 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:11 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:12 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:12 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 对于数据可靠性有强需求的业务场景或是有监管需求的金融业务场景,RDS 提供异地灾备实例,帮助用户提升数据可靠性。 背景介绍 RDS 通过数据传输服务(DTS)实现主实例和异地灾备实例之间的实时同步。主实例和灾备实例均搭建主备高可用架构,当主实例所在区域发生突发性自然灾害等状况,主节点(Master)和备节点(Slave)均无法连接时,可将异地灾备实例切换为主实例,在应用端修改数据库链接地址后,即可快速恢复应用的业务访问。 灾备实例可通过 DTS 管理控制台实现同步对象变更、同步速度设置、延迟报警等同步链路原生功能,详细信息请参见 DTS 产品文档。 灾备实例拓扑图如下图所示。 灾备实例还有以下功能特点: 提供独立的数据库连接地址,由用户应用端自助控制连接。 使用主备高可用架构。 支持按小时计费,即开即用,即停即止。 提供独立的白名单配置,账号管理。 计费说明 RDS 灾备实例与主实例配置完全相同,且 RDS 通过数据传输实现主实例和异地灾备实例之间的实时同步。因此,创建灾备实例会同时产生 RDS 和 DTS 两种费用,价格详情请分别参见云数据库 RDS 详细价格信息和数据传输详细价格信息。 前提条件 当前灾备实例只支持数据库类型为 MySQL 的 RDS 实例。 要创建灾备实例,主实例要求 MySQL 5.6 及以上版本。在升级主实例版本前,请做好兼容性测试;或者新建一个 MySQL 5.6 的实例,将数据从主实例复制到新建实例,再在新建实例上创建灾备实例。 创建灾备实例的主实例必须要有内网地址。 功能限制 灾备实例有以下功能限制: 出于同步链路自身稳定性的需要,灾备实例仅支持创建只读权限的账号。 不支持备份设置、备份恢复、数据迁移、数据库管理、申请外网访问地址、修改连接地址功能。 操作步骤 登录 RDS 管理控制台,选择目标实例。 选择菜单中的 基本信息,单击 实例分布中的 添加灾备实例,如下图所示。 在 创建同步作业 页面单击 立即购买实例,购买灾备实例,如下图所示。 参数说明如下: 同步作业名称:同步作业任务名称,可以保持默认 实例 ID(本地实例信息):本地实例的 ID。系统自动关联当前实例 ID,您也可通过单击 其他阿里云账号下的RDS实例,填写 RDS 实例 ID、数据库账号和对应的 密码 实例 ID(目标实例信息):灾备实例的 ID。单击 立即购买实例 购买灾备实例 在 目标RDS实例购买 窗口选择实例所在地域,单击 立即购买,如下图所示。 购买灾备实例暂仅支持选择地域,其余设置信息默认与主实例一致。若有灾备实例升级需求,可在创建成功后在 RDS 管理控制台 对灾备实例进行变更配置。 说明 创建灾备实例需要数分钟时间,在此期间请勿关闭该窗口,否则灾备实例可能会创建失败。 灾备实例购买成功后,实例 ID 自动添加到目标实例 ID 中,单击 授权白名单并进入下一步,如下图所示。 系统自动创建迁移账号,创建完成后,单击 下一步,如下图所示。 说明 灾备实例上会自动生成名称为 dtssyncwriter 的账号供 DTS 同步使用,请勿对该账号进行任何修改或删除操作,否则将引起同步异常。 在 源库对象 中选择要迁移的对象,单击 >将要迁移的对象放入 已选择对象中,单击 下一步,如下图所示。 选择 同步初始化 类型并设置 同步速度,单击 预检查并启动,如下图所示。 参数说明如下: 同步初始化:将本地实例中同步对象的结构及数据迁移一份到灾备实例中,作为后续增量同步数据的基础。同步初始化有结构初始化和全量数据初始化可选,首次同步数据时,两者均需选择。 同步速度:设置主实例和灾备实例间的同步速率,保护主实例的正常业务,单位为 TPS。如果保持默认不填,则同步速度为数据传输服务的性能上限。 说明 以下以预检查不通过为例进行描述,如果预检查通过,请直接参见步骤 12。 系统显示预检查结果,如下图所示。 单击 检测结果 为失败的检测项后的 !,查看失败详细信息,根据失败详细信息完成错误排查。 错误排查完毕后,在 同步作业列表页面,单击当前同步任务后的 启动同步,如下图所示。 系统预检查通过后,单击 确定,自动启动同步任务,如下图所示。 在 DTS 数据同步列表页面可以查询创建的同步任务,并可以对同步任务进行修改同步对象、设置监控报警、修改同步速度等操作,详情请参见 DTS 产品文档。 说明 为保障灾备实例数据的实时性,请不要暂停同步灾备实例的同步任务。

2019-12-01 22:57:12 0 浏览量 回答数 0

问题

Windows实例带宽和CPU跑满或跑高排查

李沃晟 2019-12-01 21:21:26 1280 浏览量 回答数 1

问题

如何排查ECS下Windows实例带宽和CPU跑满或跑高

boxti 2019-12-01 21:47:54 2607 浏览量 回答数 0

回答

下表介绍了Web+自2019年6月14日公测上线以来的迭代版本的重要功能说明以及相关文档链接。 2020-02-06 功能名称 功能描述 功能类型 相关文档 一键部署WordPress应用 可以在控制台上一键部署WordPress应用程序,默认使用单机部署的MySQL数据库,降低启动成本。 新增 一键启动WordPress 支持编排Redis资源 可以在控制台界面上直接添加和配置Redis资源。 新增 云数据库Redis 开放Nginx配置文件的编辑功能 在控制台概览页右侧可以查看各开发语言的快速入门交互式教程。 新增 反向代理服务器 免费的OSS存储空间 在创建应用的时候可以选择使用由系统提供的免费OSS存储空间。 优化 / 2019-12-05 功能名称 功能描述 功能类型 相关文档 支持域名托管 支持托管阿里云云解析和任何第三方域名服务提供商处注册的域名。 新增 域名托管 支持分批部署 当部署环境有多台实例的时候,支持按照指定规则进行分批部署,以保证业务不中断。 新增 部署环境 各开发语言的交互式教程 在控制台概览页右侧可以查看各开发语言的快速入门交互式教程。 新增 / 开通向导优化 支持一键开通及授权相关产品。 优化 开通Web+相关服务并授权 部署环境配置界面优化 以架构图的方式展现环境配置信息,并可以进行编辑操作。 优化 / 支持禁用健康检查 部署环境默认禁用健康检查,您可以在环境配置界面选择手动开启。 优化 配置健康检查 2019-09-29 功能名称 功能描述 功能类型 相关文档 代购ECS实例 支持使用控制台和CLI代购包年包月的ECS实例。 新增 ECS实例 代购SLB实例 支持使用CLI代购包年包月SLB实例。 新增 使用CLI配置SLB 代购RDS实例 支持使用CLI代购包年包月RDS实例。 新增 使用CLI配置RDS 支持HTTPS访问 可以在SLB和反向代理层配置证书实现HTTPS访问。 新增 为部署环境配置HTTPS 2019-09-25 功能名称 功能描述 功能类型 相关文档 正式商用 正式商用后Web+仍然免费,您只需要对用到的底层资源付费。 新增 / 2019-09-04 功能名称 功能描述 功能类型 相关文档 支持导入已购买的ECS实例 您在ECS控制台购买的ECS实例,可在Web+导入使用。 新增 导入ECS实例 支持.NET Core应用 支持在Web+控制台托管.NET Core应用。 新增 设置ASP.NET Core开发环境 部署ASP.NET Core应用至Web+ 支持Ruby应用 支持在Web+控制台托管Ruby应用。 新增 配置Ruby开发环境 部署Ruby on Rails应用至Web+ 显示部署环境资源 在部署环境概览页,可以展示部署环境内包含的资源。 新增 部署环境信息说明 2019-08-12 功能名称 功能描述 功能类型 相关文档 支持Python应用 支持在Web+控制台托管Python应用。 新增 设置Python开发环境 使用Flask开发应用 使用Django开发应用 反向代理优化 支持关闭反向代理服务器。 新增 反向代理服务器 2019-08-06 功能名称 功能描述 功能类型 相关文档 支持Go应用 支持在Web+控制台托管Go应用。 新增 设置Go开发环境 将Beego应用部署到Web+ 向Go应用的部署环境中添加RDS实例 支持PHP应用 支持在Web+控制台托管PHP应用。 新增 设置PHP开发环境 使用Symfony开发应用 使用Laravel框架开发应用 支持导入SLB实例 您在SLB控制台购买的SLB实例,可导入Web+使用。 新增 导入负载均衡SLB 应用生命周期挂钩脚本 Web+提供了通过设置命令来管理用户的服务进程,以及通过设置生命周期挂钩来简化部署、监控、运维和治理等应用生命周期管理操作。 新增 命令与生命周期挂钩 增加技术栈版本 在部分技术栈内,有多个技术栈版本可选择。 新增 技术栈 2019-07-25 功能名称 功能描述 功能类型 相关文档 功能优化 产品功能性能优化,使Web+的使用体验更良好。 优化 / 2019-07-15 功能名称 功能描述 功能类型 相关文档 支持Node.js应用 支持在Web+托管Node.js语言的应用。 新增 设置Node.js开发环境 将Express应用部署到Web+ 向Node.js应用部署环境中添加RDS数据库实例 支持RDS 支持在控制台和CLI内为部署环境配置RDS。 新增 云数据库RDS 变更操作清单 在部署环境中变更配置时,会罗列出变更资源的清单。 新增 / 2019-06-14 功能名称 功能描述 功能类型 相关文档 产品正式公测 Web+正式在阿里云公测上线,免费开放给用户托管应用。 新增 什么是Web应用托管服务Web+? 支持Java技术栈应用 支持在控制台和CLI内将Java技术栈的应用托管至Web+。 新增 设置Java开发环境 使用Spring Boot开发应用 向Java应用的部署环境中添加RDS实例 支持Tomcat技术栈应用 支持在控制台和CLI内将Tomcat技术栈的应用托管至Web+。 新增 项目文件夹结构设置 使用Web+部署Tomcat应用 日志和诊断 支持下载日志和诊断信息排查问题。 新增 查看日志 支持控制台部署 可以在控制台快速创建应用并部署。 新增 在Web+控制台快速部署应用 支持CLI部署 可以使用CLI快速创建应用并部署。 新增 使用CLI快速部署Java应用

1934890530796658 2020-03-23 15:41:58 0 浏览量 回答数 0

问题

词汇表是什么样的?(S-V)

轩墨 2019-12-01 22:06:08 2089 浏览量 回答数 0

回答

前言 这篇文章适合所有的 C# 开发新手、老鸟以及想准备学习开发 C# 的程序猿。.NET Core是一个开源通用的开发框架,支持跨平台, 阿里云函数计算推出了 dotnetcore2.1 runtime, 使用 C# 编写 serverless 函数, 详情见官方文档:C# 函数入口. 在官方文档描述中,我们获知阿里云函数计算可以很好支持 asp.net core 的 Applicaiton: ASP.NET Core Web API ASP.NET Core Web App ASP.NET Core Web App (Model-View-Controller) 在介绍 Serverless Web 开发新模式之前,我们先了解下将 C# WebApi/WebApp Serverless 化的好处: 无需采购和管理服务器等基础设施 弹性伸缩,动态扩容 免运维, 极大降低人力成本 按需付费,财务成本低 本文以部署一个完善的 asp.net core 工程 Blogifier 为例,在函数计算环境中为例,向您讲解如何使用阿里云函数计算快速构建或移植基于 asp.net core 开发的 WebApi/WebApp ,通过本文,您将会了解以下内容: 案例概览 传统服务器架构 VS Serverless架构 Serverless架构详解 函数计算运行 Asp.net core App 原理 案例开发配置步骤 案例概览 在本教程中,我们讲解如何利用函数计算一步一步来构建 Web 的 Server 端,该案例是把一个 asp.net core 工程Blogifier 部署到函数计算,本文旨在展示函数计算做 Web Backend 能力,具体表现为以下几点: 完善的 ASP.NET Core Web 系统迁移到 FC 的成本不高 FC 打通了专有网络 VPC 功能,用户的函数可以配置访问专有网络的云资源,比如本案例中 NAS 案例体验入口: http://dotnet.mofangdegisn.cn/ https://dotnet.mofangdegisn.cn/ 传统服务器架构 VS Serverless架构 正常来说,用户开发 Server 端服务,常常面临开发效率,运维成本高,机器资源弹性伸缩等痛点,而使用 Serverless 架构可以很好的解决上述问题。下面是传统架构和 Serverless 架构的对比: image 阿里云函数计算是一个事件驱动的全托管计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,并提供日志查询,性能监控,报警等功能。借助于函数计算,您可以快速构建任何类型的应用和服务,无需管理和运维。 Serverless 架构详解 image.png 从上面的示例图中,整体架构十分简单明了, 用 FC 替代了 Web 服务器,但是换来的是免运维,弹性扩容,按需付费等一系列优点 函数计算运行 Asp.net Core App 原理 Asp.net Core App 运行在服务器上 image A http request to your website will go through IIS/Nginx, then Kestrel, and finally will be passed on to ASP.NET Core Asp.net Core App 运行在函数计算上 image 请求通过函数(with http trigger), 最后到达ASP.NET Core tips: 基于函数计算环境运行新建 asp.net core app 可以参考dotnet runtime HTTP 触发器的函数入口示例 在本文中,我们展示把一个现有的成熟的 asp.net core 工程低成本无缝迁移到函数计算环境。 案例开发配置步骤 准备工作 1. 创建 NAS 挂接点,配置 VPC , 具体参考函数计算nas使用示例 注:在本示例中使用 sqlite3 数据库,这种文件类型的数据库直接放置在 nas 即可,如果使用 mysql 等其他数据库, 需要创建 RDS 数据库, 配置 VPC , 具体参考通过 VPC 访问 RDS 实例 可选操作,在准备函数的 region 创建日志,用于函数的调试, 具体参考函数计算配置日志服务 创建函数 创建 Service (假设是 csharp-web), 配置准备 vpc config , nas config 和日志服务,比如案例体验的 Service 配置如下图: image 下载 asp.net core 工程,Blogifier, 用 vs 打开, debug 本地可以正常运行。 注:本地安装 dotnetcore2.1 在工程中增加入口函数,使得该工程可在函数计算执行环境运行,diff dotnet publish -c Release, 跳转到publish目录, 将相关的静态资源/可写/共享目录移动到上述配置的 NAS 的某个目录(这里假设是 www目录, 对应步骤2中的diff) dotnet publish -c Release cp -r plugins/Common/bin/Release/netcoreapp2.1/publish/* src/App/bin/Release/netcoreapp2.1/publish/ src/App/bin/Release/netcoreapp2.1/publish/ mkdir lib // 选择函数计算执行环境所需要的so, 其他的删除即可 cp runtimes/linux-x64/native/libe_sqlite3.so ./lib // 这里是传送对应的静态文件和 app.db 到 nas 中, 详情看下面的描述 rm -rf wwwroot app.db runtimes zip -r code.zip * // 最后使用这个 code.zip 创建 handler 为 App::App.FcRemoteEntrypoint::HandleRequest 函数 将 publish 目录下的 wwwroot 和 app.db 传送到 nas 的 www 目录, 可以使用 ecs 挂载 nas 传输过去, 也可以采用如下简单函数传输过去 |-- index.py |-- www 注: www目录下面有 wwwroot 和 app.db index.py代码: -- coding: utf-8 -- import logging import os def handler(event, context): os.system("mkdir -p /mnt/share/www") os.system("cp -r /code/www/* /mnt/share/www/") os.system("chmod -R 777 /mnt/share/www") print( os.system("ls -ll /mnt/share/www") ) return 'ok' 基于上述代码创一个函数 move-res-nas , 执行函数,将相关静态和共享资源移动到 NAS 的/mnt/share/www/ 目录。 注:最新版本的 Fun 工具已经支持 NAS 相关操作, 有兴趣的同学可以使用 Fun 完成 NAS, VPC 的自动生成、配置以及网站工程文件上传到 NAS 创建入口函数 blog (使用上一步骤中的 code.zip ), 给函数设置 http trigger ,类型为 anonymous , 类型都选上。给函数入口配置自定义域名(操作过程请参考:绑定自定义域名示例), 具体配置假设如下: image 注意: 绑定自定义域名之后,不用使用控制台来进行调试,就只能使用浏览器来触发函数,日志服务来进行调试。 总结 函数计算有如下优势: 无需采购和管理服务器等基础设施 专注业务逻辑的开发 提供日志查询、性能监控、报警等功能快速排查故障 以事件驱动的方式触发应用响应用户请求 毫秒级别弹性伸缩,快速实现底层扩容以应对峰值压力 按需付费。只需为实际使用的计算资源付费,适合有明显波峰波谷的用户访问场景 除了上面所列的优势,FC 可以做为 Web Backend,只需要编写一个函数实现传统 Web 服务器中的 conf 中的逻辑,就可以将一个完整的 Web 工程迁移到 FC ,从而从传统的 Web 网站运维,监控等繁琐的事务中解放出来。

1934890530796658 2020-03-27 17:30:59 0 浏览量 回答数 0

回答

使用云服务器 ECS 时,若出现服务的速度变慢,或 ECS 实例突然断开,可以考虑服务器带宽和 CPU 是否有跑满或跑高的问题。若您预先创建报警任务,当带宽和 CPU 跑满或跑高时,系统将自动进行报警提醒。Windows 系统下,您可以按如下步骤进行排查: 定位问题。找到影响带宽和 CPU 跑满或跑高的具体进程。分析处理。排查影响带宽和 CPU 跑满或跑高的进程是否正常,并分类进行处理。 对于 正常进程:您需要对程序进行优化或者升级服务器配置。对于 异常进程:您可以手动对进程进行查杀,也可以让使用第三方安全工具去查杀。 定位问题 微软有多个工具可以定位 CPU 和带宽跑满或跑高的问题,例如任务管理器,资源监视器(Resource Monitor),性能监视器(Performance Monitor), Process Explorer,Xperf (Windows server 2008 以后),抓取系统 Full Memory Dump 检查。在流量大的情况下,您还可以使用 Wireshark 抓取一段时间的网络包,分析流量使用情况。 注意: Windows 2008 版以上,通常使用系统自带的资源监视器监控 CPU 和带宽。 操作步骤 在桌面底部单击 开始 菜单,选择 运行。 打开运行框后,在框中输入 perfmon -res 并单击 确定。 在 资源监视器 页面中,查看各进程是否有 CPU 或带宽跑满/跑高的现象。 针对占用资源较高的进程,查看对应的进程 ID 和进程的程序名。 定位进程 ID 后,结合任务管理器判断程序是否异常并定位程序的具体位置。 定位异常进程前,需要在任务管理器中选择 查看(V) > 选择列(S)… 。 在弹出的框中选择 PID(进程标识符),单击 确定。 任务管理器的 进程 页面中,将会增加 PID 这一项。 单击 PID 项,通过排序,找到之前资源监视器查看到的异常进程。右击进程名称,选择 打开文件位置,定位进程是不是恶意程序。 CPU 和带宽跑满或跑高的分析处理 您需要判断影响 CPU 和带宽跑满或跑高的进程,属于正常进程还是异常进程,并分类进行处理。 正常跑满或跑高的分析处理 正常情况下,当客户频繁访问业务,或由于 Windows 自身服务(更新服务等)都可能会占用较高网络流量和 CPU 。针对正常进程导致的 CPU 和带宽跑满或跑高的情况,请按照如下顺序逐一进行排查。 注意: Windows 2008 / Windows 2012 服务器建议内存配置在 2G 或者 2G 以上。 检查后台是否有执行 Windows Update 的行为。 建议在服务器上安装杀毒软件,进行杀毒。如有安装杀毒软件,请检查 CPU 或带宽飙高时,杀毒软件是否在后台执行扫描操作。如果可能,请升级杀毒软件到最新版本,或者删除杀毒软件。 检查该 ECS 内应用程序是否有大量的磁盘访问/网络访问行为/高计算需求。通过尝试增配实例规格的方式,使用更多核数/内存的规格来解决资源瓶颈问题,如升级带宽。 若自身服务器配置较高,再去升级配置已经没有太大意义。架构方面也并非是服务器配置越高就越好。此时,您需要尝试进行应用分离,同时对相关程序进行优化。示例说明如下: 问题描述:当一个服务器上面同时部署了 MySQL,PHP,Web 等多种应用,即使配置比较高,也很容易出现资源负载异常。 解决方法:尝试应用分离,通过不同的服务器去承载不同的应用。比如数据库完全通过 RDS 来承载,减轻服务器本身的资源消耗和服务器内部大量的调用。而程序优化方面,您可以根据自身的配置状况进行调整,比如调整连接数和缓存配置,以及 Web 和数据库调用时的各项参数等。 异常跑满或跑高的分析处理 对于 CPU 和带宽异常跑满或跑高的情况,可能是被恶意病毒、木马入侵导致的。有时三方恶意程序可能会利用操作系统的svchost.exe,或者 Tcpsvcs.exe来伪装,引起高带宽的占用。您需要手动对异常进程进行查杀。 注意:若您无法判断进程是否为病毒或木马,建议将进程名称在网上进行搜索后确认。另外,建议您进行进程删除操作前,提前创建快照完成备份。 使用商业版杀毒软件,或使用微软免费安全工具 Microsoft Safety Scanner,在安全模式下进行扫描杀毒,链接如下:https://www.microsoft.com/security/scanner/zh-cn/default.aspx 。 运行 Windows Update 来安装最新的微软安全补丁。 使用 MSconfig 禁用所有非微软自带服务驱动,检查问题是否再次发生,具体请参考:如何在 Windows 中执行干净启动。 若服务器或站点遭受 DDOS 攻击或 CC 攻击等,短期内产生大量的访问需求。您可以登录阿里云管理控制台,查看云盾中的防护 DDOS 攻击是否调整好阈值,并核实是否开启 CC 防护。如果攻击没有触发到阈值,云盾没有清洗,可以联系售后协助开起清洗。

小川游鱼 2019-12-02 00:16:03 0 浏览量 回答数 0

问题

DRDS 错误代码如何解决?

猫饭先生 2019-12-01 21:21:21 7993 浏览量 回答数 0

问题

灾备实例

云栖大讲堂 2019-12-01 21:37:27 999 浏览量 回答数 0

问题

OpenSearch的发布历史有哪些?

轩墨 2019-12-01 20:55:30 978 浏览量 回答数 0

回答

12月17日更新 请问下同时消费多个topic的情况下,在richmap里面可以获取到当前消息所属的topic吗? 各位大佬,你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据? 这个问题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的?kafka connector 的原理是定时去轮询,这样如果表多了,会不会影响业务库的性能?甚至把业务库搞挂? 有没有flink 1.9 连接 hive的例子啊?官网文档试了,没成功 请问各位是怎么解决实时流数据倾斜的? 请问一下,对于有状态的任务,如果任务做代码升级的时候,可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢?是否会有影响数据逻辑的地方呢? 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗? 比如五分钟输出一次,就是7点输出0点到7点的累计用户,7:05输出0点到7:05的累计用户。 但是我这里有多个维度,现在用redis来做的。 想知道有没有更好的姿势? 实时数仓用什么存储介质来存储维表,维表有大有小,大的大概5千万左右。 各位大神有什么建议和经验分享吗? 请教个问题,就是flink的窗口触发必须是有数据才会触发吗?我现在有个这样的需求,就是存在窗口内没有流数据进入,但是窗口结束是要触发去外部系统获取上一个窗口的结果值作为本次窗口的结果值!现在没有流数据进入窗口结束时如何触发? kafkaSource.setStartFromTimestamp(timestamp); 发现kafkasource从指定时间开始消费,有些topic有效,有效topic无效,大佬们有遇到过吗? 各位大佬,flink两个table join的时候,为什么打印不出来数据,已经赋了关联条件了,但是也不报错 各位大佬 请教一下 一个faile的任务 会在这里面存储展示多久啊? 各位大佬,我的程序每五分钟一个窗口做了基础指标的统计,同时还想统计全天的Uv,这个是用State就能实现吗? 大佬们,flink的redis sink是不是只适用redis2.8.5版本? 有CEP 源码中文注释的发出来学习一下吗? 有没有拿flink和tensorflow集成的? 那位大神,给一个java版的flink1.7 读取kafka数据,做实时监控和统计的功能的代码案例。 请问下风控大佬,flink为风控引擎做数据支撑的时候,怎么应对风控规则的不断变化,比如说登录场景需要实时计算近十分钟内登录次数超过20次用户,这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存?广播没办法改CEP flink支持多流(大于2流)join吗? 谁能帮忙提供一下flink的多并行度的情况下,怎么保证数据有序 例如map并行度为2 那就可能出现数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥? flink 一个流计算多个任务和 还是一个流一个任务好? flink 1.9 on yarn, 自定义个connector里面用了jni, failover以后 就起不来了, 报错重复load so的问题。 我想问一下 这个,怎么解决。 难道flink 里面不能用jni吗。 ide里面调试没有问题,部署到集群就会报错了,可能什么问题? 请教一下对于长时间耗内存很大的任务,大家都是开checkpoint机制,采用rocksdb做状态后端吗? 请问下大佬,flink jdbc读取mysql,tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器,Hive集成,Python API这几个功能好像都是预览版,请问群里有大佬生产环境中使用这些功能了吗? 想做一个监控或数据分析的功能,如果我flink 的datastreaming实现消费Kafka的数据,但是我监控的规则数据会增加或修改,但是不想停这个正在运行的flink程序,要如何传递这个动态变化的规则数据,大神给个思路,是用ConnectedStream这个吗?还是用Broadcast ?还有一个,比如我的规则数据是存放在Mysql表中,用什么事件隔30秒去触发读取mysql规则表呢?谢谢! 想做一个监控或数据分析的功能,如果我flink 的datastreaming实现消费Kafka的数据,但是我监控的规则数据会增加或修改,但是不想停这个正在运行的flink程序,要如何传递这个动态变化的规则数据,大神给个思路,是用ConnectedStream这个吗?还是用Broadcast ?还有一个,比如我的规则数据是存放在Mysql表中,用什么事件隔30秒去触发读取mysql规则表呢?谢谢! 各位大佬,在一个 Job 计算过程中,查询 MySQL 来补全额外数据,是一个好的实践嘛?还是说流处理过程中应该尽量避免查询额外的数据? Flink web UI是jquery写的吗? 12月9日更新 成功做完一次checkpoint后,会覆盖上一次的checkpoint吗? 数据量较大时,flink实时写入hbase能够异步写入吗? flink的异步io,是不是只是适合异步读取,并不适合异步写入呀? 请问一下,flink将结果sink到redis里面会不会对存储的IO造成很大的压力,如何批量的输出结果呢? 大佬们,flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后,从这一个流中获取数据进行两条业务线的操作,是可以的吗? flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗? 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们,task端rocksdb状态 保存路径默认是在哪里的啊?我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗? 求助各位大佬,一个sql里面包含有几个大的hop滑动窗口,如15个小时和24个小时,滑动步长为5分钟,这样就会产生很多overlap 数据,导致状态会很快就达到几百g,然后作业内存也很快达到瓶颈就oom了,然后作业就不断重启,很不稳定,请问这个业务场景有什么有效的解决方案么? 使用jdbcsink的时候,如果连接长时间不使用 就会被关掉,有人遇到过吗?使用的是ddl的方式 如何向云邪大佬咨询FLink相关技术问题? 请问各位公司有专门开发自己的实时计算平台的吗? 请问各位公司有专门开发自己的实时计算平台的吗? 有哪位大佬有cdh集成安装flink的文档或者手册? 有哪位大佬有cdh集成安装flink的文档或者手册? 想问下老哥们都是怎么统计一段时间的UV的? 是直接用window然后count嘛? Flink是不是也是这样的? 请问现在如有个实时程序,根据一个mysql的维表来清洗,但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql,然后存在对象中,流清洗的时候读取这个数据,这个想法可行吗?我目前在主类里面定义一个对象,然后往里面更新,发现下面的map方法之类的读不到我更新进去的值 有大佬做过flink—sql的血缘分析吗? 12月3日更新 请教一下,为什么我flume已经登录成功了keytab认证的kafka集群,但是就是消费不到数据呢? flink 写入mysql 很长一段时间没有写入,报错怎么解决呢? flink timestamp转换为date类型,有什么函数吗 Run a single Flink job on YARN 我采用这种模式提交任务,出现无法找到 开启 HA 的ResourceManager Failed to connect to server: xxxxx:8032: retries get failed due to exceeded maximum allowed retries number: 0 有大佬遇到过吗 ? 各位大佬,请问有Flink写S3的方案吗? flink 连接hbase 只支持1.4.3版本? onnector: type: hbase version: "1.4.3" 请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发里数据源配置了RDS,但是在RDS里没有看到创建的表,是为什么呢? Tumbling Window里的数据,是等窗口期内的数据到齐之后一次性处理,还是到了一条就处理一条啊 双流join后再做time window grouping. 但是双流join会丢失时间属性,请问大家如何解决 stream processing with apache flink,这本书的中译版 现在可以买吗? flink on yarn时,jm和tm占用的内存最小是600M,这个可以修改吗? 各位大佬,使用默认的窗口Trigger,在什么情况下会触发两次啊?窗口关闭后,然后还来了这个窗口期内的数据,并且开了allowedLateness么? flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗? 各位大佬,flink任务的并发数调大到160+以后,每隔几十分钟就会出现一次TM节点连接丢失的异常,导致任务重启。并发在100时运行比较稳定,哪位大佬可以提供下排查的思路? 感觉stateful function 是下一个要发力的点,这个现在有应用案例吗? 我有2个子网(a子网,b子网)用vpn联通,vpn几周可能会断一次。a子网有一个kafka集群,b子网运行我自己的flink集群和应用,b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去。我的问题是,如果vpn断开,flink consumer会异常整个作业退出吗?如果作业退出,我重连vpn后,能从auto checkpoint再把flink应用恢复到出错时flink kafka consumer应该读取的partition/offset位置吗?flink的checkpoint除了保存自己开发的算子里的state,kafkaconsumer里的partition/offset也会保存和恢复吗? flink的反压为什么不加入metrics呢 hdfs是不是和flink共用一个集群? flink消费kafka,可以从指定时间消费的吗?目前提供的接口只是根据offset消费?有人知道怎么处理? flink 的Keyby是不是只是repartition而已?没有将key相同的数据放到一个组合里面 电商大屏 大家推荐用什么来做吗? 我比较倾向用数据库,因为有些数据需要join其他表,flink充当了什么角色,对这个有点迷,比如统计当天订单量,卖了多少钱,各个省的销量,销售金额,各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来,有大神知道吗? 有没有人能有一些flink的教程 代码之类的分享啊 采用了checkpoint,程序停止了之后,什么都不改,直接重启,还是能接着继续运行吗?如果可以的话,savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗,能不能分享一下操作的流程方法 checkpoint是有时间间隔的,也就可以理解为checkpoint是以批量操作的,那如果还没进行ckecnpoint就挂了,下次从最新的一次checkpoint重启,不是重复消费了? kafka是可以批量读取数据,但是flink是一条一条处理的,应该也可以一条一条提交吧。 各位大佬,flink sql目前是不是不支持tumbling window join,有人了解吗? 你们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗? 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过这个问题? 请教一下各位,这段代码里面,我想加一个trigger,实现每次有数据进window时候,就输出,而不是等到window结束再输出,应该怎么加? 麻烦问下 flink on yarn 执行 客户端启动时 报上面错,是什么原因造成的 求大佬指点 ERROR org.apache.flink.client.program.rest.RestClusterClient - Error while shutting down cluster java.util.concurrent.ExecutionException: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted. 大家怎么能动态的改变 flink WindowFunction 窗口数据时间 flink on yarn之后。yarn的日志目录被写满,大家如配置的? Flink1.9 启动 yarn-session报这个错误 怎么破? yarn 模式下,checkpoint 是存在 JobManager的,提交任务也是提交给 JobManager 的吧? heckpoint机制,会不会把window里面的数据全部放checkpoint里面? Flink On Yarn的模式下,如果通过REST API 停止Job,并触发savepiont呢 jenkins自动化部署flink的job,一般用什么方案?shell脚本还是api的方式? 各位大佬,开启增量checkpoint 情况下,这个state size 是总的checkpoint 大小,还是增量上传的大小? 想用状态表作为子表 外面嵌套窗口 如何实现呢 因为状态表group by之后 ctime会失去时间属性,有哪位大佬知道的? 你们有试过在同样的3台机器上部署两套kafka吗? 大家有没有比较好的sql解析 组件(支持嵌套sql)? richmapfuntion的open/close方法,和处理数据的map方法,是在同一个线程,还是不同线程调用的? flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ,我不是只启动了5个container么? Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print的时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候,怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些权限? 用java api写的kafka consumer能消费到的消息,但是Flink消费不到,这是为啥? 我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么? flink1.7.2,场景是一分钟为窗口计算每分钟传感器的最高温度,同时计算当前分钟与上一分钟最高温 001 Flink集群支持kerberos认证吗?也就是说flink客户端需要向Flink集群进行kerberos认证,认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗? 如果要对客户端提交作业到flink进行访问控制,你们有类似的这种使用场景吗? flink可以同时读取多个topic的数据吗? Flink能够做实时ETL(oracle端到oracle端或者多端)么? Flink是否适合普通的关系型数据库呢? Flink是否适合普通的关系型数据库呢? 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次,从source 到flink到sink? 在SQL的TUMBLE窗口的统计中,如果没数据进来的,如何让他也定期执行,比如进行count计算,让他输出0? new FlinkKafkaConsumer010[String]("PREWARNING",new JSONKeyValueDeserializationSchema(true), kafkaProps).setStartFromGroupOffsets() ) 我这样new 它说要我传个KeyedDeserializationSchema接口进去 flink里面broadcast state想定时reload怎么做?我用kafka里的stream flink独立模式高可用搭建必需要hadoop吗? 有人用增量cleanupIncrementally的方式来清理状态的嘛,感觉性能很差。 flink sink to hbase继承 RichOutputFormat运行就报错 kafka 只有低级 api 才拿得到 offset 吗? 有个问题咨询下大家,我的flinksql中有一些参数是要从mysql中获取的,比如我flink的sql是select * from aa where cc=?,这个问号的参数需要从mysql中获取,我用普通的jdbc进行连接可以获的,但是有一个问题,就是我mysql的数据改了之后必须重启flink程序才能解决这个问题,但这肯定不符合要求,请问大家有什么好的办法吗? flink里怎样实现多表关联制作宽表 flink写es,因为半夜es集群做路由,导致写入容易失败,会引起source的反压,然后导致checkpoint超时任务卡死,请问有没有办法在下游es处理慢的时候暂停上游的导入来缓解反压? flink 写parquet 文件,使用StreamingFileSink streamingFileSink = StreamingFileSink.forBulkFormat( new Path(path), ParquetAvroWriters.forReflectRecord(BuyerviewcarListLog.class)). withBucketAssigner(bucketAssigner).build(); 报错 java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer 1.7.2 NoWindowInnerJoin这个实现,我看实现了CleanupState可更新过期时间删除当前key状态的接口,是不是这个1.7.2版本即使有个流的key一直没有被匹配到他的状态也会被清理掉,就不会存在内存泄漏的问题了? flink1.7.2 想在Table的UDAF中使用State,但是发现UDAF的open函数的FunctionContext中对于RuntimeContext是一个private,无法使用,大佬,如何在Table的UDAF中使用State啊? Flink有什么性能测试工具吗? 项目里用到了了KafkaTableSourceSinkFactory和JDBCTableSourceSinkFactory。maven打包后,META-INF里只会保留第一个 标签的org.apache.flink.table.factories.TableFactory内容。然后执行时就会有找不到合适factory的报错,请问有什么解决办法吗? 为什么这个这段逻辑 debug的时候 是直接跳过的 各位大佬,以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录? 想问一下,我要做一个规则引擎,需要动态改变规则,如何在flink里面执行? flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎,需要动态改变规则,如何在flink里面执行? 我要用sql做一个规则引擎,需要动态改变规则,如何在flink里面执行? 一般公司的flink job有没有进程进行守护?有专门的工具或者是自己写脚本?这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小? Flink container was removed这个咋解决的。我有时候没有数据的时候也出现这 大家有没有这种场景,数据从binlog消费,这个信息是订单信息,同一个订单id,会有不同状态的变更 问大家个Hive问题,新建的hive外部分区表, 怎么把HDFS数据一次性全部导入hive里 ? flink里面的broadcast state值,会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时,如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗?比如kafka里的写数据没停,窗口计算的应用停掉一段时间再开起 请问下,想统计未退费的订单数量,如果一个订单退费了(发过来一个update流),flink能做到对结果进行-1吗,这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作。然后将结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重,有哪位同学实践过吗? 你们的去重容许有误差?因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果,你们会认为是同一条记录? 我就运行了一个自带的示例,一运行就报错然后web页面就崩了 flink定时加载外部数据有人做过吗? NoSuchMethodError: org.apache.flink.api.java.Utils.resolveFactory(Ljava/lang/ThreadLocal;Ljava/lang/Object;)Ljava/util/Optional 各位知道这个是那个包吗? flink 可以把大量数据写入mysql吗?比如10g flink sql 解析复杂的json可以吗? 在页面上写规则,用flink执行,怎么传递给flink? 使用cep时,如何动态添加规则? 如何基于flink 实现两个很大的数据集的交集 并集 差集? flink的应用场景是?除了实时 各位好,请教一下,滑动窗口,每次滑动都全量输出结果,外部存储系统压力大,是否有办法,只输出变化的key? RichSinkFunction close只有任务结束时候才会去调用,但是数据库连接一直拿着,最后成了数据库连接超时了,大佬们有什么好的建议去处理吗?? 为啥我的自定义函数注册,然后sql中使用不了? 请问一下各位老师,flink flapmap 中的collector.collect经常出现Buffer pool is destroyed可能是什么原因呢? 用asyncIO比直接在map里实现读hbase还慢,在和hbase交互这块儿,每个算子都加了时间统计 请教一下,在yarn上运行,会找不到 org.apache.flink.streaming.util 请问下大佬,flink1.7.2对于sql的支持是不是不怎么好啊 ,跑的数据一大就会报错。 各位大佬,都用什么来监控flink集群? flink 有那种把多条消息聚合成一条的操作吗,比如说每五十条聚合成一条 如何可以让checkpoint 跳过对齐呢? 请问 阿里云实时计算(Blink)支持这4个源数据表吗?DataHub Kafka MQ MaxCompute? 为啥checkpoint时间会越来越长,请问哪位大佬知道是因为啥呢? 请问Flink的最大并行度跟kafka partition数量有关系吗? source的并行度应该最好是跟partition数量一致吧,那剩下的算子并行度呢? Flink有 MLIB库吗,为什么1.9中没有了啊? 请教一下,有没有flink ui的文章呢?在这块内存配置,我给 TM 配置的内存只有 4096 M,但是这里为什么对不上呢?请问哪里可以看 TM 内存使用了多少呢? 请教个问题,fink RichSinkFunction的invoke方法是什么时候被调用的? 请教一下,flink的window的触发条件 watermark 小于 window 的 end_time。这个 watermark 为什么是针对所有数据的呢?没有设计为一个 key 一个 watermark 呢? 就比如说有 key1、key2、key3,有3个 watermark,有 3个 window interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢? 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ;2、不同的运算如何不借助外部系统的存储作为另外一个运算的source 请教各位一个问题,flink中设置什么配置可以取消Generic这个泛型,如图报错: 有大佬在吗,线上遇到个问题,但是明明内存还有200多G,然后呢任务cancel不了,台也取消不了程序 flink遇到The assigned slot container_1540803405745_0094_01_000008_1 was removed. 有木有大佬遇到过。在flink on yarn上跑 这个报错是什么意思呢?我使用滑动窗口的时候出现报错 flink 双流union状态过期不清理有遇到的吗? 大家有没有这种场景,数据从binlog消费,这个信息是订单信息,同一个订单id,会有不同状态的变更,如果订单表与商品明细join查询,就会出现n条重复数据,这样数据就不准了,flink 这块有没有比较好的实战经验的。 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows,但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的? flink 有办法 读取 pytorch的 模型文件吗? 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows,但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的? flink timestamp转换为date类型,有什么函数吗 flink 写入mysql 很长一段时间没有写入,报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗? 有没有大佬知道实时报表怎么做?就是统计的结果要实时更新,热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相关提交到yarn的命令了 请教一下,flink里怎么实现batch sink的操作而不导致数据丢失

问问小秘 2019-12-02 03:19:17 0 浏览量 回答数 0

回答

前言 这期我想写很久了,但是因为时间的原因一直拖到了现在,我以为一两天就写完了,结果从构思到整理资料,再到写出来用了差不多一周的时间吧。 你们也知道丙丙一直都是创作鬼才来的,所以我肯定不会一本正经的写,我想了好几个切入点,最后决定用一个完整的电商系统作为切入点,带着大家看看,我们需要学些啥,我甚至还收集配套视频和资料,暖男石锤啊,这期是呕心沥血之作,不要白嫖了。 正文 在写这个文章之前,我花了点时间,自己臆想了一个电商系统,基本上算是麻雀虽小五脏俱全,我今天就用它开刀,一步步剖析,我会讲一下我们可能会接触的技术栈可能不全,但是够用,最后给个学习路线。 Tip:请多欣赏一会,每个点看一下,看看什么地方是你接触过的,什么技术栈是你不太熟悉的,我觉得还算是比较全的,有什么建议也可以留言给我。 不知道大家都看了一下没,现在我们就要庖丁解牛了,我从上到下依次分析。 前端 你可能会会好奇,你不是讲后端学习路线嘛,为啥还有前端的部分,我只能告诉你,傻瓜,肤浅。 我们可不能闭门造车,谁告诉你后端就不学点前端了? 前端现在很多也了解后端的技术栈的,你想我们去一个网站,最先接触的,最先看到的是啥? 没错就是前端,在大学你要是找不到专门的前端同学,去做系统肯定也要自己顶一下前端的,那我觉得最基本的技术栈得熟悉和了解吧,丙丙现在也是偶尔会开发一下我们的管理系统主要是VUE和React。 在这里我列举了我目前觉得比较简单和我们后端可以了解的技术栈,都是比较基础的。 作为一名后端了解部分前端知识还是很有必要的,在以后开发的时候,公司有前端那能帮助你前后端联调更顺畅,如果没前端你自己也能顶一下简单的页面。 HTML、CSS、JS、Ajax我觉得是必须掌握的点,看着简单其实深究或者去操作的话还是有很多东西的,其他作为扩展有兴趣可以了解,反正入门简单,只是精通很难很难。 在这一层不光有这些还有Http协议和Servlet,request、response、cookie、session这些也会伴随你整个技术生涯,理解他们对后面的你肯定有不少好处。 Tip:我这里最后删除了JSP相关的技术,我个人觉得没必要学了,很多公司除了老项目之外,新项目都不会使用那些技术了。 前端在我看来比后端难,技术迭代比较快,知识好像也没特定的体系,所以面试大厂的前端很多朋友都说难,不是技术多难,而是知识多且复杂,找不到一个完整的体系,相比之下后端明朗很多,我后面就开始讲后端了。 网关层: 互联网发展到现在,涌现了很多互联网公司,技术更新迭代了很多个版本,从早期的单机时代,到现在超大规模的互联网时代,几亿人参与的春运,几千亿成交规模的双十一,无数互联网前辈的造就了现在互联网的辉煌。 微服务,分布式,负载均衡等我们经常提到的这些名词都是这些技术在场景背后支撑。 单机顶不住,我们就多找点服务器,但是怎么将流量均匀的打到这些服务器上呢? 负载均衡,LVS 我们机器都是IP访问的,那怎么通过我们申请的域名去请求到服务器呢? DNS 大家刷的抖音,B站,快手等等视频服务商,是怎么保证同时为全国的用户提供快速的体验? CDN 我们这么多系统和服务,还有这么多中间件的调度怎么去管理调度等等? zk 这么多的服务器,怎么对外统一访问呢,就可能需要知道反向代理的服务器。 Nginx 这一层做了反向负载、服务路由、服务治理、流量管理、安全隔离、服务容错等等都做了,大家公司的内外网隔离也是这一层做的。 我之前还接触过一些比较有意思的项目,所有对外的接口都是加密的,几十个服务会经过网关解密,找到真的路由再去请求。 这一层的知识点其实也不少,你往后面学会发现分布式事务,分布式锁,还有很多中间件都离不开zk这一层,我们继续往下看。 服务层: 这一层有点东西了,算是整个框架的核心,如果你跟我帅丙一样以后都是从事后端开发的话,我们基本上整个技术生涯,大部分时间都在跟这一层的技术栈打交道了,各种琳琅满目的中间件,计算机基础知识,Linux操作,算法数据结构,架构框架,研发工具等等。 我想在看这个文章的各位,计算机基础肯定都是学过的吧,如果大学的时候没好好学,我觉得还是有必要再看看的。 为什么我们网页能保证安全可靠的传输,你可能会了解到HTTP,TCP协议,什么三次握手,四次挥手。 还有进程、线程、协程,什么内存屏障,指令乱序,分支预测,CPU亲和性等等,在之后的编程生涯,如果你能掌握这些东西,会让你在遇到很多问题的时候瞬间get到点,而不是像个无头苍蝇一样乱撞(然而丙丙还做得不够)。 了解这些计算机知识后,你就需要接触编程语言了,大学的C语言基础会让你学什么语言入门都会快点,我选择了面向对象的JAVA,但是也不知道为啥现在还没对象。 JAVA的基础也一样重要,面向对象(包括类、对象、方法、继承、封装、抽象、 多态、消息解析等),常见API,数据结构,集合框架,设计模式(包括创建型、结构型、行为型),多线程和并发,I/O流,Stream,网络编程你都需要了解。 代码会写了,你就要开始学习一些能帮助你把系统变得更加规范的框架,SSM可以会让你的开发更加便捷,结构层次更加分明。 写代码的时候你会发现你大学用的Eclipse在公司看不到了,你跟大家一样去用了IDEA,第一天这是什么玩意,一周后,真香,但是这玩意收费有点贵,那免费的VSCode真的就是不错的选择了。 代码写的时候你会接触代码的仓库管理工具maven、Gradle,提交代码的时候会去写项目版本管理工具Git。 代码提交之后,发布之后你会发现很多东西需要自己去服务器亲自排查,那Linux的知识点就可以在里面灵活运用了,查看进程,查看文件,各种Vim操作等等。 系统的优化很多地方没优化的空间了,你可能会尝试从算法,或者优化数据结构去优化,你看到了HashMap的源码,想去了解红黑树,然后在算法网上看到了二叉树搜索树和各种常见的算法问题,刷多了,你也能总结出精华所在,什么贪心,分治,动态规划等。 这么多个服务,你发现HTTP请求已经开始有点不满足你的需求了,你想开发更便捷,像访问本地服务一样访问远程服务,所以我们去了解了Dubbo,Spring cloud。 了解Dubbo的过程中,你发现了RPC的精华所在,所以你去接触到了高性能的NIO框架,Netty。 代码写好了,服务也能通信了,但是你发现你的代码链路好长,都耦合在一起了,所以你接触了消息队列,这种异步的处理方式,真香。 他还可以帮你在突发流量的时候用队列做缓冲,但是你发现分布式的情况,事务就不好管理了,你就了解到了分布式事务,什么两段式,三段式,TCC,XA,阿里云的全局事务服务GTS等等。 分布式事务的时候你会想去了解RocketMQ,因为他自带了分布式事务的解决方案,大数据的场景你又看到了Kafka。 我上面提到过zk,像Dubbo、Kafka等中间件都是用它做注册中心的,所以很多技术栈最后都组成了一个知识体系,你先了解了体系中的每一员,你才能把它们联系起来。 服务的交互都从进程内通信变成了远程通信,所以性能必然会受到一些影响。 此外由于很多不确定性的因素,例如网络拥塞、Server 端服务器宕机、挖掘机铲断机房光纤等等,需要许多额外的功能和措施才能保证微服务流畅稳定的工作。 **Spring Cloud **中就有 Hystrix 熔断器、Ribbon客户端负载均衡器、Eureka注册中心等等都是用来解决这些问题的微服务组件。 你感觉学习得差不多了,你发现各大论坛博客出现了一些前沿技术,比如容器化,你可能就会去了解容器化的知识,像**Docker,Kubernetes(K8s)**等。 微服务之所以能够快速发展,很重要的一个原因就是:容器化技术的发展和容器管理系统的成熟。 这一层的东西呢其实远远不止这些的,我不过多赘述,写多了像个劝退师一样,但是大家也不用慌,大部分的技术都是慢慢接触了,工作中慢慢去了解,去深入的。 好啦我们继续沿着图往下看,那再往下是啥呢? 数据层: 数据库可能是整个系统中最值钱的部分了,在我码文字的前一天,刚好发生了微盟程序员删库跑路的操作,删库跑路其实是我们在网上最常用的笑话,没想到还是照进了现实。 这里也提一点点吧,36小时的故障,其实在互联网公司应该是个笑话了吧,权限控制没做好类似rm -rf 、fdisk、drop等等这样的高危命令是可以实时拦截掉的,备份,全量备份,增量备份,延迟备份,异地容灾全部都考虑一下应该也不至于这样,一家上市公司还是有点点不应该。 数据库基本的事务隔离级别,索引,SQL,主被同步,读写分离等都可能是你学的时候要了解到的。 上面我们提到了安全,不要把鸡蛋放一个篮子的道理大家应该都知道,那分库的意义就很明显了,然后你会发现时间久了表的数据大了,就会想到去接触分表,什么TDDL、Sharding-JDBC、DRDS这些插件都会接触到。 你发现流量大的时候,或者热点数据打到数据库还是有点顶不住,压力太大了,那非关系型数据库就进场了,Redis当然是首选,但是MongoDB、memcache也有各自的应用场景。 Redis使用后,真香,真快,但是你会开始担心最开始提到的安全问题,这玩意快是因为在内存中操作,那断点了数据丢了怎么办?你就开始阅读官方文档,了解RDB,AOF这些持久化机制,线上用的时候还会遇到缓存雪崩击穿、穿透等等问题。 单机不满足你就用了,他的集群模式,用了集群可能也担心集群的健康状态,所以就得去了解哨兵,他的主从同步,时间久了Key多了,就得了解内存淘汰机制…… 他的大容量存储有问题,你可能需要去了解Pika…. 其实远远没完,每个的点我都点到为止,但是其实要深究每个点都要学很久,我们接着往下看。 实时/离线/大数据 等你把几种关系型非关系型数据库的知识点,整理清楚后,你会发现数据还是大啊,而且数据的场景越来越多多样化了,那大数据的各种中间件你就得了解了。 你会发现很多场景,不需要实时的数据,比如你查你的支付宝去年的,上个月的账单,这些都是不会变化的数据,没必要实时,那你可能会接触像ODPS这样的中间件去做数据的离线分析。 然后你可能会接触Hadoop系列相关的东西,比如于Hadoop(HDFS)的一个数据仓库工具Hive,是建立在 Hadoop 文件系统之上的分布式面向列的数据库HBase 。 写多的场景,适合做一些简单查询,用他们又有点大材小用,那Cassandra就再合适不过了。 离线的数据分析没办法满足一些实时的常见,类似风控,那Flink你也得略知一二,他的窗口思想还是很有意思。 数据接触完了,计算引擎Spark你是不是也不能放过…… 搜索引擎: 传统关系型数据库和NoSQL非关系型数据都没办法解决一些问题,比如我们在百度,淘宝搜索东西的时候,往往都是几个关键字在一起一起搜索东西的,在数据库除非把几次的结果做交集,不然很难去实现。 那全文检索引擎就诞生了,解决了搜索的问题,你得思考怎么把数据库的东西实时同步到ES中去,那你可能会思考到logstash去定时跑脚本同步,又或者去接触伪装成一台MySQL从服务的Canal,他会去订阅MySQL主服务的binlog,然后自己解析了去操作Es中的数据。 这些都搞定了,那可视化的后台查询又怎么解决呢?Kibana,他他是一个可视化的平台,甚至对Es集群的健康管理都做了可视化,很多公司的日志查询系统都是用它做的。 学习路线 看了这么久你是不是发现,帅丙只是一直在介绍每个层级的技术栈,并没说到具体的一个路线,那是因为我想让大家先有个认知或者说是扫盲吧,我一样用脑图的方式汇总一下吧,如果图片被平台二压了。 资料/学习网站 Tip:本来这一栏有很多我准备的资料的,但是都是外链,或者不合适的分享方式,博客的运营小姐姐提醒了我,所以大家去公众号回复【路线】好了。 絮叨 如果你想去一家不错的公司,但是目前的硬实力又不到,我觉得还是有必要去努力一下的,技术能力的高低能决定你走多远,平台的高低,能决定你的高度。 如果你通过努力成功进入到了心仪的公司,一定不要懈怠放松,职场成长和新技术学习一样,不进则退。 丙丙发现在工作中发现我身边的人真的就是实力越强的越努力,最高级的自律,享受孤独(周末的歪哥)。 总结 我提到的技术栈你想全部了解,我觉得初步了解可能几个月就够了,这里的了解仅限于你知道它,知道他是干嘛的,知道怎么去使用它,并不是说深入了解他的底层原理,了解他的常见问题,熟悉问题的解决方案等等。 你想做到后者,基本上只能靠时间上的日积月累,或者不断的去尝试积累经验,也没什么速成的东西,欲速则不达大家也是知道的。 技术这条路,说实话很枯燥,很辛苦,但是待遇也会高于其他一些基础岗位。 所实话我大学学这个就是为了兴趣,我从小对电子,对计算机都比较热爱,但是现在打磨得,现在就是为了钱吧,是不是很现实?若家境殷实,谁愿颠沛流离。 但是至少丙丙因为做软件,改变了家庭的窘境,自己日子也向小康一步步迈过去。 说做程序员改变了我和我家人的一生可能夸张了,但是我总有一种下班辈子会因为我选择走这条路而改变的错觉。 我是敖丙,一个在互联网苟且偷生的工具人。 创作不易,本期硬核,不想被白嫖,各位的「三连」就是丙丙创作的最大动力,我们下次见! 本文 GitHub https://github.com/JavaFamily 已经收录,有大厂面试完整考点,欢迎Star。 该回答来自:敖丙

剑曼红尘 2020-03-06 11:35:37 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 云栖号弹性计算 阿里云云栖号 云栖号案例 云栖号直播