可用状态如何搭建

高可用架构部署方案 高可用架构提供业务分发、弹性扩展、多可用区部署等功能。相较于使用单台ECS实例部署数据库与应用，高可用架构只需简单部署，并且拥有更高的稳定性和可扩展性。 高可用架构特点 高可用架构具有如下特点： 使用多可用区高可用版的负载均衡SLB（Server Load Balancer）对多台云服务器ECS进行流量分发，可扩展应用系统对外服务能力、消除单点故障，提升应用系统的可用性。使用SLB自动跨可用区部署，可加强业务容灾能力。 通过自定义镜像，可以迅速复制出相同应用部署的云服务器ECS实例，之后将实例添加到SLB后端服务器组中，实现业务高可用。SLB可以同时配置四层和七层监听，及轮循、加权轮循、加权最小连接数等多种算法，合理分配后端ECS计算资源。 使用云数据库RDS（Relational Database Service），针对高并发场景进行特殊优化，同时引入线程池、并行复制、隐含主键等功能保证系统持续稳定和高吞吐。云数据库CloudDBA具有完备的性能监控数据，实时监控实例硬件使用指标、慢SQL，并给出各种优化建议，帮您快速定位并解决问题。 部署流程 假设您已拥有一台ECS实例，并且在该实例上部署了数据库与应用，您可以将单实例部署方式转变为单可用区或多可用区高可用架构。本教程指导您如何使用ECS、EIP、SLB和RDS产品来部署多可用区高可用架构。 高可用结构图 使用自定义镜像，部署多台相同配置的ECS实例。详情请参见复制ECS实例。 创建负载均衡SLB实例，将实例添加到SLB后端服务器组中，用于跨可用区挂载ECS实例，实现业务的高可用性。详情请参见配置SLB实例。 使用DTS将ECS实例上的自建数据库迁移至RDS实例，保障业务数据库不中断，自动备份保障数据不丢失。详情请参见迁移自建数据库至RDS实例。 复制ECS实例为了支持跨可用区容灾部署，本教程使用源实例的自定义镜像复制出三台ECS实例。一台与源实例位于同一可用区，两台与源实例位于同一地域下的不同可用区。 前提条件 已注册阿里云账号。如还未注册，请先完成账号注册。 已拥有待复制的源ECS实例。 操作步骤 为ECS实例创建自定义镜像。 登录ECS管理控制台。 在左侧导航栏，单击实例与镜像 > 实例。 在顶部状态栏处，选择地域。 找到目标实例。在操作列中，单击更多 > 磁盘和镜像 > 创建自定义镜像。 输入镜像名称和描述信息。 单击创建。 说明 创建镜像需要一段时间，请您耐心等待。 在左侧导航栏，单击实例与镜像 > 镜像。当目标镜像的进度为100%、状态为可用时，表示镜像创建成功。自定义镜像 使用自定义镜像创建3台ECS实例。 在左侧导航栏，单击实例与镜像 > 镜像。 在自定义镜像页面，找到上一步创建的自定义镜像，在操作列，单击创建实例。 在自定义购买页面，镜像区域已设置为您选择的自定义镜像。根据页面提示，完成其他配置项并购买1台ECS实例。 其中： 地域：选择与源实例相同的地域。 可用区：选择与源实例相同的可用区。 公网带宽：取消勾选分配公网IPv4地址。 更多配置详情，请参见使用向导创建实例。 重复第i步和第ii步。在自定义购买页，镜像区域已设置为您选择的自定义镜像。根据页面提示，完成其他配置项并购买2台实例。 其中： 地域：选择与源实例相同的地域。 可用区：选择与源实例不同的可用区。 实例区域：设置购买实例数量为2。 公网带宽区域：取消勾选分配公网IPv4地址。 更多配置详情，请参见使用向导创建实例。 执行结果 在左侧导航栏，单击实例与镜像 > 实例。在实例列表页面，四台ECS实例的状态均为运行中，可用区两两相同。 ecs_instances 配置SLB实例 ECS实例复制完成后，在支持多可用区的地域创建负载均衡SLB实例，用于跨可用区挂载ECS实例，扩展应用系统对外服务能力、消除单点故障，提升应用系统的可用性。本文介绍SLB实例的部署方法。 前提条件 已复制三台ECS实例，详情请参见复制ECS实例。 四台ECS实例的Web服务均已启动并正常运行。 注意 若Web服务未运行，则SLB实例与ECS实例之间无法正常通信。 操作步骤 创建SLB实例。具体操作，请参见创建负载均衡实例。 本教程使用的配置如下： 地域：必须与ECS实例位于同一地域。 可用区类型：选择多可用区。 实例类型：选择私网。 网络类型：选择专有网络。 主可用区和备可用区：按需配置。 create_slb 将源实例的公网IP转换为弹性公网IP。具体操作，请参见专有网络公网IP转换为弹性公网IP。 说明 为避免影响业务，需保证源实例IP地址不变。因此，需要先将源实例的公网IP转换为弹性公网IP，与源实例解绑后，再将其绑定至高可用版SLB实例上。 ip_eip 解绑源实例与弹性公网IP。 在源实例的IP地址列，单击弹性IP地址链接。 click_eip 在弹性公网IP页面，单击解绑。 unbindEIP 单击确定。更多详情，请参见解绑EIP。 绑定弹性公网IP至SLB实例。 在弹性公网IP页面，找到与源实例解绑后的弹性公网IP。 bindEIP 在操作列，单击绑定。 实例类型选择SLB实例，SLB实例选择刚创建的SLB实例，单击确定。更多详情，请参见绑定SLB实例。 配置SLB实例。具体操作，请参见配置负载均衡实例。 基本配置如下： 在协议&监听页签，完成以下配置。 负载均衡协议：选择TCP。 监听端口：输入80。 调度算法：按需选择。本教程选择轮询。 其他配置使用默认值。 configure_slb 单击下一步。在后端服务器页签，选择默认服务器组，单击继续添加添加ECS实例。 addEcsInstance 勾选源实例和已复制的三台ECS实例，单击下一步：配置权重和端口号。端口配置为80，其他值保持默认，单击下一步。 configure_ports 在健康检查页签，使用默认值，单击下一步。 在配置审核页签，核对信息后，单击提交。 单击确定，返回实例管理页面，单击refresh。 当健康检查状态为正常时，表示后端ECS实例可以正常处理负载均衡转发的请求了。 说明 健康检查需要几分钟时间，请您耐心等待并单击刷新图标查看状态。 health_check 执行结果 为方便测试，本教程分别在四台ECS实例上搭建了静态网页，以标识每台ECS实例。在浏览器中输入负载均衡实例的服务地址，测试负载均衡服务。由于调度算法为轮询，请求会轮流发往每台ECS实例。 slb_test 迁移自建数据库至RDS实例 将源ECS实例上的数据库迁移至高可用版云数据库RDS，可实现数据库服务的高可用性、高可靠性、高安全性和高易用性。本教程以MySQL数据库为例，介绍如何使用DTS将ECS实例上的自建数据库迁移至RDS实例。 前提条件 已配置SLB实例，详情请参见配置SLB实例。 已创建高可用版RDS实例。如未创建，请参见创建RDS for MySQL实例。 已为RDS实例创建账号。如未创建，请参见创建账号和数据库。 已为ECS实例上的自建数据库创建非root账号，用于DTS迁移。 例如，您可以运行以下命令为MySQL数据库创建名为dts、密码为123456的账号。 grant all on . to 'dts'@'%' IDENTIFIED BY '123456'; 背景信息 DTS提供的数据迁移功能能够支持同异构数据源之间的数据迁移，同时提供了库表列三级映射、数据过滤多种ETL特性。您可以使用DTS进行零停机迁移，在迁移过程中，源数据库正常持续提供服务，最大程度降低迁移对业务的影响。DTS支持的数据库类型请参见数据迁移。 操作步骤 登录数据传输DTS控制台。 在左侧导航栏，选择数据迁移。 选择目标RDS实例所在地域，并单击创建迁移任务。 配置迁移任务。 配置任务名称。 您可以使用默认的名称或者自定义名称。 配置源库信息。 DTS支持通过公网、VPN网关、专线及智能网关访问的自建数据库。本教程使用的源数据库为ECS实例上的自建数据库。其他类型数据库的迁移方案，请参见DTS用户手册。 参数名称 描述 实例类型 ECS上的自建数据库。 实例地区 源ECS实例所在地域。 ECS实例ID 源ECS实例的实例ID。DTS支持经典网络及专有网络的ECS实例。 数据库类型 源ECS实例上自建数据库的类型。本示例中，数据库类型为MySQL。 端口 MySQL数据库监听的端口号。 数据库账号 源ECS实例上MySQL数据库的非root账号。 说明 数据库账号必须填写非root账号，否则测试连接时会报错。 数据库密码 非root账号对应的密码。 单击源库信息右下角的测试连接。 当返回的结果为测试通过时，表示源库连接正常。 配置目标库信息。 参数名称 参数值 实例类型 RDS实例。 实例地区 RDS实例所在地域。 RDS实例ID RDS实例的实例ID。 数据库账号 RDS实例的账号。 为RDS实例创建账号，请参见创建账号和数据库。 说明 数据库账号必须填写非root账号，否则测试连接时会报错。 数据库密码 账号对应的密码。 单击目标库信息右下角的测试连接。 当返回的结果为测试通过时，表示目标库连接正常。 单击授权白名单并进入下一步。 配置迁移类型及迁移对象。 配置迁移类型。 业务零停机迁移，请选择：结构迁移＋全量数据迁移＋增量数据迁移。 全量迁移，请选择：结构迁移＋全量数据迁移。 配置迁移对象。 在迁移对象框中单击要迁移的数据库对象，如数据库、表或列，然后单击>添加到已选择对象框中。 说明 默认情况下，数据库对象迁移到ECS自建MySQL实例后，对象名跟本地MySQL实例一致。如果迁移的数据库对象在源实例跟目标实例上名称不同，您需要使用DTS提供的对象名映射功能，详情请参见库表列映射。 单击预检查并启动。 在迁移任务正式启动之前，会预检查连通性、权限及日志格式等。下图表示预检查成功通过。 precheck 预检查通过后，您可以在迁移任务列表中查看迁移任务的迁移状态及进度。 task_result 后续步骤 在应用程序中配置RDS实例的连接地址和账号密码，以连接到RDS实例。您还可以使用数据管理服务DMS（Data Management Service）或客户端管理RDS实例。具体操作，请参见连接MySQL实例。

本教程介绍了如何利用弹性伸缩搭建可自动伸缩的Web应用，快速响应业务的峰谷波动，稳定承载日常业务的同时，轻松应对活动期间突增的流量。 前提条件 使用本教程进行操作前，请确保您已经注册了阿里云账号。如还未注册，请先完成账号注册。 为应用的ECS实例创建了自定义镜像，具体操作请参见使用实例创建自定义镜像。 业务场景 某电商平台为吸引用户，除定期推出优惠活动外，还会在节假日、会员日、购物节开展大促。为保证顺利承载活动带来的流量，运维人员可以分析活动历史数据，提前预估新活动所需的计算资源。但如果高峰期流量超出预估，仍需要临时手动创建ECS实例，不仅操作仓促，而且可能因操作不及时影响应用可用性。 假设您的应用具有以下特征，也可以采用类似解决方案： 采用集群方式部署，且集群拥有1台以上的服务器。 存在临时业务突增，但突增业务周期不长，例如每天不超过9个小时、每月不超过20天。 解决方案 弹性伸缩可以实现计算资源随业务峰谷自动伸缩，无需您提前预估和手动干预即可确保应用可用性。尤其针对双十一等大促活动，弹性伸缩具备几分钟内交付上千台ECS实例的能力，自动及时地应对突增流量，提升业务的可靠性。 您可以采用以下方案： 针对日常业务流量，购买包年包月ECS实例。 针对计划外突增流量，通过弹性伸缩监控负载变化并实现自动创建ECS实例。 示意图如下： 业务收益 利用弹性伸缩应对突增流量，您可以获得以下收益： 零备机成本 弹性伸缩可自动创建和释放ECS实例，实现按需取用，无需备机。您只需针对日常业务流量保有计算资源。 零运维成本 您只需提前配置扩缩容策略。负载增加时，弹性伸缩自动创建ECS实例，并将ECS实例添加到RDS实例的白名单和SLB实例的后端服务器组；负载降低时，弹性伸缩自动将ECS实例从SLB实例的后端服务器组和RDS实例的白名单中移除，然后释放ECS实例。整个过程自动触发和完成，无需人工干预。 灵活智能 弹性伸缩提供多种伸缩模式，您可以根据业务波动规律组合使用，达到最佳业务匹配度。例如您的Web应用流量大体稳定，但存在临时突增，可以采用基于云监控指标的动态模式，监控平均CPU使用率，及时地自动响应流量变化。 操作步骤 请根据您的业务架构评估业务模块，并执行以下操作实现指定业务模块的自动扩缩容： 步骤一：使用自定义镜像创建包年包月ECS实例 步骤二：创建并启用伸缩组 步骤三：添加包年包月ECS实例并设置自动伸缩策略 步骤一：使用自定义镜像创建包年包月ECS实例 创建指定数量的包年包月ECS实例，用于添加到伸缩组，满足业务模块的日常业务要求。 登录ECS管理控制台。 在左侧导航栏，单击实例与镜像 > 镜像。 在顶部状态栏左上角处，选择地域。 找到Web应用实例的自定义镜像，在操作列中，单击创建实例。 配置实例信息并完成实例创建。 付费模式设置为包年包月。 地域和镜像信息已自动填充。 请根据需要配置其它信息，详细信息请参见使用向导创建实例。 步骤二：创建并启用伸缩组 为需要弹性扩缩容的业务模块创建伸缩组，并为伸缩配置选择Web应用实例的自定义镜像，确保自动创建出的ECS实例符合Web应用的要求。 登录弹性伸缩控制台。 单击创建伸缩组。 配置伸缩组信息并完成伸缩组创建。 伸缩组内最小实例数设置为0。 组内实例配置信息来源设置为自定义伸缩配置。 多可用区扩容模式设置为均衡分布策略。 回收模式设置为释放模式。 绑定当前业务模块所使用的SLB实例和RDS实例。 请根据需要配置其它信息，详细信息请参见创建伸缩组。 单击创建伸缩配置。 配置伸缩配置信息并完成伸缩配置创建。 镜像设置为Web应用实例的自定义镜像。 请根据需要配置其它信息，详细信息请参见创建伸缩配置。 确定启用伸缩配置。 确定启用伸缩组。 步骤三：添加包年包月ECS实例并设置自动伸缩策略 将包年包月ECS实例添加至伸缩组，并创建目标追踪规则，实现根据业务峰谷自动伸缩，应对突增流量。 在弹性伸缩管理控制台中，找到创建好的伸缩组，在伸缩组名称/ID列中，单击伸缩组名称。 前往ECS实例列表界面，将创建好的包年包月ECS实例添加至伸缩组。 将包年包月ECS实例转为保护状态，保证日常业务正常运行。 前往基本信息界面，根据业务需求，修改伸缩组的最小实例数和最大实例数。 前往伸缩规则界面，创建一条目标追踪规则。 伸缩规则类型设置为目标追踪规则。 指标类型设置为平均CPU使用率。 目标值设置为50%。 请根据需要配置其它信息，详细信息请参见创建伸缩规则。 执行结果 包年包月ECS实例已被转为保护状态，用于承载日常业务。处于保护中状态的ECS实例不会被移除伸缩组，而且负载均衡权重不受影响。 伸缩组自动将ECS实例的平均CPU使用率维持在50%左右，高于50%时自动创建ECS实例分担流量，低于50%时自动释放ECS实例节省成本。ECS实例数量始终大于等于最小实例数，且小于等于最大实例数，保证满足业务需求且成本不会超出期望范围。

本入门教程采用ecs.g6.large实例规格，在CentOS 8.0系统上配置了Apache服务，结合ECS管理控制台展示如何快速使用云服务器ECS。 准备工作 创建账号，以及完善账号信息。 注册阿里云账号，并完成实名认证。具体操作，请参见阿里云账号注册流程。 本入门教程创建的是按量付费实例，您的账号的可用余额（含现金、代金券、优惠券等）不得少于100元人民币。充值方式请参见如何充值。 可选： 阿里云提供一个默认的专有网络VPC，如果您不想使用默认的，可以在目标地域创建一个专有网络和交换机。 具体操作，请参见搭建IPv4专有网络。 可选： 阿里云提供一个默认的安全组，如果您不想使用默认的，可以在目标地域创建一个安全组。 具体操作，请参见创建安全组。 步骤一：创建ECS实例 前往实例创建页。 在购买页面的前四个配置页面，完成实例启动配置。 本入门教程采用以下配置，未提及的配置保持默认选项。 配置页面 配置项 示例 说明 基础配置 付费模式 按量付费 按量付费模式操作相对灵活。详情请参见计费概述。 说明 如果您需要为网站域名备案，必须选择包年包月。 地域与可用区 地域：华东1（杭州） 可用区：随机分配 实例创建后，无法直接更改地域和可用区，请谨慎选择。 实例 规格族：通用型g6 规格：ecs.g6.large 可供选择的实例规格由您所选择的地域以及库存供应决定。 您可以前往ECS实例可购买地域，查看实例的可购情况。 镜像 类型：公共镜像 版本：CentOS 8.0 64位 实例启动后，系统盘将完整复制镜像的操作系统和应用数据。 网络和安全组 专有网络 [默认]vpc-bp1opxu1zkhn00g****** 带[默认]前缀的资源由ECS控制台自动创建。 分配公网IPv4地址 勾选 勾选后，自动分配一个公网IP（v4）地址。 带宽计费模式 按使用流量 按使用流量模式只需为所消耗的公网流量付费。详情请参见公网带宽计费方式。 峰值带宽 2 Mbps 无。 安全组 安全组：[默认]sg-bp1bhjjsoiyx44****** 安全组规则：勾选ICMP协议、SSH 22、RDP 3389、HTTP 80和HTTPS 443端口 带[默认]前缀的资源由ECS控制台自动创建。 系统配置 登录凭证 自定义密码 请记录该配置，连接ECS实例时，您需要输入root密码。 实例名称 EcsQuickStart 本文中的实例一律使用EcsQuickStart指代。 分组设置 标签 ECS:Documentation 有多台实例时，建议添加标签，方便管理。 单击下一步：确认订单，在该页面确认所选配置，或者单击编辑图标编辑-图标返回修改配置。 快速入门-Linux版 可选： 单击保存为启动模板，然后设置模板名称和描述。 快速入门-启动模板 说明 将当前实例所选配置保存为启动模板，方便您下次通过模板一键下单。 勾选《云服务器ECS服务条款》，然后单击创建实例。 单击创建成功提示框里的管理控制台，前往实例列表页面查看创建进度。 实例状态进入运行中后表示已成功创建。复制实例的公网IP地址，便于下文连接ECS实例时使用。快速入门-Linux版-创建成功 步骤二：添加安全组规则 如果创建ECS实例时，您没有在默认安全组中勾选添加安全组规则，或者ECS实例加入的是一个全新的安全组，请按以下步骤继续操作。 单击实例ID，进入实例详情页。 在左侧导航栏，单击本实例安全组，然后单击安全组ID，进入安全组详情页。 在安全组规则页面的右上角，单击快速创建规则。 按以下设置添加安全组规则，未提及的配置保持页面默认选项。 规则方向 授权策略 常用端口 授权类型 授权对象 入方向 允许 SSH 22 RDP 3389 HTTP 80 HTTPS 443 IPv4地址段访问 0.0.0.0/0 说明 常用端口处勾选的是ECS实例上运行的应用需开放的端口。例如步骤四：配置Apache服务时使用的SSH服务和Apache服务，未开启SSH 22端口和HTTP 80端口会导致实例无响应。 0.0.0.0/0表示允许全网段设备访问指定的端口。如果您知晓请求端的IP地址，建议设置为具体的IP范围。 快速入门-Linux版-添加安全组规则 单击确定。 步骤三：连接ECS实例 单击下一步骤中的cloud-shell-try-it按钮，等待初始化CloudShell客户端。 使用ssh命令连接实例。 试用 ssh root@<实例公网IP地址> 提示ECS实例此次授信登录需要存储密钥指纹时，输入yes。 输入ECS实例的root用户名密码，并回车。 输入密码阶段，password:处保持黑屏，无提示信息。提示以下信息则表示您已连接ECS实例。 Welcome to Alibaba Cloud Elastic Compute Service ! 步骤四：配置Apache服务 安装Apache服务。 试用 yum install -y httpd 启动Apache服务。 试用 systemctl start httpd 设置Apache服务开机自启动。 试用 systemctl enable httpd 查询Apache服务是否处于运行中状态。 试用 systemctl status httpd 返回active (running)则表示已开始运行Apache服务。 在当前浏览器页面，新开启一个网页，在地址栏输入实例的公网IP地址，并回车。 试用 http://<实例公网IP地址> 快速入门-Linux版-测试网站 步骤五：（可选）解析网站域名 直接通过实例公网IP地址访问Apache服务会降低服务端安全性。如果您已有域名或者想为Apache网站注册一个域名，请参见以下步骤。 注册域名。 详情请参见注册通用域名。 如果域名指向的网站托管在阿里云中国大陆境内节点服务器，您需要备案域名。 首次备案，请参见首次备案，其他情况请参见ICP备案流程概述。 解析域名，将域名指向实例公网IP。 域名解析是使用域名访问您的网站的必备环节。具体操作流程，请参见设置域名解析。 使用解析后的域名访问Apache服务，例如，https://ecs-quickstarts.info。 步骤六：（可选）释放ECS实例 如果您不再需要这台实例，可以将其释放。释放后，实例停止计费，数据不可恢复。 说明 本小节操作仅适用于按量付费实例，不支持手动释放包年包月实例。如果您需要提前释放包年包月实例，请参见退款规则及退款流程。 返回实例列表页面，找到实例EcsQuickStart。 在操作列中，单击更多 > 实例状态 > 释放设置。 选择立即释放，并单击下一步。 确认要释放的实例，并单击确定。 输入您收到的手机验证码，单击确认。 步骤七：查看费用账单 账单明细数据延迟一天更新，且不含万网和云通信数据。 在ECS管理控制台顶部工具栏处，选择费用 > 用户中心。 ECS快速入门-查看费用账单 在左侧导航栏，单击费用账单，然后单击页面中的账单明细页签。 在实例名称处，输入实例名称EcsQuickStart，并回车开始搜索。 后续步骤 了解云服务器ECS在售的实例规格族：实例规格族 了解更多创建ECS实例的方式：创建方式导航 了解镜像的相关概念：镜像概述 了解安全组的相关概念：安全组概述 了解专有网络VPC的相关概念：什么是专有网络 了解云服务器ECS的常见操作：常用操作导航 了解云服务器ECS提供的API：API概览

当您拥有一台或多台DDH时，您可以在DDH上创建对应规格的ECS实例。 前提条件 在指定的DDH上创建ECS实例前，您必须先完成以下工作。 创建DDH。详细步骤，请参见创建DDH。 完成实名认证。 如果要创建按量付费ECS实例，账户余额不能少于100元人民币。充值详情，请参见如何充值付款。 在DDH所在地域里，搭建IPv4专有网络，详情请参见搭建IPv4专有网络。 如果不使用系统自动创建的默认安全组，必须在目标地域创建一个安全组并添加满足您业务需求的安全组规则。具体步骤，请参见创建安全组和添加安全组规则。 创建Linux实例时如果要绑定SSH密钥对，必须在目标地域创建一个SSH密钥对，详情请参见创建SSH密钥对。 如果要设置自定义数据，必须准备实例自定义数据，详情请参见实例自定义数据。 如果要让实例扮演某个角色，必须创建实例RAM角色并授权，详情请参见通过控制台使用实例 RAM 角色。 背景信息 在DDH上只能创建VPC类型ECS实例。DDH上的ECS实例与共享宿主机上ECS实例的功能差异，请参见ECS实例功能对比。 操作步骤 登录ECS管理控制台。 在左侧导航栏，单击实例与镜像 > 专有宿主机 DDH。 在顶部状态栏处，选择地域。 找到待创建ECS实例的DDH，在操作列，单击创建实例。 完成基础配置。 选择专有宿主机。 默认是您选中的DDH。您可以更换专有宿主机。 设置关联宿主机。 选中关联宿主机：已停机释放资源的实例再次启动时，依然会部署在当前DDH上。若当前DDH可用资源不足，则实例启动失败。 取消勾选关联宿主机：已停机释放资源的实例再次启动时，若当前DDH可用资源不足，则系统自动选择您账号下其他满足自动部署条件的DDH部署实例。更多详情，请参见关联宿主机功能介绍。 选择计费方式。 根据DDH的计费方式选择ECS实例的计费方式。您可以在包年包月DDH上创建包年包月或者按量付费的ECS实例。 说明 如果要创建按周付费的ECS实例，必须选择包年包月，并将页面底部的购买周期设置为1周。ECS实例各计费方式的区别，请参见计费对比。 确认地域。 ECS实例的地域及可用区与DDH相同。 选择实例规格并设置实例数量。 可供选择的实例规格由DDH的主机规格及剩余资源决定。宿主机规格详情，请参见宿主机规格。 选择镜像。 您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。如何选择镜像，请参见选择镜像。 说明 如果您要使用SSH密钥对，必须选择Linux系统。 如果您要设置实例自定义数据，只能选择特定的镜像，详情请参见实例自定义数据支持的镜像。 选择存储。 系统盘（必选）：用于安装操作系统。请指定系统盘的云盘类型和容量。 云盘类型：当前地域可供选择的所有云盘类型。 容量：系统盘默认容量为40GiB，最大为500GiB。如果选择的镜像文件大于40GiB，则默认为镜像文件大小。系统盘的容量范围由镜像决定，如下表所示。 操作系统 系统盘容量 Linux（不包括CoreOS）FreeBSD [max{20, 镜像文件大小}, 500]GiB CoreOS [max{30, 镜像文件大小}, 500]GiB Windows [max{40, 镜像文件大小}, 500]GiB 数据盘：若添加数据盘，必须选择云盘类型、容量、数量，并选择是否加密。您可以创建空云盘，也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点： 计费方式与实例相同。 包年包月数据盘只能随实例一起释放，按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族（比如i2），这里会显示实例规格对应的本地盘信息，不可配置。本地盘实例规格对应的本地盘信息，请参见实例规格族。 单击下一步：网络和安全组。 完成网络和安全组设置。 选择网络。 只能选择专有网络，并选择一个专有网络和交换机。如果您没有创建专有网络和交换机，可以使用默认专有网络和默认交换机。 设置公网带宽。 如果要为实例分配一个公网IP地址，必须选中分配公网IP地址，再选择按使用流量或按固定带宽 进行公网带宽计费，并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式，请参见公网带宽计费。 如果您的实例不需要访问公网或者要使用弹性公网IP（EIP）地址访问公网，不能选择分配公网IP地址。 选择安全组。 所选安全组中的规则必须满足您的业务需求。 说明 如果您自己没有创建安全组，可以使用默认安全组。默认安全组的规则，请参见默认安全组规则。 添加弹性网卡。 如果所选实例规格支持弹性网卡，您可以添加弹性网卡，并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放，您可以在ECS控制台或者使用DetachNetworkInterface接口分离实例和网卡。 单击下一步：系统配置。 可选： 完成系统配置。 选择并设置登录凭证。 您可以直接设置，也可以选择创建后设置。根据镜像的操作系统，选择登录凭证。 Linux系统：可以选择使用密钥对或密码作为登录凭证。 Windows系统：只能使用密码作为登录凭证。 设置实例名称及主机名。 设置高级选项。 实例RAM角色：为实例授予一个RAM角色。 实例自定义数据：自定义实例的启动行为或者向实例传入数据。 单击下一步：分组设置。 可选： 完成分组设置。 如果您有多台实例，为了方便管理，建议您为实例添加标签。 如果您是企业用户，已经开通了资源管理服务，而且已经创建了资源组，您可以按资源组管理实例。 确认订单并创建实例。 在所选配置区域，确认配置信息。 您可以单击图标重新编辑配置。 如果ECS实例计费方式为按量付费，可以设置自动释放服务时间。 如果ECS实例计费方式为包年包月，可以设置购买时长，并选择是否开启自动续费。 说明 包年包月ECS实例的购买时长终点不能晚于包年包月DDH计费时长的终点。 确认配置费用。这时显示的费用包括系统盘、数据盘（如果有）和公网带宽的费用。 阅读并确认云服务器ECS服务条款。 单击创建实例。 执行结果 实例创建后，单击管理控制台回到ECS管理控制台查看新建的ECS实例。在相应地域的实例列表中，您能查看新建实例的实例ID、公网IP地址、私有IP地址等信息。如果您已经设置了实例列表的自定义列表项，您还可以看到ECS实例的宿主机信息。 说明 设置自定义列表项的步骤，请参见在不同DDH之间迁移ECS实例。 后续步骤 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作，请参见使用ECS实例创建FTP站点。 创建实例后，建议您对操作系统做安全合规性检查和加固： Linux实例，请参见Linux操作系统加固。 Windows实例，请参见Windows操作系统安全加固。 如果您随实例创建了数据盘，只有分区格式化后您才能正常使用数据盘，具体操作，请参见Linux格式化数据盘或Windows格式化数据盘。

本文介绍如何通过专有网络的ClassicLink功能联通经典网络和云存储网关服务。 背景信息 云存储网关是一款可以将本地应用程序、基础设施、数据存储与阿里云无缝集成的存储服务。通过可在本地数据中心和阿里云部署的兼容行业标准存储协议的虚拟设备，将现有的存储应用程序和工作负载连接阿里云存储服务，无缝对接阿里云的存储和计算服务。 云存储网关服务可自动部署网关和配置资源，自动适配专有网络内的ECS实例。由于阿里云公网里有大量存量的经典网络ECS实例，无法自动匹配云存储网关。您可以通过专有网络的ClassicLink功能打通经典网络和云存储网关服务，ClassicLink功能可以使经典网络ECS实例和专有网络中的云资源通过内网互通。 配置专有网络和云存储网关 配置专有网络。 登录专有网络管理控制台。 创建专有网络，详情请参见搭建专有网络。 建议创建一个172.16.0.0/12网段的专有网络，便于配置。如果已有可用的专有网络，请跳过此步骤。 找到并单击目标专有网络，单击开启ClassicLink。 创建云存储网关。 登录云存储网关控制台。 创建云存储网关。 创建云存储网关时，请选择步骤 1中创建的专有网络。 如果您要创建云上文件网关，详情请参见创建文件网关。 如果您要创建云上块网关，详情请参见创建块网关。 配置经典网络的ECS实例 登录云服务器管理控制台。 选择目标ECS实例所在地域。 在实例页面，找到需要联通云存储网关服务的ECS实例，单击更多 > 网络和安全组 > 设置专有网络连接状态。 在弹出的对话框中选择目标专有网络，单击确定并单击前往实例安全组列表添加classicLink安全组规则。 连接专有网络 单击添加ClassicLink安全组规则，根据以下信息配置ClassicLink安全组规则，并单击确定。 参数 说明 经典网络安全组 显示经典网络安全组的名称。 选择专有网络安全组 此处需选择云存储网关所对应的安全组。 授权方式 选择一种授权方式。 （推荐）经典网络 <=> 专有网络：相互授权访问。 经典网络 => 专有网络：授权经典网络类型ECS实例访问专有网络内的云资源。 专有网络 => 经典网络：授权专有网络内的云资源访问经典网络类型ECS实例。 协议类型 选择授权通信的协议，例如自定义TCP。 端口范围 端口的输入格式为xx/xx，比如授权80端口，则输入80/80。 不同协议对应的端口不同，请根据业务需求进行配置。 HTTPS：443 NFS：111（TCP、UDP），875（TCP、UDP），892（TCP、UDP），2049（TCP、UDP），32888（TCP、UDP），32889（TCP、UDP） SMB：137（UDP），138（UDP），139（TCP），389（TCP），445（TCP、UDP），901（TCP） iSCSI：860（TCP）、3260（TCP） 优先级 设置该规则的优先级。数字越小，优先级越高。例如：1。 描述 输入安全组描述。 返回实例页面，查看连接结果。 如果连接状态显示已连接，则表示经典网络类型ECS实例成功连接到专有网络。 连接结果 使用云存储网关 文件网关 如果您使用的是Linux客户端，详情请参见访问NFS共享目录。 如果您使用的是Windowsx客户端，详情请参见访问SMB共享目录。 块网关 如果您使用的是Linux客户端，详情请参见在Linux系统上使用卷。 如果您使用的是Windowsx客户端，详情请参见在Windows系统上使用卷。

ECS磁盘 我想在ECS 跨服务器进行数据拷贝，有没有知道实现方法的？ Linux系统服务器重启或初始化系统之后，再登录服务器执行df -h查看磁盘挂载，发现数据不见了。这是为什么？能不能找回来？ 重启服务器后发现/alidata目录所有数据丢失。怎么才能找回来呢？ ECS Linux扩容格式化磁盘提示magic number in super-block while trying to open /dev/xvdb1 ？ Linux 实例初始化系统盘后，怎样才能重新挂载数据盘？ 如何在ECS 利用快照创建磁盘实现无损扩容数据盘？ ECS云服务器磁盘FAQ云服务器磁盘I/O速度是多少？ Linux 购买了数据盘，但是系统中看不到怎么办？ ECS系统盘和数据盘二次分区FAQ，系统盘能否再次划分出一个分区用作数据存储？ ECS系统盘和数据盘二次分区FAQ，数据盘能否再次划分出一个分区用作数据存储？ ECS系统盘和数据盘二次分区FAQ，划分了多个分区的磁盘，做快照时是针对该分区的，还是针对磁盘的？ ECS系统盘和数据盘二次分区FAQ，磁盘二次分区有哪些注意事项？ ECS系统盘和数据盘二次分区FAQ，数据盘进行二次分区后，此时回滚快照后，数据盘是几个分区？ 什么是可用区？ 怎么根据服务器应用需求选择可用区？ 按量付费云盘和云盘有什么区别？ 按量付费云盘和普通云盘的性能和数据安全性一样吗，磁盘性能会有提升吗? 可以使用用户快照创建按量付费云盘吗？ 什么是挂载点？ 一块按量付费云盘可以挂载到多个 ECS 实例上吗？ 一台 ECS 实例能同时挂载多少块按量付费云盘吗？ 按量付费云盘能够挂载到包年包月和按量付费 ECS 实例上吗？ 为什么挂载按量付费云盘时找不到我想挂载的 ECS 实例？ 购买按量付费云盘后，挂载到目标 ECS 实例的挂载点是否还需要执行磁盘挂载操作？ 我已经操作过续费变配，在续费变配期内是否还能将普通云盘转为按量付费云盘？ ECS快照 为什么我的按量付费云盘没有自动快照了？ 重新初始化磁盘时，我的快照会丢失吗？ 更换系统盘时，我的快照会丢失吗？ 卸载按量付费云盘时，我的磁盘会丢数据吗？ 我能够卸载系统盘吗？ 什么是独立云磁盘？ 什么是可用区？ 独立云磁盘跟现在的磁盘有什么区别？ 服务器应用与可用区选择的选择关系是怎么样的？ 独立云磁盘怎么收费？ 独立云磁盘能够挂载到包年包月实例上吗？ 独立云磁盘和普通云磁盘的磁盘性能和数据安全性一样吗，磁盘性能会有提升吗? 我的包年包月实例上不需要的磁盘能不能卸载？ 为什么我的独立云磁盘和我的实例一起释放了？ 为什么独立云磁盘挂载时找不到我想挂载的实例？ 为什么我在本实例列表中选择独立云磁盘挂载时找不到我想要挂载的磁盘？ 我删除磁盘的时候，快照会被保留吗？ 为什么我的独立云磁盘没有自动快照了？ 为什么我不能购买独立云磁盘？ 一台实例能挂载多少块独立云磁盘？ 卸载独立云磁盘时，我的磁盘会丢数据吗？ 我的系统盘能够卸载吗？ 什么是设备名？ 为什么我在控制台上找不到重置磁盘，更换操作系统，回滚快照的操作了？ 重新初始化磁盘时，我的快照会丢失吗？ 更换系统盘时，我的快照会丢失吗？ 为什么我的数据盘不能选择临时磁盘 独立云磁盘服务器的应用场景有哪些？ 可以使用用户快照创建独立云磁盘吗？ 独立云磁盘购买后挂载到目标实例的挂载点后，是否还需要执行磁盘挂载操作？ 本地SSD盘“本地”是指？ 本地SSD盘适合的用户场景有哪些？ SSD盘相对之前的普通云盘性能提升多少，是否可以提供具体参数？ 本地SSD盘是否支持在原ECS上进行添加或者将原云磁盘更换成本地SSD盘？ 本地SSD盘购买后是否支持升级？ SSD 云盘具备怎样的 I/O 性能？ SSD云盘的数据可靠性是怎样的？ SSD 云盘适合的应用场景有哪些？ SSD 云盘相对普通云盘性能提升多少？是否可以提供具体参数？ I/O 优化是什么概念？能将存量的 ECS 实例升级为 I/O 优化的实例吗？ 是否支持将原普通云盘更换成 SSD 云盘？ 如何购买 SSD 云盘，I/O 优化的实例及 SSD 云盘的价格是多少？ 为什么 I/O 优化的实例有时启动比较耗时？ 有些自定义镜像不支持创建 I/O 优化的实例，我该如何操作？ 购买SSD云盘后是否支持升级？ 使用了 I/O 优化实例和 SSD 云盘之后，Linux 系统在分区挂载的时候报错。 为什么我用 fio 测试性能时，会导致实例宕机？ 云盘参数和性能测试工具及方法有推荐的吗？ 我想扩容系统盘，求详细步骤！ 所有块存储都支持系统盘扩容吗？有地域限制吗？ 包年包月和按量付费的ECS实例都支持系统盘扩容吗？ 新购ECS时，系统盘开始单独收费？老用户存量的系统盘如何收费？ 新购ECS时，系统盘开始单独收费？老用户存量的系统盘如何收费？系统盘扩容是否需要停机操作？ 系统盘扩容上线后，系统盘的容量范围多少？ 哪些镜像支持系统盘扩容？ 云服务器续费变配后，不支持更换系统盘时指定系统盘容量？ 系统盘扩容之后是否支持再缩容？ 扩容系统盘应注意的问题？ 回滚磁盘报错，进行快照回滚的时候，出现如下错误提示： 执行回滚磁盘需要停止实例，并确保当前磁盘没有创建中的快照和没有更换过操作系统。 这是什么原因？ 普通云盘和SSD云盘添加挂载信息时有哪些要注意的事项？ 申请公测资格 什么是共享块存储？ 共享块存储适用于哪些行业和业务场景？ 为什么需要共享块存储？ 如何正确使用共享块存储？ 我能跨地域挂载共享块存储吗？ 共享块存储产品规格有哪些？ 我想知道阿里云产品的售卖模式和公测范围！ 公测购买入口是哪，求链接！ 有没有谁分享下共享块存储性能测试命令？ 数据盘挂载问题导致数据无法访问，我要怎么排查问题？ 我要怎样才能在Linux和Windows主机之间挂载ntfs格式云盘？ 为什么ECS实例里文件系统和快照空间大小不一致？在ECS实例内删除文件后再打快照，发现快照容量并没有变小。 ECS实例如何优化快照使用成本？ 在ECS实例里什么是快照商业化？ 在ECS实例里，快照商业化后过渡优惠期是什么时候？ 在ECS实例里，快照商业化的用户范围包括有哪些？ 在ECS实例里，如果我已经开通了 OSS，快照会自动存到我的 OSS Bucket 吗？是否需要重新再创建一个 Bucket 来存储快照？ 已经购买了 OSS 预付费存储包，同时在使用快照和 OSS 服务，那么存储包会优先抵扣哪个产品？ 快照商业化之后，我希望继续使用，需要购买哪个产品，云盘还是对象存储OSS资源包？ 快照商业化的收费模式是怎样的？ 快照费用的计算方法是怎样的？ 快照收费后，不停止自动快照是否就开始收取费用？ 快照要收费了，之前的快照要被删除吗？ 如果不想付费，之前的快照能继续使用吗？ 快照收费后，之前创建的手动快照和自动快照都会收费吗？ 快照收费前停止快照策略，需手动删除历史快照吗？正式收费后会直接删除我的历史快照吗？ 快照收费以后，账户欠费对快照有什么影响？ 如果账号欠费，有关联关系（创建过磁盘或者镜像）的快照，在欠费15天之后是否会被删除？ 快照服务和块存储服务的关系，在收费方面的关系是什么？ 快照容量是如何计算的，是等于磁盘大小吗？ ECS实例内删除文件会减少空间占用吗？ 为什么快照容量大于文件系统内看到的数据量？ 参考快照增量说明，如中间快照被删除，后面的快照能否使用？ 如何开通快照服务？ 快照和镜像的关系？ 如何在保留关联实例和磁盘的情况下，删除快照跟镜像，快照、实例、镜像之间的关系？ 快照和块存储、OSS对象存储是什么关系？ 一块云盘能否设置多个快照策略？ 快照 2.0 服务包括哪些内容？ 快照有什么用途？ 快照 2.0 服务支持的云盘类型？ 快照数量有什么限制？ 快照保留时长怎样？ 打快照对块存储 I/O 性能有多少影响？ 快照怎么收费？ 老的自动快照策略什么时候不可用？ 老的快照策略产生的快照什么时候删除？ 自动快照功能细节有哪些？ 用户的自定义快照和自动快照有冲突吗？ 我能保留其中想要的自动快照而让系统不删除吗？ 如果一个自动快照被引用（用户创建自定义镜像或者磁盘），会导致自动快照策略执行失败吗？ 我如果什么都没有设置，自动快照会启动吗？ 自动快照能够删除吗？ 自动快照具体在什么时间创建能看到吗？ 我如何区分哪些快照是自动快照和用户快照？ 更换系统盘、云服务器 ECS 到期后或手动释放磁盘时，自动快照会不会释放？ 未随磁盘释放和更换系统盘释放的自动快照会一直保留吗？ 云服务器 ECS 到期后或手动释放磁盘时，手工快照会不会释放？ 我能单独制定某几块磁盘执行或取消自动快照吗？ 云服务器 ECS 有没有自动备份？ 磁盘无快照是否能够回滚或数据恢复？ 快照回滚能否单独回滚某个分区或部分数据？ 系统盘快照回滚是否会影响数据盘？ 更换系统后，快照能否回滚？ 在回滚快照前，有哪些注意事项？ 怎样使ECS回滚快照后同步数据？ 如何通过API配置定时自定义快照？ 超出预付费存储包的流量，会怎么收费？ ECS镜像 Aliyun Linux 17.01 特性有哪些，有说明文档吗？ 云市场镜像有哪些功能？ 镜像能带来哪些便利？ 目前镜像支持哪些服务器环境和应用场景？ 镜像是否安全？ 选择了镜像后能更换吗？ 镜像安装使用过程中出问题了怎么办？ Docker私有镜像库是什么？ 自定义镜像如何查看数据盘？ 自定义镜像，如何卸载和删除 disk table 里的数据？ 如何确认已经卸载数据盘，并可以新建自定义镜像？ ECS 实例释放后，自定义镜像是否还存在？ ECS 实例释放后，快照是否还存在？ 用于创建自定义镜像的云服务器 ECS 实例到期或释放数据后，创建的自定义镜像是否受影响？使用自定义镜像开通的云服务器 ECS 实例是否受影响？ 使用自定义镜像创建的 ECS 实例是否可以更换操作系统？更换系统后原来的自定义镜像是否还可以使用？ 更换系统盘时另选操作系统，是否可以使用自定义镜像？ 已创建的自定义镜像，是否可以用于更换另一台云服务器 ECS 的系统盘数据？ 是否可以升级自定义镜像开通的云服务器 ECS 的 CPU、内存、带宽、硬盘等？ 是否可以跨地域使用自定义镜像？ 包年包月云服务器 ECS 的自定义镜像，是否可以用于开通按量付费的云服务器 ECS？ ECS Windows企业版和标准版区别 什么情况下需要复制镜像？ 可以复制哪些镜像？ 当前有哪些支持镜像复制功能的地域？ 复制一个镜像大概需要多久？ 复制镜像怎么收费的？ 在复制镜像过程中，源镜像和目标镜像有什么限制？ 怎么复制我的云账号的镜像资源到其他云账号的其他地域？ 复制镜像有镜像容量限制吗？ 如何购买镜像市场镜像？ 按次购买的镜像的使用期限是多久？ 镜像市场的镜像支持退款吗？ 镜像市场商业化后，还有免费的镜像市场镜像吗？ 在杭州买了一个镜像市场的镜像，能否在北京创建ECS实例或者更换系统盘？ ECS实例使用镜像市场的镜像，升级和续费ECS实例，需要为镜像继续付费吗？ ECS实例使用镜像市场的镜像，实例释放后，继续购买ECS实例还可以免费使用该镜像吗？ 使用镜像市场镜像创建ECS实例，该实例创建一个自定义镜像，使用该自定义镜像创建ECS实例需要为该镜像付费吗？ 来源于镜像市场的镜像复制到其他地域创建ECS实例，是否需要为该镜像付费？ 如果把来源于镜像市场的自定义镜像共享给其他账号（B）创建ECS实例，账号B是否需要为该镜像付费？ 如果使用镜像市场的镜像或者来源于镜像市场的镜像进行更换系统盘，需要付费吗？ ECS实例正在使用镜像市场的镜像，进行重置系统盘需要收费吗？ 怎么调用ECS API，使用镜像市场镜像或者来源镜像市场的自定义镜像或者共享镜像，创建ECS实例和更换系统盘？ 如果没有购买镜像市场的镜像或者来源于镜像市场的镜像，在调用ECS API 使用该镜像创建ECS实例和更换系统盘，会报错吗？ 我的ESS是自动创建机器的，并且量是不固定，设置最小值为10台，最大值为100台，那么使用镜像市场的镜像如何保证我的的需求实例能正常弹出来？ 镜像市场的镜像是否支持批量购买？ 如果之前使用的镜像市场的镜像，已不存在该商品（如：jxsc000010、jxsc000019），怎能保证已经设置的弹性伸缩组的机器的正常弹出？ 1个product code能否支持不同region的镜像？ 我买了100 product code同样值的镜像，是否可以支持在所有的地域可用？ 为什么有的ECS云服务器无法选择Windows操作系统？ 操作系统是否要收费？ 我能否自己安装或者升级操作系统？ 服务器的登录用户名密码是什么？ 能否更换或升级操作系统？ 操作系统是否有图形界面？ 如何选择操作系统？ 操作系统自带 FTP 上传吗？ 每个用户最多可以获得多少个共享镜像？ 每个镜像最多可以共享给多少个用户？ 使用共享镜像是否占用我的镜像名额？ 使用共享镜像创建实例的时候存不存在地域限制？ 我曾把自己账号中的某个自定义镜像共享给其他账号，现在我可以删除这个镜像吗 我把某个自定义镜像（M）的共享账号（A）给删除了，会有什么影响？ 使用共享镜像创建实例存在什么样的风险？ 我把自定义镜像共享给其他账号，存在什么风险？ 我能把别人共享给我的镜像再共享给他人吗？ 我把镜像共享给他人，还能使用该镜像创建实例吗？ ECS Windows服务器桌面分辨率过高导致VNC花屏处理方法通过 管理终端 进入服务器后，把 Windows 服务器桌面分辨率设置过高，确定后，WebVNC 出现花屏。 ECS创建自定义镜像创建服务器为何需要注释挂载项 勾选"IO优化实例"选项导致购买ECS实例时无法选择云市场镜像 如何为 Linux 服务器安装 GRUB 历史Linux镜像的问题修复方案 如何处理 CentOS DNS 解析超时? 什么是镜像市场的包年包月和按周付费镜像？ 预付费镜像能与哪种 ECS 实例搭配使用？ 怎么购买预付费镜像？可以单独购买吗？ 预付费镜像怎么付费？ 预付费镜像到期了就不能用了吗？怎么继续使用？ 购买预付费镜像后，如果我不想再使用这个镜像，能要求退款吗？ 退款时，费用怎么结算？ 预付费镜像能转换为按量付费镜像吗？ 预付费镜像与其它镜像之间能互换吗？更换后费用怎么计算？ 在哪里查看并管理我购买的预付费镜像？ 使用预付费镜像制作的自定义镜像会收费吗？预付费镜像过期对于自定义镜像有什么影响？ ECS 实例操作系统选择说明 阿里云支持哪些 SUSE 版本？ SUSE 操作系统提供哪些服务支持？ ECS安全组 如何检查 TCP 80 端口是否正常工作？ 什么是安全组？ 为什么在购买 ECS 实例的时候选择安全组？ 安全组配置错误会造成哪些影响？ 专有网络实例设置安全组规则时为什么不能设置公网规则？ 创建 ECS 实例时我还没创建安全组怎么办？ 为什么无法访问 25 端口？ 为什么我的安全组里自动添加了很多规则？ 为什么有些安全组规则的优先级是 110？ 为什么我在安全组里放行了 TCP 80 端口，还是无法访问 80 端口？ ECS安全组被添加内网ip地址了，是怎么回事？ 能说明下ECS安全组中规则的优先级执行匹配顺序吗？ ECS实例安全组默认的公网规则被删除导致无法ping通，ECS 服务器无法ping通，排查防火墙、网卡IP配置无误，回滚系统后仍然无法ping通。 我刚购买了ECS实例，如何选择及配置安全组？ 没有添加默认安全组访问规则-导致通过API创建的ECS实例断网，要怎么恢复？ 使用ECS安全组工具撤销之前账号间互通的操作 ECS网络 带宽与上传、下载速度峰值的有什么关系？ 弹性公网IP在哪里可以查看流量和带宽监控信息？ 我用的是ECS Ubuntu系统，要怎么单独禁用和启动内外网卡？ ECS 实例子网划分和掩码是什么？ ECS 实例网络带宽是否独享？ 带宽单线还是双线，电信还是网通？ 5 Mbps 带宽怎么理解？ 带宽的价格是多少？ 不同地域的 ECS 实例之间的内网是通的吗？ 为何新建的 ECS 实例就有 200 Kbps 左右入网流量？ 我的 ECS 实例经常能在 Web 日志中看到大量的恶意 IP 访问我的网站，疑有刷流量和恶意访问的嫌疑，询问云盾是否有屏蔽 IP 的功能？ 包月ECS新购时是否可以选择带宽按照使用流量计费？ 包月ECS带宽按流量计费是如何计费的? 目前使用的固定带宽计费，是否可以转换为带宽按流量计费？ 是否可以随时调整流量带宽峰值？ 续费变更配置时（比如到期时间为2015年3月31日，续费一个月到4月30日），如果将包月ECS按固定带宽计费改成按流量付费计费，操作以后在未生效前（3月31日前），是否还可以升级带宽？ 续费变更配置时候将包月ECS带宽按流量计费改成按固定带宽计费，为什么我的带宽服务停掉了？ 如果账号没有足够余额，欠费怎么办？ECS实例也会停掉吗？ 带宽流量欠费是否有短信通知？ 当带宽按照流量计费欠费时，是否可以对实例进行升级 CPU、内存操作？ 欠费充值后带宽是自动恢复的吗？ 包月带宽转流量计费后，流量价格是多少？ ECS 服务器出现了异地登录怎么办？ 爱哪里可以查看云服务器 ECS 公网流量统计总和？ 我的ECS 实例对外 DDoS 攻击导致被锁定了，要如何处理 ？ 什么是云服务器 ECS 的入网带宽和出网带宽？ ECS云服务器如何禁用公网IP？ ECS 实例停止（关机）后按量付费带宽仍产生流量，ECS 实例在控制台上状态为已停止，但按量付费的带宽每小时仍会产生不小的费用，且此时 ECS 实例正在遭受攻击，云盾控制台中 DDoS 防护中 ECS 的状态为清洗中。 访问ECS服务器的网站提示“由于你访问的URL可能对网站造成安全威胁，您的访问被阻断”，这是什么原因？ 服务器黑洞是什么？求科普！ 如果想确认该服务器的IP信息和地理位置，要在哪里去查询？ 我想知道客户端本地到ECS服务器是不是丢包，要怎么测试？ 内网和公共 NTP 服务器是什么？它们两个有什么区别 我能 ping 通但端口不通，这是端口的问题吗？ 如何通过防火墙策略限制对外扫描行为？ 我想用手机移动端网络路由跟踪探测，可以吗？ 云监控中的ECS带宽和ECS控制台中看到的带宽不一致是什么原因？ 云服务器ECS三张网卡有什么区别？ Ubuntu系统ECS使用“如何通过防火墙策略限制对外扫描行为”脚本之后出现无法远程、数据库连接不上。 什么业务场景需要在专有网络(VPC)类型ECS购买PublicIP？ 怎么购买专有网络(VPC)类型分配 PublicIP 的 ECS？ 专有网络(VPC)类型 ECS 的 PublicIP 和 EIP 的区别？ 专有网络(VPC)类型ECS的 PublicIP 的可以升级带宽吗？ 专有网络(VPC)类型ECS的 PublicIP 可以解绑吗？ 如果购买网络(VPC)类型 ECS 的时候，没有分配公网 IP，该怎么才能分配一个公网 IP？ 怎么查询专有网络(VPC)类型 ECS 的 PublicIP 的监控数据？ 怎么查询专有网络(VPC)类型ECS的按流量付费的 PublicIP 的账单？ 专有网络和经典网络的 PublicIP 异同？ 专有网络(VPC)类型 ECS 购买 PublicIP 的付费方式？ ECS API 如何通过 API / SDK 实现不同账号 ECS 实例的内网通信？ ECS API绑定公网IP报错：The IP is already in use分析 ECS API修改实例带宽不能指定时间范围吗？ 所在可用区不支持相应磁盘类型-导致ECS API创建实例报错 用ECS API创建实例的时候，返回如下错误信息： "Code": "InvalidDataDiskCategory.NotSupported" 如何创建有公网 IP 的 ECS 实例？ 通过API或SDK查询安全组规则无法显示所有的规则，这是怎么回事？ 如何通过OpenAPI创建ECS实例的流程状态描述？ 数据传输服务DTS实时同步功能，我想只同步表结构，要怎么做？ 如何获取控制台RequestId？ 阿里云中国站部分地域实例什么时候降价？ ECS Linux 实例怎么设置 Locale 变量？ 克隆ECS服务器的方法 其它国家和地区是否都可以提供经典网络和专有网络的类型呢？网络类型是否可以变更呢？ 各个地域的网络覆盖范围是什么呢？ 其他相关问题 不同地域的实例，价格一样吗？ 如果我使用其它国家和地区的实例搭建了一个网站，我的用户将通过域名访问网站，这个域名需要 ICP 备案吗？ 为什么有些实例规格只能在中国大陆地域购买，而在其它国家和地区无法购买？ 可否将中国大陆地域的实例迁移到其它国家和地区呢？ 如何在其它国家和地区部署 ECS 实例？ 我要买其它国家和地区的实例，需要单独申请一个国际站账号吗？ ——更多ECS相关问题—— · ECS故障处理百问合集

微服务 (MicroServices) 架构是当前互联网业界的一个技术热点，圈里有不少同行朋友当前有计划在各自公司开展微服务化体系建设，他们都有相同的疑问：一个微服务架构有哪些技术关注点 (technical concerns)？需要哪些基础框架或组件来支持微服务架构？这些框架或组件该如何选型？笔者之前在两家大型互联网公司参与和主导过大型服务化体系和框架建设，同时在这块也投入了很多时间去学习和研究，有一些经验和学习心得，可以和大家一起分享。 服务注册、发现、负载均衡和健康检查和单块 (Monolithic) 架构不同，微服务架构是由一系列职责单一的细粒度服务构成的分布式网状结构，服务之间通过轻量机制进行通信，这时候必然引入一个服务注册发现问题，也就是说服务提供方要注册通告服务地址，服务的调用方要能发现目标服务，同时服务提供方一般以集群方式提供服务，也就引入了负载均衡和健康检查问题。根据负载均衡 LB 所在位置的不同，目前主要的服务注册、发现和负载均衡方案有三种： 第一种是集中式 LB 方案，如下图 Fig 1，在服务消费者和服务提供者之间有一个独立的 LB，LB 通常是专门的硬件设备如 F5，或者基于软件如 LVS，HAproxy 等实现。LB 上有所有服务的地址映射表，通常由运维配置注册，当服务消费方调用某个目标服务时，它向 LB 发起请求，由 LB 以某种策略（比如 Round-Robin）做负载均衡后将请求转发到目标服务。LB 一般具备健康检查能力，能自动摘除不健康的服务实例。服务消费方如何发现 LB 呢？通常的做法是通过 DNS，运维人员为服务配置一个 DNS 域名，这个域名指向 LB。 Fig 1, 集中式 LB 方案 集中式 LB 方案实现简单，在 LB 上也容易做集中式的访问控制，这一方案目前还是业界主流。集中式 LB 的主要问题是单点问题，所有服务调用流量都经过 LB，当服务数量和调用量大的时候，LB 容易成为瓶颈，且一旦 LB 发生故障对整个系统的影响是灾难性的。另外，LB 在服务消费方和服务提供方之间增加了一跳 (hop)，有一定性能开销。 第二种是进程内 LB 方案，针对集中式 LB 的不足，进程内 LB 方案将 LB 的功能以库的形式集成到服务消费方进程里头，该方案也被称为软负载 (Soft Load Balancing) 或者客户端负载方案，下图 Fig 2 展示了这种方案的工作原理。这一方案需要一个服务注册表 (Service Registry) 配合支持服务自注册和自发现，服务提供方启动时，首先将服务地址注册到服务注册表（同时定期报心跳到服务注册表以表明服务的存活状态，相当于健康检查），服务消费方要访问某个服务时，它通过内置的 LB 组件向服务注册表查询（同时缓存并定期刷新）目标服务地址列表，然后以某种负载均衡策略选择一个目标服务地址，最后向目标服务发起请求。这一方案对服务注册表的可用性 (Availability) 要求很高，一般采用能满足高可用分布式一致的组件（例如 Zookeeper, Consul, Etcd 等）来实现。 Fig 2, 进程内 LB 方案 进程内 LB 方案是一种分布式方案，LB 和服务发现能力被分散到每一个服务消费者的进程内部，同时服务消费方和服务提供方之间是直接调用，没有额外开销，性能比较好。但是，该方案以客户库 (Client Library) 的方式集成到服务调用方进程里头，如果企业内有多种不同的语言栈，就要配合开发多种不同的客户端，有一定的研发和维护成本。另外，一旦客户端跟随服务调用方发布到生产环境中，后续如果要对客户库进行升级，势必要求服务调用方修改代码并重新发布，所以该方案的升级推广有不小的阻力。 进程内 LB 的案例是 Netflix 的开源服务框架，对应的组件分别是：Eureka 服务注册表，Karyon 服务端框架支持服务自注册和健康检查，Ribbon 客户端框架支持服务自发现和软路由。另外，阿里开源的服务框架 Dubbo 也是采用类似机制。 第三种是主机独立 LB 进程方案，该方案是针对第二种方案的不足而提出的一种折中方案，原理和第二种方案基本类似，不同之处是，他将 LB 和服务发现功能从进程内移出来，变成主机上的一个独立进程，主机上的一个或者多个服务要访问目标服务时，他们都通过同一主机上的独立 LB 进程做服务发现和负载均衡，见下图 Fig 3。 Fig 3 主机独立 LB 进程方案 该方案也是一种分布式方案，没有单点问题，一个 LB 进程挂了只影响该主机上的服务调用方，服务调用方和 LB 之间是进程内调用，性能好，同时，该方案还简化了服务调用方，不需要为不同语言开发客户库，LB 的升级不需要服务调用方改代码。该方案的不足是部署较复杂，环节多，出错调试排查问题不方便。 该方案的典型案例是 Airbnb 的 SmartStack 服务发现框架，对应组件分别是：Zookeeper 作为服务注册表，Nerve 独立进程负责服务注册和健康检查，Synapse/HAproxy 独立进程负责服务发现和负载均衡。Google 最新推出的基于容器的 PaaS 平台 Kubernetes，其内部服务发现采用类似的机制。 服务前端路由微服务除了内部相互之间调用和通信之外，最终要以某种方式暴露出去，才能让外界系统（例如客户的浏览器、移动设备等等）访问到，这就涉及服务的前端路由，对应的组件是服务网关 (Service Gateway)，见图 Fig 4，网关是连接企业内部和外部系统的一道门，有如下关键作用： 服务反向路由，网关要负责将外部请求反向路由到内部具体的微服务，这样虽然企业内部是复杂的分布式微服务结构，但是外部系统从网关上看到的就像是一个统一的完整服务，网关屏蔽了后台服务的复杂性，同时也屏蔽了后台服务的升级和变化。安全认证和防爬虫，所有外部请求必须经过网关，网关可以集中对访问进行安全控制，比如用户认证和授权，同时还可以分析访问模式实现防爬虫功能，网关是连接企业内外系统的安全之门。限流和容错，在流量高峰期，网关可以限制流量，保护后台系统不被大流量冲垮，在内部系统出现故障时，网关可以集中做容错，保持外部良好的用户体验。监控，网关可以集中监控访问量，调用延迟，错误计数和访问模式，为后端的性能优化或者扩容提供数据支持。日志，网关可以收集所有的访问日志，进入后台系统做进一步分析。 Fig 4, 服务网关 除以上基本能力外，网关还可以实现线上引流，线上压测，线上调试 (Surgical debugging)，金丝雀测试 (Canary Testing)，数据中心双活 (Active-Active HA) 等高级功能。 网关通常工作在 7 层，有一定的计算逻辑，一般以集群方式部署，前置 LB 进行负载均衡。 开源的网关组件有 Netflix 的 Zuul，特点是动态可热部署的过滤器 (filter) 机制，其它如 HAproxy，Nginx 等都可以扩展作为网关使用。 在介绍过服务注册表和网关等组件之后，我们可以通过一个简化的微服务架构图 (Fig 5) 来更加直观地展示整个微服务体系内的服务注册发现和路由机制，该图假定采用进程内 LB 服务发现和负载均衡机制。在下图 Fig 5 的微服务架构中，服务简化为两层，后端通用服务（也称中间层服务 Middle Tier Service）和前端服务（也称边缘服务 Edge Service，前端服务的作用是对后端服务做必要的聚合和裁剪后暴露给外部不同的设备，如 PC，Pad 或者 Phone）。后端服务启动时会将地址信息注册到服务注册表，前端服务通过查询服务注册表就可以发现然后调用后端服务；前端服务启动时也会将地址信息注册到服务注册表，这样网关通过查询服务注册表就可以将请求路由到目标前端服务，这样整个微服务体系的服务自注册自发现和软路由就通过服务注册表和网关串联起来了。如果以面向对象设计模式的视角来看，网关类似 Proxy 代理或者 Façade 门面模式，而服务注册表和服务自注册自发现类似 IoC 依赖注入模式，微服务可以理解为基于网关代理和注册表 IoC 构建的分布式系统。 Fig 5, 简化的微服务架构图 服务容错当企业微服务化以后，服务之间会有错综复杂的依赖关系，例如，一个前端请求一般会依赖于多个后端服务，技术上称为 1 -> N 扇出 (见图 Fig 6)。在实际生产环境中，服务往往不是百分百可靠，服务可能会出错或者产生延迟，如果一个应用不能对其依赖的故障进行容错和隔离，那么该应用本身就处在被拖垮的风险中。在一个高流量的网站中，某个单一后端一旦发生延迟，可能在数秒内导致所有应用资源 (线程，队列等) 被耗尽，造成所谓的雪崩效应 (Cascading Failure，见图 Fig 7)，严重时可致整个网站瘫痪。 Fig 6, 服务依赖 Fig 7, 高峰期单个服务延迟致雪崩效应 经过多年的探索和实践，业界在分布式服务容错一块探索出了一套有效的容错模式和最佳实践，主要包括： Fig 8, 弹性电路保护状态图 电路熔断器模式 (Circuit Breaker Patten), 该模式的原理类似于家里的电路熔断器，如果家里的电路发生短路，熔断器能够主动熔断电路，以避免灾难性损失。在分布式系统中应用电路熔断器模式后，当目标服务慢或者大量超时，调用方能够主动熔断，以防止服务被进一步拖垮；如果情况又好转了，电路又能自动恢复，这就是所谓的弹性容错，系统有自恢复能力。下图 Fig 8 是一个典型的具备弹性恢复能力的电路保护器状态图，正常状态下，电路处于关闭状态 (Closed)，如果调用持续出错或者超时，电路被打开进入熔断状态 (Open)，后续一段时间内的所有调用都会被拒绝 (Fail Fast)，一段时间以后，保护器会尝试进入半熔断状态 (Half-Open)，允许少量请求进来尝试，如果调用仍然失败，则回到熔断状态，如果调用成功，则回到电路闭合状态。舱壁隔离模式 (Bulkhead Isolation Pattern)，顾名思义，该模式像舱壁一样对资源或失败单元进行隔离，如果一个船舱破了进水，只损失一个船舱，其它船舱可以不受影响 。线程隔离 (Thread Isolation) 就是舱壁隔离模式的一个例子，假定一个应用程序 A 调用了 Svc1/Svc2/Svc3 三个服务，且部署 A 的容器一共有 120 个工作线程，采用线程隔离机制，可以给对 Svc1/Svc2/Svc3 的调用各分配 40 个线程，当 Svc2 慢了，给 Svc2 分配的 40 个线程因慢而阻塞并最终耗尽，线程隔离可以保证给 Svc1/Svc3 分配的 80 个线程可以不受影响，如果没有这种隔离机制，当 Svc2 慢的时候，120 个工作线程会很快全部被对 Svc2 的调用吃光，整个应用程序会全部慢下来。限流 (Rate Limiting/Load Shedder)，服务总有容量限制，没有限流机制的服务很容易在突发流量 (秒杀，双十一) 时被冲垮。限流通常指对服务限定并发访问量，比如单位时间只允许 100 个并发调用，对超过这个限制的请求要拒绝并回退。回退 (fallback)，在熔断或者限流发生的时候，应用程序的后续处理逻辑是什么？回退是系统的弹性恢复能力，常见的处理策略有，直接抛出异常，也称快速失败 (Fail Fast)，也可以返回空值或缺省值，还可以返回备份数据，如果主服务熔断了，可以从备份服务获取数据。Netflix 将上述容错模式和最佳实践集成到一个称为 Hystrix 的开源组件中，凡是需要容错的依赖点 (服务，缓存，数据库访问等)，开发人员只需要将调用封装在 Hystrix Command 里头，则相关调用就自动置于 Hystrix 的弹性容错保护之下。Hystrix 组件已经在 Netflix 经过多年运维验证，是 Netflix 微服务平台稳定性和弹性的基石，正逐渐被社区接受为标准容错组件。 服务框架微服务化以后，为了让业务开发人员专注于业务逻辑实现，避免冗余和重复劳动，规范研发提升效率，必然要将一些公共关注点推到框架层面。服务框架 (Fig 9) 主要封装公共关注点逻辑，包括： Fig 9, 服务框架 服务注册、发现、负载均衡和健康检查，假定采用进程内 LB 方案，那么服务自注册一般统一做在服务器端框架中，健康检查逻辑由具体业务服务定制，框架层提供调用健康检查逻辑的机制，服务发现和负载均衡则集成在服务客户端框架中。监控日志，框架一方面要记录重要的框架层日志、metrics 和调用链数据，还要将日志、metrics 等接口暴露出来，让业务层能根据需要记录业务日志数据。在运行环境中，所有日志数据一般集中落地到企业后台日志系统，做进一步分析和处理。REST/RPC 和序列化，框架层要支持将业务逻辑以 HTTP/REST 或者 RPC 方式暴露出来，HTTP/REST 是当前主流 API 暴露方式，在性能要求高的场合则可采用 Binary/RPC 方式。针对当前多样化的设备类型 (浏览器、普通 PC、无线设备等)，框架层要支持可定制的序列化机制，例如，对浏览器，框架支持输出 Ajax 友好的 JSON 消息格式，而对无线设备上的 Native App，框架支持输出性能高的 Binary 消息格式。配置，除了支持普通配置文件方式的配置，框架层还可集成动态运行时配置，能够在运行时针对不同环境动态调整服务的参数和配置。限流和容错，框架集成限流容错组件，能够在运行时自动限流和容错，保护服务，如果进一步和动态配置相结合，还可以实现动态限流和熔断。管理接口，框架集成管理接口，一方面可以在线查看框架和服务内部状态，同时还可以动态调整内部状态，对调试、监控和管理能提供快速反馈。Spring Boot 微框架的 Actuator 模块就是一个强大的管理接口。统一错误处理，对于框架层和服务的内部异常，如果框架层能够统一处理并记录日志，对服务监控和快速问题定位有很大帮助。安全，安全和访问控制逻辑可以在框架层统一进行封装，可做成插件形式，具体业务服务根据需要加载相关安全插件。文档自动生成，文档的书写和同步一直是一个痛点，框架层如果能支持文档的自动生成和同步，会给使用 API 的开发和测试人员带来极大便利。Swagger 是一种流行 Restful API 的文档方案。当前业界比较成熟的微服务框架有 Netflix 的 Karyon/Ribbon，Spring 的 Spring Boot/Cloud，阿里的 Dubbo 等。 运行期配置管理服务一般有很多依赖配置，例如访问数据库有连接字符串配置，连接池大小和连接超时配置，这些配置在不同环境 (开发 / 测试 / 生产) 一般不同，比如生产环境需要配连接池，而开发测试环境可能不配，另外有些参数配置在运行期可能还要动态调整，例如，运行时根据流量状况动态调整限流和熔断阀值。目前比较常见的做法是搭建一个运行时配置中心支持微服务的动态配置，简化架构如下图 (Fig 10): Fig 10, 服务配置中心 动态配置存放在集中的配置服务器上，用户通过管理界面配置和调整服务配置，具体服务通过定期拉 (Scheduled Pull) 的方式或者服务器推 (Server-side Push) 的方式更新动态配置，拉方式比较可靠，但会有延迟同时有无效网络开销 (假设配置不常更新)，服务器推方式能及时更新配置，但是实现较复杂，一般在服务和配置服务器之间要建立长连接。配置中心还要解决配置的版本控制和审计问题，对于大规模服务化环境，配置中心还要考虑分布式和高可用问题。 配置中心比较成熟的开源方案有百度的 Disconf，360 的 QConf，Spring 的 Cloud Config 和阿里的 Diamond 等。 Netflix 的微服务框架Netflix 是一家成功实践微服务架构的互联网公司，几年前，Netflix 就把它的几乎整个微服务框架栈开源贡献给了社区，这些框架和组件包括： Eureka:　服务注册发现框架Zuul:　服务网关Karyon:　服务端框架Ribbon:　客户端框架Hystrix: 服务容错组件Archaius: 服务配置组件Servo: Metrics 组件Blitz4j: 日志组件下图 Fig 11 展示了基于这些组件构建的一个微服务框架体系，来自 recipes-rss。 Fig 11, 基于 Netflix 开源组件的微服务框架 Netflix 的开源框架组件已经在 Netflix 的大规模分布式微服务环境中经过多年的生产实战验证，正逐步被社区接受为构造微服务框架的标准组件。Pivotal 去年推出的 Spring Cloud 开源产品，主要是基于对 Netflix 开源组件的进一步封装，方便 Spring 开发人员构建微服务基础框架。对于一些打算构建微服务框架体系的公司来说，充分利用或参考借鉴 Netflix 的开源微服务组件 (或 Spring Cloud)，在此基础上进行必要的企业定制，无疑是通向微服务架构的捷径。 原文地址：https://www.infoq.cn/article/basis-frameworkto-implement-micro-service#anch130564%20%EF%BC%8C

12月17日更新 请问下同时消费多个topic的情况下，在richmap里面可以获取到当前消息所属的topic吗？ 各位大佬，你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据？ 这个问题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的？kafka connector 的原理是定时去轮询，这样如果表多了，会不会影响业务库的性能？甚至把业务库搞挂？ 有没有flink 1.9 连接 hive的例子啊?官网文档试了，没成功 请问各位是怎么解决实时流数据倾斜的？ 请问一下，对于有状态的任务，如果任务做代码升级的时候，可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢？是否会有影响数据逻辑的地方呢？ 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗？ 比如五分钟输出一次，就是7点输出0点到7点的累计用户，7:05输出0点到7:05的累计用户。 但是我这里有多个维度，现在用redis来做的。 想知道有没有更好的姿势？ 实时数仓用什么存储介质来存储维表，维表有大有小，大的大概5千万左右。 各位大神有什么建议和经验分享吗？ 请教个问题，就是flink的窗口触发必须是有数据才会触发吗？我现在有个这样的需求，就是存在窗口内没有流数据进入，但是窗口结束是要触发去外部系统获取上一个窗口的结果值作为本次窗口的结果值！现在没有流数据进入窗口结束时如何触发？ kafkaSource.setStartFromTimestamp(timestamp); 发现kafkasource从指定时间开始消费，有些topic有效，有效topic无效，大佬们有遇到过吗? 各位大佬，flink两个table join的时候，为什么打印不出来数据，已经赋了关联条件了，但是也不报错 各位大佬 请教一下 一个faile的任务 会在这里面存储展示多久啊？ 各位大佬，我的程序每五分钟一个窗口做了基础指标的统计，同时还想统计全天的Uv，这个是用State就能实现吗？ 大佬们，flink的redis sink是不是只适用redis2.8.5版本？ 有CEP 源码中文注释的发出来学习一下吗？ 有没有拿flink和tensorflow集成的？ 那位大神，给一个java版的flink1.7 读取kafka数据，做实时监控和统计的功能的代码案例。 请问下风控大佬，flink为风控引擎做数据支撑的时候，怎么应对风控规则的不断变化，比如说登录场景需要实时计算近十分钟内登录次数超过20次用户，这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存？广播没办法改CEP flink支持多流（大于2流）join吗？ 谁能帮忙提供一下flink的多并行度的情况下，怎么保证数据有序 例如map并行度为2 那就可能出现数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥？ flink 一个流计算多个任务和 还是一个流一个任务好？ flink 1.9 on yarn， 自定义个connector里面用了jni， failover以后 就起不来了， 报错重复load so的问题。 我想问一下 这个，怎么解决。 难道flink 里面不能用jni吗。 ide里面调试没有问题，部署到集群就会报错了，可能什么问题？ 请教一下对于长时间耗内存很大的任务，大家都是开checkpoint机制，采用rocksdb做状态后端吗？ 请问下大佬，flink jdbc读取mysql，tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器，Hive集成，Python API这几个功能好像都是预览版，请问群里有大佬生产环境中使用这些功能了吗？ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 各位大佬，在一个 Job 计算过程中，查询 MySQL 来补全额外数据，是一个好的实践嘛？还是说流处理过程中应该尽量避免查询额外的数据？ Flink web UI是jquery写的吗？ 12月9日更新 成功做完一次checkpoint后，会覆盖上一次的checkpoint吗？ 数据量较大时，flink实时写入hbase能够异步写入吗？ flink的异步io，是不是只是适合异步读取，并不适合异步写入呀？ 请问一下，flink将结果sink到redis里面会不会对存储的IO造成很大的压力，如何批量的输出结果呢？ 大佬们，flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后，从这一个流中获取数据进行两条业务线的操作，是可以的吗？ flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗？ 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们，task端rocksdb状态 保存路径默认是在哪里的啊？我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗？ 求助各位大佬，一个sql里面包含有几个大的hop滑动窗口，如15个小时和24个小时，滑动步长为5分钟，这样就会产生很多overlap 数据，导致状态会很快就达到几百g，然后作业内存也很快达到瓶颈就oom了，然后作业就不断重启，很不稳定，请问这个业务场景有什么有效的解决方案么？ 使用jdbcsink的时候，如果连接长时间不使用 就会被关掉，有人遇到过吗？使用的是ddl的方式 如何向云邪大佬咨询FLink相关技术问题？ 请问各位公司有专门开发自己的实时计算平台的吗？ 请问各位公司有专门开发自己的实时计算平台的吗？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 想问下老哥们都是怎么统计一段时间的UV的？ 是直接用window然后count嘛？ Flink是不是也是这样的？ 请问现在如有个实时程序，根据一个mysql的维表来清洗，但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql，然后存在对象中，流清洗的时候读取这个数据，这个想法可行吗？我目前在主类里面定义一个对象，然后往里面更新，发现下面的map方法之类的读不到我更新进去的值 有大佬做过flink—sql的血缘分析吗？ 12月3日更新 请教一下，为什么我flume已经登录成功了keytab认证的kafka集群，但是就是消费不到数据呢？ flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink timestamp转换为date类型，有什么函数吗 Run a single Flink job on YARN 我采用这种模式提交任务，出现无法找到 开启 HA 的ResourceManager Failed to connect to server: xxxxx:8032: retries get failed due to exceeded maximum allowed retries number: 0 有大佬遇到过吗 ？ 各位大佬，请问有Flink写S3的方案吗？ flink 连接hbase 只支持1.4.3版本？ onnector: type: hbase version: "1.4.3" 请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发里数据源配置了RDS，但是在RDS里没有看到创建的表，是为什么呢？ Tumbling Window里的数据，是等窗口期内的数据到齐之后一次性处理，还是到了一条就处理一条啊 双流join后再做time window grouping. 但是双流join会丢失时间属性，请问大家如何解决 stream processing with apache flink，这本书的中译版 现在可以买吗? flink on yarn时，jm和tm占用的内存最小是600M，这个可以修改吗？ 各位大佬，使用默认的窗口Trigger，在什么情况下会触发两次啊？窗口关闭后，然后还来了这个窗口期内的数据，并且开了allowedLateness么？ flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗？ 各位大佬，flink任务的并发数调大到160+以后，每隔几十分钟就会出现一次TM节点连接丢失的异常，导致任务重启。并发在100时运行比较稳定，哪位大佬可以提供下排查的思路？ 感觉stateful function 是下一个要发力的点，这个现在有应用案例吗？ 我有2个子网（a子网，b子网）用vpn联通，vpn几周可能会断一次。a子网有一个kafka集群，b子网运行我自己的flink集群和应用，b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去。我的问题是，如果vpn断开，flink consumer会异常整个作业退出吗？如果作业退出，我重连vpn后，能从auto checkpoint再把flink应用恢复到出错时flink kafka consumer应该读取的partition/offset位置吗？flink的checkpoint除了保存自己开发的算子里的state，kafkaconsumer里的partition/offset也会保存和恢复吗？ flink的反压为什么不加入metrics呢 hdfs是不是和flink共用一个集群? flink消费kafka，可以从指定时间消费的吗？目前提供的接口只是根据offset消费？有人知道怎么处理？ flink 的Keyby是不是只是repartition而已？没有将key相同的数据放到一个组合里面 电商大屏 大家推荐用什么来做吗？ 我比较倾向用数据库，因为有些数据需要join其他表，flink充当了什么角色，对这个有点迷，比如统计当天订单量，卖了多少钱，各个省的销量，销售金额，各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来，有大神知道吗？ 有没有人能有一些flink的教程 代码之类的分享啊 采用了checkpoint,程序停止了之后，什么都不改，直接重启，还是能接着继续运行吗？如果可以的话，savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗，能不能分享一下操作的流程方法 checkpoint是有时间间隔的，也就可以理解为checkpoint是以批量操作的，那如果还没进行ckecnpoint就挂了，下次从最新的一次checkpoint重启，不是重复消费了？ kafka是可以批量读取数据，但是flink是一条一条处理的，应该也可以一条一条提交吧。 各位大佬，flink sql目前是不是不支持tumbling window join，有人了解吗？ 你们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗？ 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过这个问题? 请教一下各位，这段代码里面，我想加一个trigger，实现每次有数据进window时候，就输出，而不是等到window结束再输出，应该怎么加？ 麻烦问下 flink on yarn 执行 客户端启动时 报上面错,是什么原因造成的 求大佬指点 ERROR org.apache.flink.client.program.rest.RestClusterClient - Error while shutting down cluster java.util.concurrent.ExecutionException: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted. 大家怎么能动态的改变 flink WindowFunction 窗口数据时间 flink on yarn之后。yarn的日志目录被写满，大家如配置的？ Flink1.9 启动 yarn-session报这个错误 怎么破？ yarn 模式下，checkpoint 是存在 JobManager的，提交任务也是提交给 JobManager 的吧？ heckpoint机制，会不会把window里面的数据全部放checkpoint里面？ Flink On Yarn的模式下，如果通过REST API 停止Job,并触发savepiont呢 jenkins自动化部署flink的job，一般用什么方案？shell脚本还是api的方式？ 各位大佬，开启增量checkpoint 情况下，这个state size 是总的checkpoint 大小，还是增量上传的大小？ 想用状态表作为子表 外面嵌套窗口 如何实现呢 因为状态表group by之后 ctime会失去时间属性,有哪位大佬知道的？ 你们有试过在同样的3台机器上部署两套kafka吗？ 大家有没有比较好的sql解析 组件（支持嵌套sql）? richmapfuntion的open/close方法，和处理数据的map方法，是在同一个线程，还是不同线程调用的？ flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ，我不是只启动了5个container么？ Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print的时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候，怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些权限？ 用java api写的kafka consumer能消费到的消息，但是Flink消费不到，这是为啥? 我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么？ flink1.7.2，场景是一分钟为窗口计算每分钟传感器的最高温度，同时计算当前分钟与上一分钟最高温 001 Flink集群支持kerberos认证吗？也就是说flink客户端需要向Flink集群进行kerberos认证，认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗？ 如果要对客户端提交作业到flink进行访问控制，你们有类似的这种使用场景吗？ flink可以同时读取多个topic的数据吗？ Flink能够做实时ETL（oracle端到oracle端或者多端）么？ Flink是否适合普通的关系型数据库呢？ Flink是否适合普通的关系型数据库呢？ 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次，从source 到flink到sink? 在SQL的TUMBLE窗口的统计中，如果没数据进来的，如何让他也定期执行，比如进行count计算，让他输出0？ new FlinkKafkaConsumer010[String]("PREWARNING",new JSONKeyValueDeserializationSchema(true), kafkaProps).setStartFromGroupOffsets() ) 我这样new 它说要我传个KeyedDeserializationSchema接口进去 flink里面broadcast state想定时reload怎么做？我用kafka里的stream flink独立模式高可用搭建必需要hadoop吗？ 有人用增量cleanupIncrementally的方式来清理状态的嘛，感觉性能很差。 flink sink to hbase继承 RichOutputFormat运行就报错 kafka 只有低级 api 才拿得到 offset 吗？ 有个问题咨询下大家，我的flinksql中有一些参数是要从mysql中获取的，比如我flink的sql是select * from aa where cc=?,这个问号的参数需要从mysql中获取，我用普通的jdbc进行连接可以获的，但是有一个问题，就是我mysql的数据改了之后必须重启flink程序才能解决这个问题，但这肯定不符合要求，请问大家有什么好的办法吗？ flink里怎样实现多表关联制作宽表 flink写es，因为半夜es集群做路由，导致写入容易失败，会引起source的反压，然后导致checkpoint超时任务卡死，请问有没有办法在下游es处理慢的时候暂停上游的导入来缓解反压？ flink 写parquet 文件，使用StreamingFileSink streamingFileSink = StreamingFileSink.forBulkFormat( new Path(path), ParquetAvroWriters.forReflectRecord(BuyerviewcarListLog.class)). withBucketAssigner(bucketAssigner).build(); 报错 java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer 1.7.2 NoWindowInnerJoin这个实现，我看实现了CleanupState可更新过期时间删除当前key状态的接口，是不是这个1.7.2版本即使有个流的key一直没有被匹配到他的状态也会被清理掉，就不会存在内存泄漏的问题了？ flink1.7.2 想在Table的UDAF中使用State，但是发现UDAF的open函数的FunctionContext中对于RuntimeContext是一个private，无法使用，大佬，如何在Table的UDAF中使用State啊？ Flink有什么性能测试工具吗？ 项目里用到了了KafkaTableSourceSinkFactory和JDBCTableSourceSinkFactory。maven打包后，META-INF里只会保留第一个 标签的org.apache.flink.table.factories.TableFactory内容。然后执行时就会有找不到合适factory的报错，请问有什么解决办法吗？ 为什么这个这段逻辑 debug的时候 是直接跳过的 各位大佬，以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录? 想问一下，我要做一个规则引擎，需要动态改变规则，如何在flink里面执行？ flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 一般公司的flink job有没有进程进行守护？有专门的工具或者是自己写脚本？这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小？ Flink container was removed这个咋解决的。我有时候没有数据的时候也出现这 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更 问大家个Hive问题，新建的hive外部分区表， 怎么把HDFS数据一次性全部导入hive里 ？ flink里面的broadcast state值，会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时，如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗？比如kafka里的写数据没停，窗口计算的应用停掉一段时间再开起 请问下，想统计未退费的订单数量，如果一个订单退费了（发过来一个update流），flink能做到对结果进行-1吗，这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作。然后将结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重，有哪位同学实践过吗？ 你们的去重容许有误差？因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果，你们会认为是同一条记录？ 我就运行了一个自带的示例，一运行就报错然后web页面就崩了 flink定时加载外部数据有人做过吗？ NoSuchMethodError: org.apache.flink.api.java.Utils.resolveFactory(Ljava/lang/ThreadLocal;Ljava/lang/Object;)Ljava/util/Optional 各位知道这个是那个包吗？ flink 可以把大量数据写入mysql吗？比如10g flink sql 解析复杂的json可以吗？ 在页面上写规则，用flink执行，怎么传递给flink？ 使用cep时，如何动态添加规则？ 如何基于flink 实现两个很大的数据集的交集 并集 差集？ flink的应用场景是？除了实时 各位好，请教一下，滑动窗口，每次滑动都全量输出结果，外部存储系统压力大，是否有办法，只输出变化的key？ RichSinkFunction close只有任务结束时候才会去调用，但是数据库连接一直拿着，最后成了数据库连接超时了，大佬们有什么好的建议去处理吗？？ 为啥我的自定义函数注册，然后sql中使用不了？ 请问一下各位老师，flink flapmap 中的collector.collect经常出现Buffer pool is destroyed可能是什么原因呢？ 用asyncIO比直接在map里实现读hbase还慢，在和hbase交互这块儿，每个算子都加了时间统计 请教一下，在yarn上运行，会找不到 org.apache.flink.streaming.util 请问下大佬，flink1.7.2对于sql的支持是不是不怎么好啊 ，跑的数据一大就会报错。 各位大佬，都用什么来监控flink集群？ flink 有那种把多条消息聚合成一条的操作吗，比如说每五十条聚合成一条 如何可以让checkpoint 跳过对齐呢? 请问 阿里云实时计算（Blink）支持这4个源数据表吗？DataHub Kafka MQ MaxCompute？ 为啥checkpoint时间会越来越长，请问哪位大佬知道是因为啥呢？ 请问Flink的最大并行度跟kafka partition数量有关系吗? source的并行度应该最好是跟partition数量一致吧，那剩下的算子并行度呢？ Flink有 MLIB库吗，为什么1.9中没有了啊？ 请教一下，有没有flink ui的文章呢？在这块内存配置，我给 TM 配置的内存只有 4096 M，但是这里为什么对不上呢？请问哪里可以看 TM 内存使用了多少呢？ 请教个问题，fink RichSinkFunction的invoke方法是什么时候被调用的？ 请教一下，flink的window的触发条件 watermark 小于 window 的 end_time。这个 watermark 为什么是针对所有数据的呢？没有设计为一个 key 一个 watermark 呢？ 就比如说有 key1、key2、key3，有3个 watermark，有 3个 window interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢？ 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ；2、不同的运算如何不借助外部系统的存储作为另外一个运算的source 请教各位一个问题，flink中设置什么配置可以取消Generic这个泛型，如图报错： 有大佬在吗，线上遇到个问题，但是明明内存还有200多G，然后呢任务cancel不了，台也取消不了程序 flink遇到The assigned slot container_1540803405745_0094_01_000008_1 was removed. 有木有大佬遇到过。在flink on yarn上跑 这个报错是什么意思呢?我使用滑动窗口的时候出现报错 flink 双流union状态过期不清理有遇到的吗? 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更，如果订单表与商品明细join查询，就会出现n条重复数据，这样数据就不准了，flink 这块有没有比较好的实战经验的。 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink 有办法 读取 pytorch的 模型文件吗？ 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink timestamp转换为date类型，有什么函数吗 flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗？ 有没有大佬知道实时报表怎么做？就是统计的结果要实时更新，热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相关提交到yarn的命令了 请教一下，flink里怎么实现batch sink的操作而不导致数据丢失

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS。 背景信息 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储HDFS可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。 适用范围 非阿里云Hadoop集群中的数据迁移到文件存储HDFS。 阿里云ECS自建Hadoop集群中的数据迁移到文件存储HDFS。 准备工作 在阿里云ECS创建Hadoop集群。 如果您目前的Hadoop集群是搭建在阿里云VPC网络上的阿里云ECS集群，则无需在阿里云ECS上创建新的Hadoop集群。 创建和挂载文件系统至阿里云ECS上的Hadoop集群，并将文件存储HDFS设置为fs.defaultFS，详情请参见文件存储HDFS快速入门。 验证文件系统和计算节点之间的连通性。 执行以下命令，在文件存储HDFS上创建目录（如：/dfs_links）。 hadoop fs -mkdir /dfs_links 执行以下命令，验证连通性。 hadoop fs -ls dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/dfs_links 其中f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名，请根据您的实际情况进行修改。 如果命令正常执行无输出结果，则表示连通成功。如果连通失败，请参见创建文件系统实例后，为什么无法访问文件存储HDFS？进行排查。 准备迁移工具。 您可以通过Hadoop社区标准的Distcp工具实现全量或增量的HDFS数据迁移，详细的Distcp工具使用说明请参见Hadoop Distcp 工具官方说明文档。 说明 使用Distcp命令将旧集群数据迁移至文件存储HDFS时，请注意文件存储HDFS不支持以下参数，其它参数使用和Hadoop Distcp 工具官方说明文档一致。文件存储HDFS及命令行存在限制的详细信息请参见使用限制。 参数 描述 状态 -p[rbpax] r：replication，b：block-size，p：permission，a：ACL，x：XATTR 不可用 非阿里云自建Hadoop集群数据迁移 非阿里云自建Hadoop集群数据迁移到文件存储HDFS包括以下两种情况。 非阿里云自建Hadoop集群与文件存储HDFS可以实现网络互通时， 请按照以下方法进行数据迁移。 使用阿里云高速通道产品建立原集群和文件存储HDFS所在VPC网络的连通，详情请参见专线上云方案介绍。 新旧集群实现网络互通后，执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名，f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名，请根据您的实际情况进行修改。 说明 为减轻现有集群资源压力，建议确保新旧集群网络连通后，在新挂载文件系统的阿里云Hadoop集群上执行数据迁移命令。 非阿里云自建Hadoop集群与文件存储HDFS无法实现网络互通时，请按照以下方法进行数据迁移。 将非阿里云自建Hadoop集群数据迁移到对象存储OSS，详情请参见离线迁移教程。 将对象存储OSS数据迁移到文件存储HDFS，详情请参见文件存储HDFS和对象存储OSS双向数据迁移。 阿里云ECS自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群数据迁移到文件存储HDFS时，包括以下两种情况： 阿里云ECS自建Hadoop集群处于经典网络环境时，请按照以下方法进行数据迁移。 通过阿里云ECS的ClassicLink建立ClassicLink连接，详情请参见建立 ClassicLink 连接。 执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名，f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名，请根据您的实际情况进行修改。 阿里云ECS自建Hadoop集群处于VPC网络环境时，请按照以下方法进行数据迁移。 阿里云ECS自建Hadoop集群处于VPC网络环境时，可以直接通过VPC网络迁移数据到文件存储HDFS。迁移命令如下所示： hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP或者域名，f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名，请根据您的实际情况进行修改。 常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。同时文件越多，checksum需要的时间越长。如果迁移数据量大，建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据，可以将目录切为几个小目录，依次迁移。 一般全量数据同步时，需要一个短暂的业务停写过程，用来启用双写双算或直接将业务切换到新集群上。 迁移过程出现异常提示：Cannot obtain block length for LocatedBlock。 从原生的HDFS往对象存储OSS/文件存储HDFS迁移数据时，可能会遇到这个问题。遇到该问题时，请执行hdfs fsck / –openforwrite命令，检查当前是否有文件处于写入状态尚未关闭。 如果有处于写入状态的文件时，需判断文件是否有效。 如果文件无效，则直接删除文件。 hdfs rm 如果文件有效，则不能直接删除，请考虑恢复问题文件租约。 hdfs debug recoverLease -path -retries

2014年12月第2周 1）SLB植入cookie和SLB重写cookie有什么区别？ cookie植入，表示直接由SLB系统来分配和管理对客户端进行的cookie植入操作，用户在进行配置时 需要指定会话保持的超时时间； cookie重写，表示SLB系统会根据用户自定义cookie名称来分配和管理对客户端进行的cookie植入操 作，便于用户识别和区分自定义的cookie名称 http://help.aliyun.com/doc/view/13510025.html?spm=0.0.0.0.vwbsGF 2）SLB有没有对外提供API接口，因为我想做到用程序自动去控制SLB的操作？ SLB api您可以参考http://help.aliyun.com/view/13621674.html? spm=5176.7114037.1996646101.1.9RoTFM&pos=1 3）使用slb怎么实现数据的单向同步和双向同步？ 单向同步可以使用rsync，双向同步的话rsync需要借用别的服务来实现,如unison+inotify。 4）slb的vip是否可以实现远程登录？ slb 的vip无法实现远程登录。 5）slb的带宽是所有后端ECS服务器的带宽总和吗? 不是，使您购买的slb实例带宽。 6）slb健康检查机制是什么？ 用户开启健康检查功能后，当后端某个ECS健康检查出现问题时会将请求转发到其他健康检查正常的 ECS上，而当该ECS恢复正常运行时，SLB会将其自动恢复到对外或对内的服务中。 针对7层（HTTP协议）服务，SLB系统的健康检查机制为：默认通过SLB的后端系统来向该ECS应用服务 器配置的缺省首页发起http head请求（缺省通过在服务监听配置中指定的后端ECS端口进行访问）， 返回200 OK后将视为后端ECS运行正常，否则视为后端ECS运行异常。如果用户用来进行健康检查的页 面并不是应用服务器的缺省首页，那么需要用户指定相应的URI。如果用户对http head请求限定了 host字段的参数，那么需要用户指定相应的URL。用户也可以通过设定健康检查的频率、健康阈值和 不健康阈值来更好的控制健康检查功能。 针对4层（TCP协议）服务，SLB系统的健康检查机制为：默认通过在服务监听配置中指定的后端ECS端 口发起访问请求，如果端口访问正常则视为后端ECS运行正常，否则视为后端ECS运行异常。 当用户后端ECS健康检查异常后，SLB系统会将该ECS的转发权重设置为0，从而确保新的连接不会再被 转发到该ECS上，而已经建立的连接的请求却不会被直接断掉。 针对可能引起健康检查异常的排查思路点击这里查看。 关于健康检查的参数配置，提供如下参考建议： 响应超时时间：5秒 健康检查间隔：2秒 不健康阈值：3 健康阈值：3 7）权重设置为0怎么办？ 权重为0的服务器将无法提供服务。 ８）健康检查异常的排查思路？ 参考http://help.aliyun.com/doc/view/13510029.html?spm=0.0.0.0.Oa9Ezv ------------------------- 12月份第3周1）轮询与最小连接数方式的区别是什么？当前SLB支持轮询和最小连接数2种模式的转发规则。“轮询模式”会将外部和内部的访问请求依序分发给后端ECS进行处理，而“最小连接数模式”会将外部和内部的访问请求分发给当前连接数最小的一台后端ECS进行处理。2）SLB支持redis的主备？目前我们的SLB不支持主备模式（冷备），只支持"轮询"和"最小连接数"两种负载模式。关于SLB的原理您可以参阅如下博文：http://blog.aliyun.com/149 基于ECS的redis搭建，您可以参阅论坛中其它用户的分享案例：http://bbs.aliyun.com/read/161389.html3）负载均衡的多台服务器之间文件会不会自动同步？slb是不会自动同步的，需要您自行配置。4）四层和七层检查的区别是什么？如果是4层（TCP）配置，健康检查只是简单的TCP握手，不会真正去访问您的业务。但对于7层（HTTP）配置，会发HTTP请求（类似于正常访问），并根据返回状态码判断服务状态（2XX表示服务正常）。5）我有多个slb，之前一个slb由于被攻击被黑洞给屏蔽了外部请求，是否可以在slb 并屏蔽后 能够自动将请求分发到另外的slb？由于攻击导致屏蔽外部请求的话，slb没有自动切换的方法的。6）目前slb是否可以设置黑名单?暂不支持。7）我的slb实例控制台显示是停止，为什么？需要给监听的端口设置带宽才能正常。  8）我使用了 SLB那么ESC 需要购买带宽吗？不需要的。但如需要管理ECS，则可购买少些的带宽如1M来管理。9）slb变更计费方式需要多久才能生效？变更和计费将在第二日零点后生效。10）私网SLB的使用，是如何收费的呢？私网slb是不收取费用的。 ------------------------- 12月第4周1）最近用slb后打开网页老出现503 和504错误？一般都是从ECS获取站点信息等异常导致的。您首先先确保源站都可以正常的访问。2）slb检查时突然发现SLB监听错误，怎么回事？配置的健康检查的域名为空，检查的路径是/index.html，目前查看服务器中只有站点c绑定了空主机头，且站点目录下有index.html，而此站点是停止状态，现已帮您启用，查看服务器的健康检查状态已经正常。3）我想使用slb搭建一个负载均衡，后端使用windows服务器，想咨询一下后端服务器是否需要进行什么特别配置呢？另外使用了slb后，后端还能否得到用户的真实IP地址呢，要不要进行什么特殊配置才可以得到后端用户的真实IP。后端服务器的操作系统和web环境最好保持一致，硬件配置上没有什么特别的，4层tcp是可以直接获得前端用户访问的真实地址的，7层http需要在后端web服务端设置一下，参考http://help.aliyun.com/view/13502961.html?spm=5176.7114037.1996646101.1.oRpnOM&pos=14）slb支持https吗？slb您可以通过TCP协议配置443端口的方式来实现，但是安全证书需要保存在您的后端ECS上。5）健康检查后续是否提供多个域名？健康检查只支持一个域名。6）我想关闭负载均衡的健康检查，请问如何配置？4层tcp是无法关闭健康检查的，7层http可以在控制台关闭。健康检查是不会消耗您服务器的资源的，因为slb都是通过内网ip来进行健康检查。7）如何在BLS上 限制单个IP 禁止访问 我的网站呢？SLB暂时不支持设置屏蔽用户端IP。 ------------------------- Re:Re负载均衡SLB常见咨询问题（持续连载） 引用第2楼517449116于2014-12-17 15:54发表的 Re负载均衡SLB常见咨询问题（持续连载） : 如果开启健康检查，健康检查异常的话，是不是就不会给这个异常的ECS分发？ [url=http://bbs.aliyun.com/job.php?action=topost&tid=188736&pid=596806][/url] 异常的话不会在分发。 ------------------------- 2015年1月第1周1）有2台ECS起名叫A和B做SLB，A权重设的100 B权重设的0.请问.当A死机时,SLB是否会转到权重是0的B上?如果有一台设置为0，永远都不会有请求转发到此服务器上，即使权重100的宕机也不会转发到0权重的。2）会话保持的选择？开启会话保持功能后，SLB会把来自同一客户端的访问请求分发到同一台后端ECS上进行处理。针对7层（HTTP协议）服务，SLB系统是基于cookie的会话保持。针对4层（TCP协议）服务，SLB系统是基于IP地址的会话保持。3）用nagios或zabbix监控网络带宽，是否可以监控 slb的流量？nagios或zabbix，cacti是要要被监控端安装snmp或者相关agent ，slb不支持安装这些，所以无法通过这条监控软件进行监控。您可以在slb的控制台里面进行查看流量等相关信息。4）用了负载均衡后升级带宽，是不是只用在负载上面升级就可以了，ECS是不是不用在升级了？SLB与后端服务器是经过内网通信，所以如果业务量增加，您对SLB的带宽调整就行，不需要对服务器ECS进行带宽的升级。 ------------------------- 2015年1月第2周 1）SLB到期之后，会对SLB有关联的云主机怎么处理？云主机还没到期的前提下  我想把网站域名解析到SLB上 如果SLB到期了 会影响到我的网站服务么？ 云服务器是不会有什么影响的，会自动又变成单独的云服务器可以供您使用的。但是如果您的域名是解析到SLB上，那么会影响到您的站点访问的。服务器上不会有其他的问题感谢您的支持。 2)当SLB 状态为停止的时候 还计算费用吗？停止后公网slb会收取实例费用。SLB价格总览参考：http://help.aliyun.com/view/11108234_13502923.html?spm=0.0.0.0.kBLsVA 3)做了SLB负载均衡，四层和7层负载均衡是否都走slb带宽？ 都走slb带宽。 4)我想 移除 slb下的ecs（用作其他用途），请问在移除的时候是否会影响被负载到这台 ecs上的服务的使用 ，也是说slb这是是怎么处理的？ 您可以将要移除的主机的权重更改为0 ，这样默认就不会在分发到权重为0的主机上，这个时候您可以移除该主机。但要确保您的另外一台服务器可以承受所有的访问。 5)SLB实例如何释放? 您需要登录管理控制台点击负载均衡。查询您之前创建的实例在哪个节点下，然后释放您的实例。 6)SLB按照小时的带宽计费， 是否需要每小时调整？比如我可否按照一个比较高的上限， 比如3G,然后每个小时按照该小时的峰值进行独立计费呢？   在一个自然日内，限制用户变更计费方式的次数为1次，变更计费方式将在第二日零点后生效；比如用户在今天5月5日的10:00提交了变更计费方式，那么该变配申请将在明天5月6日00:00后生效。http://help.aliyun.com/view/13502923.html?spm=5176.7114037.1996646101.3.67L5dm&pos=2;SLB目前最大带宽是1000Mbps 7）SLB可以限制每个ip的访问频率吗?(工单1F684MN)slb不支持这样配置的。 8）为什么我设置SLB健康检查间隔为5S，但却每秒都有很多请求？因为用于健康检查的服务ip不止一个，每秒中都会有不同的内网ip进行健康检查，健康检查是通过内网方式，不会消耗您后端服务器的资源，您可以将健康检查间隔阈值跳大些，这样监测频率会降低很多。 ------------------------- Re:负载均衡SLB常见咨询问题（持续连载至2015年1月第3周） 2015年1月第3周 1.发现很多100.97.0.0/16 的ip段扫描，给我服务器带来很大压力，怎么办？ 100.97.0.0/16 是我们slb的健康检查服务ip段，如果给服务器带来较大压力，请调整健康检查的设置；健康检查的话 1）调低检查频率 2）设置检查静态文件，而不是默认首页或者动态文件 3）设置一个不记录日志的virtualhost，专门用于健康检查。 2）SLB里的带宽 和后面对应服务器的带宽有什么关联关系？比如SLB我设置了带宽为10M， 但是我后 面2台服务器购买的带宽都只有2M， 这种情况带宽以哪个为准？ 如果您设置的是常规7层slb负载均衡，那么网站访问所使用的带宽，都将通过slb而不需要消耗云服 务器的带宽，但是云服务器本身的系统更新，以及您更新网站等等也是需要带宽的，因此您保留2M 即可。 3)采用流量计费方式的话带宽是否没有限制? SLB按流量计费最大的带宽是1G。 4)请问我如何获得一个外网SLB期所对应的内网IP呢？比如现在我有一个外网SLB下挂了一个ECS， 而ECS的iptables里我想做一些配置，针对来自于这个SLB的请求做一个判断，我需要知道这个外网 SLB的内网IP。 目前SLB与后端通过如下地址段进行交互： 10.158.0.0/16 10.159.0.0/16 100.97.0.0/16 您可以针对上述地址段做相关配置。 5)如何确保SLB后端的多台ECS之间的数据同步呢? 目前，有很多类似的工具可以实现服务器之间的数据同步，比如：rsync。具体使用及选择，还请通 过其他途径获得更多的介绍资料及指导信息。您也可以将您的ECS配置成无状态的应用服务器，而数 据和文件统一存放在RDS和OSS服务上。 ------------------------- 2015年1月第4周1.为什么我的SLB实例突然消失了？请检查您的SLB服务是否设置了自动释放时间导致。2.我想关掉负载均衡，怎么操作？您直接登录到阿里云管理控制台——slb负载均衡——实例中查询创建的slb服务，后方有“释放”的按钮，您直接释放即可。3. 我现在有两个阿里账号里面都有ECS，我能不能在一个slb里面配置不同阿里云账户下的ECS？目前只能将同一账户下的服务器添加到SLB中，无法跨账户添加。4.ECS做负载均衡需要用户做额外的配置吗？可以参考http://help.aliyun.com/knowledge_detail.htm?knowledgeId=5973987。5. 云服务器上做数据库负载均衡如何实现，需要购买什么产品 ？文件服务器能否做负载均衡，比如10台文件服务器，包括读写这种的  ？1）数据库集群,用slb理论上是可以做的,但是如果您需要集群级别的数据库,建议使用我们的RDS。2）文件服务器也可以负载均衡,使用slb在均衡,保持会话,但是有一个问题是后端文件同步的,需要您自行同步,如 rsync。6.看SLB的说明是支持ddos的防护的，请问下，SLB的防护的峰值是多少，超过峰值黑洞时间是多少？这个与slb所在地区有关，和ecs的防御阀值是一样的，黑洞时间也是2.5小时。7. slb第七层是基于haproxy还是nginx还是tengine实现的？使用tengine实现的。8.7层和4层 SLB的超时时间是多少？7层超时时间是60s，4层超时时间是900s。9.负载均衡健康检查请求数量太多，怎么回事？因为slb前端机器是一组机器，所以健康检查请求较多，请您不要担心，集群内的每台服务都会对您的健康按照您设定的频率去做健康检查：您可以按照上述方法去优化您的健康检查项，看似请求量很大，但是对您资源消耗很少的，有2个建议给您：1）扩大健康检查的频率2）将检查页面配置为静态页面。这样请求消耗的资源会节省。10. SLB配置中的最小连接数是基于什么样判断？SLB会自动判断 当前ECS 的established 来判断是否转发。 ------------------------- 2015年2月第1周1)我想了解下SLB按流量计费是不是每小时需要扣0.02元?按量付费，国内节点配置费用是按照0.02/小时。流量单独计费。按带宽计费:采取按小时计费，以日结算（运行未满一日，按照当日实际使用小时数*当日开通的最高带宽的天价格/24）。如果您使用SLB实例的时间不足一小时，按一小时收费。2）请问健康检查发的什么请求？ head 还是 get？head请求。3）SLB最大连接数如何来设置？目前暂不支持设置最大连接数限制。4）SLB 后端有两个服务器HA1和HA2，为什么我将HA1的权重设置成0，SLB的健康检查就有告警呢？slb四层的话，只要权重设置为0，那么健康检查就是显示异常。 ------------------------- 2015年2月第3周1)负载均衡SLB的实例防攻击防御是多少？我们有云盾的防御黑洞策略，比如以杭州节点的slb，其最高防御的流量阈值为5G，当最大流量超过5Ｇ，您的slb vip则会被加入到黑洞中，触发黑洞会使ecs或者slb正常使用中断2.5小时，这个您可以通过云盾管理控制台查看到这个说明。2） 我其他机房的服务器能添加到你们的负载均衡SLB中吗？不可以的，slb使用的是内网和后端的ECS互联，无法直接添加非阿里云主机的服务器，且slb后端的ecs需要使用同一节点的主机。3）负载均衡服务支持的最大负载均衡实例数目多少？总体峰值可支持每秒新建链接数大约多少？SLB对于后端服务器的数目是没有限制的。对于总体峰值每秒新建连接数是没有限制的。但是因为SLB前端是云盾服务，所以最大值取决于云盾中您配置的请求数。您可以查看云盾看到具体的值。4）SLB按量计费为什么需要设置带宽峰值？如果不设置带宽峰值，遇到攻击等情况，可能流量打的非常高的，带宽流量峰值您可以在slb控制台设置。5）在SLB控制面板看到的流入流量，要比后端服务器的eth0的income流量小很多， 请问slb的流入流量是否应该等于后端服务器的内网网卡入流量吗？不等于的，后端的eth0包括了slb的流量，还有其他的流量，包括ecs直接的内网通信等。slb只做转发，不处理请求的，slb通过内网转发到ecs。6）SLB中的月账单 是指我们拥有所有的 SLB 实例的计费呢，还是单独的某个 SLB 的计费？月账单是指您不同类型产品，截止当前日期内月内消费计费额度的，是所有SLB产品的。您也可以通过账单明细进行查询具体信息的。 ------------------------- 2014年2月第4周1）10.159.63.55,这个内网ip，总是恶意访问我们网站？SLB系统除了会通过系统服务器的内网IP将来自外部的访问请求转到后端ECS上之外，还会对ECS进行健康检查（前提是您已经开启了这一功能）和对您的SLB服务进行可用性监控，这些访问的来源都是由SLB系统发起的，具体包含的IP地址段是：杭州、青岛、北京、深圳节点SLB系统IP地址段：10.159.0.0/16，10.158.0.0/16和100.97.0.0/16，为了确保您对外服务的可用性，请确保对上述地址的访问配置放行规则。2）slb计费方式变更需要多久，业务会受到影响么？变更计费方式与变更配置说明1、支持用户在按使用流量和按公网带宽2种计费方式间切换；2、支持按固定带宽方式计费的用户灵活变更带宽配置；3、在一个自然日内，限制用户变更计费方式的次数为1次，变更计费方式将在第二日零点后生效；比如：用户在今天5月5日的10:00提交了变更计费方式，那么该变配申请将在明天5月6日00:00后生效。4、按固定带宽方式计费变更带宽配置即时生效，带宽计费取自然日内用户开通的最高带宽。5、对客户业务不会造成影响；3）负载均衡能将我的外部非阿里云服务器和ECS服务器放到一块？目前负载均衡SLB仅支持阿里云ECS，无法支持外部非阿里云服务器。4）slb是否有连接数限制，需要大量终端一直与平台保持长连接，阿里云能提多少长连接？SLB没有并发连接数限制的，slb是转发请求不做处理，实际连接数还要跟您后端的处理能力有关。 ------------------------- 2015年3月第1周1）调整权重会对SLB已经有的正常连接有影响吗？目前调整权重会对调整权重的这台主机已有的连接产生影响，会有连接卡主，卡住时间由健康检查配置的时间决定。2)slb是否支持UDP协议？目前SLB暂不支持UDP协议。3）现在TCP四层负载均衡的出口带宽受ECS机器的出口带宽限制吗？slb和ECS之间走的是内网流量，带宽是不受限制的。4）如果没有外网ip, 是否可以用slb的4层转发 ?没有带宽4层SLB也是可以使用的。 ------------------------- Re:负载均衡SLB常见咨询问题（持续连载至2015年3月第1周） 2015年3月第2周 1)SLB变更计费方式并支付成功后无法添加配置? SLB在一个自然日内，限制用户变更计费方式的次数为1次，变更计费方式将在第二日零点后生效查看您今天变更过一 次计费方式，开始时间：2015-03-09 00:00:00。原按使用流量计费，在2015-03-09 00:00:00后变更为按固定带宽计 费，带宽峰值: 2Mbps。同时在您新的计费方式生效之前，您是无法对该SLB进行修改配置的。 2）我的账户怎么欠费￥7.88，这是怎么回事？ 查看您有使用负载均衡slb业务，在slb产品的账单欠费，请您登陆用户中心-消费记录-账单明细中查看 记录。 3）如何屏蔽健康检查探测的日志记录？ 关闭或者屏蔽对test.php访问日志的方式： 在站点配置文件中添加内容： location ~ /test.php { access_log off; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; include fastcgi.conf; } 注： 1、对test.php的location必须要放置在对php|php5处理前，否则会因为先被进行全局匹配导致无法生效。 2、还可以用另一种方案实现： a、在后端服务器中单独为用于健康检查的页面建立一个站点； b、关闭这个站点的日志记录： location ~ .*\.(php|php5)?$ { access_log off; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; include fastcgi.conf; } 3、如果检查页面是其他格式，比如test.html，可以采用如下方式进行屏蔽： location ~ /test.html { access_log off; } 4.我想问下SLB的固定带宽，10M是不是上行和下行最大都能达到10M？ 固定带宽指的是下行带宽最大达到10M，上行带宽没有限制。上行带宽指的是SLB的入流量（上行），就是进入SLB的 流量。带宽指的是SLB的出流量（下行），就是SLB对外发生给客户端的流量。 5.一般配置SLB的时候有个权重0到100，是如何选择数值的？ 权重需要您根据后端机器的配置进行选择比如AB两台机器性能一致就分别设置50，这样请求就会在这两台机器上轮询 ，不同权重决定请求分发的分配。 ------------------------- 2015年3月第3周1）公网的SLB和ECS之间的流量是否收费？不收费。2） 想做SLB+两台ECS，附件OSS，程序Discuz。但是不知道如何实现?slb要求后端的两台ecs数据是一致的,为了保持数据的一致性，建议共享存数和数据，静态文件放置到oss里，数据库文件走自己搭建的主从或者，连接同一台rds。3）按流量计算是否需要设置峰值？按流量计费不需要设置峰值的。4）如何建一个子帐号来管理负载均衡SLB?子账户无法管理负载均衡服务。

概述 1.1 媒体工作流的作用 媒体工作流支持截图、转码、转封装、水印、剪辑等功能，使您可以快速、灵活、按需搭建云端音视频处理流程；在媒体工作流开始执行和完成执行时，支持向指定的消息队列或消息通知发送工作流执行信息。具体包括以下功能：输入bucket路径，转码配置，截图配置，发布配置及消息通知配置。 消息服务检测到输入bucket路径中存在资源增量输入，就会触发媒体工作流中的转码或者截图任务进行转码及截图，对应的任务完成，如果您的输入配置中配置了消息服务的通知或者队列即会在工作流执行实例的开始和结束时通过消息服务发送消息供用户业务逻辑判断，而对应的转码或者截图结果将存储到工作流配置的输出bucket中。 1.2 媒体工作流配置流程 用户可以登陆控制台，在工作流管理中选择配置方案—>输入设置—>转码设置/截图设置/分析及转码设置—>发布设置—>配置cdn加速； 1 1.3 配置方案介绍 2 预置配置方案包括了：M3U8切片工作流，预置智能模板工作流，多码率多格式工作流，FLV多码率工作流，M3U8多码率工作流，MP4多码率工作流，以上工作流其实就是分析转码截图任务节点的组合，用户可以根据需求选择对应的组合或者自定义组合。 3 输入设置 2.1 输入设置基础设置 点击输入节点上的“铅笔”按钮—>进入输入配置页面—>选择输入bucket，转码管道，消息类别，填入输入路径，基础配置就完成了。 45 2.2 输入bucket设置 点击“选择”按钮可以进入到OSS文件管理页面，用户可以选择需求的bucket及bucket下的某个文件夹作为输入路径（文件夹选定后，会自动补全到输入路径的文本框中）。 6 输入bucket选择注意事项 在哪个区域新建工作流，对应的输入bucket也只能是对应区域的bucket，别的区域的bucket不能选择； 输入bucket中的可选择bucket，必须源自媒体bucket的输入bucket，媒体bucket如何添加，请看视频点播初始化设置文档； 输入路径是可编辑的，但注意目录的设置不需要以/结尾，如想存储资源到1目录下的2目录，那么对应的输入路径便为1/2/，而不是1/2； 目前工作流只支持在华东1，华东2，华北1，华南1 区域； 2.3 转码管道设置 转码管道，是处理转码作业的管道，选择对应的管道即可。关于管道的具体意义请参考：《视频点播的初始化设置》。 转码管道限制： 目前每个用户在每个服务可用域拥有1个管道； 每个管道可最多可容纳10000个排队作业； 每个管道最多可同时处理的作业不超过分配给该管道的转码资源数； 2.4 消息类别设置 其中消息类别分为：队列和通知。消息类别可以不进行设置。队列创建看【队列创建】； 通知创建看【通知创建】；队列与通知的区别请看【队列与通知的区别】；队列与通知的消息消费看【队列与通知的消息消费】；选择通知后，可以选择对应的通知名称，也可以增加通知。7选择队列后，可以选择对应的队列，也可以增加队列。8 转码设置 3.1 转码设置基础设置 点击转码按钮上的“铅笔”按钮—>进入基础配置页面—>选择转码模板，输出bucket，是否使用水印，填入输出路径，基础配置就完成了。1011 3.2 转码模板设置 点击选择按钮—>进入转码模板页面—>选择转码模板。转码模板分为预置静态模板及自定义模板。视频点播的转码模板源自媒体转码MTS的转码模板，也可以在视频点播初始化设置的时候添加。预置静态模板介绍看【预置静态模板】 12 转码模板选择注意事项 转码为不同的格式，建议选择转码模板，而不是转码封装模板，否则可能会有转码失败的可能。 3.3 输出bucket设置 点击选择按钮—>进入OSS文件管理页面—>选择输出bucket及对应的输出文件夹。13 输出bucket选择注意事项 在哪个区域新建工作流，对应的输出bucket也只能是对应区域的bucket，别的区域的bucket不能选择； 输出bucket中的可选择bucket，必须源自媒体bucket的输出bucket，媒体bucket如何添加，请看视频点播初始化设置文档； 输出路径是可编辑的，但注意目录的设置不需要以/结尾，如想存储资源到1目录下的2目录，那么对应的输出路径便为1/2/，而不是1/2； 目前工作流只支持在华东1，华东2，华北1和华南1 四个区域； 3.4 使用水印设置 水印设置是为用户的转码视频添加水印，用户可以选择对应的水印模板或者不使用水印。水印模板选择后，选择对应的水印图片—>进入OSS管理页面—>选择bucket中的图片。水印模板源自媒体转码MTS的水印模板，也可以在视频点播初始化设置的时候添加。14 注意： 水印图片所在bucket源自媒体bucket中的输出bucket。 4. 截图设置 4.1 截图设置基础设置 点击截图按钮上的“铅笔”标识—>进入截图页面—>选择是否进行多张截图，输出bucket，开始时间，是否设置为封面，是否截取关键帧，设置截图时间间隔，截图数量，输出路径，图片宽度，高度。1516 截图基础配置注意事项： 多张截图：表示是否开启多张截图，多张截图开启后，可以设置截图数量及截图间隔； 开始时间，表示从什么时间点开启截图，注意设置开始时间不要大于视频总时长，不然是不会截图的； 设置封面：表示对应的截图是否设置为封面，如果开启多张截图，默认第一张截图设置为封面； 关键帧：表示是否只截取关键帧的图片，截取非关键帧的图片，图片可能会存在模糊损坏的现象； 图片宽度高度表示截取图片的宽高； 4.1 输出bucket设置 点击选择按钮—>进入OSS文件管理页面—>选择输出bucket及对应的输出文件夹。17 输出bucket选择注意事项 在哪个区域新建工作流，对应的输出bucket也只能是对应区域的bucket，别的区域的bucket不能选择； 输出bucket中的可选择bucket，必须源自媒体bucket的输出bucket，媒体bucket如何添加，请看视频点播初始化设置文档； 输出路径是可编辑的，在选择bucket并选择文件夹后，对应的输出路径默认为：文件夹名称/ {RunId}/{SnapshotTime}/{Count}.jpg，{RunId}表示转码实例id， {SnapshotTime} 为截图时间点，单位为毫秒，此例中对视频第5秒截图，则变量取值为 5000，如果使用多张图片需要使用{Count}占位符，反之不需要； 目前工作流只支持在华东1，华东2，华北1和华南1 四个区域； 5. 分析/转码设置 5.1 分析/转码设置基础设置 点击转码按钮上的“铅笔”标识—>进入基础配置页面—>选择转码模板，输出bucket，是否使用水印，填入输出路径，基础配置就完成了。1819 5.2 转码模板设置 点击选择按钮—>进入转码模板页面—>选择转码模板。转码模板为预置智能模板，对应的转码任务要生效，得转码之前的分析作业执行后，分析得到到适用该视频的转码模板包含了转码设置中选择的模板，对应的转码任务才能执行，否则是不会执行，在执行实例中出现“跳过”的图示结果。预置智能模板介绍看【预置智能模板介绍】；如果想转码任务一定执行，请直接添加转码任务，不要加分析/转码任务并且使用MTS静态模板，不要使用MTS智能模板。 20 转码模板选择注意事项 转码为不同的格式，建议选择转码模板，而不是转码封装模板 5.3 输出bucket设置 点击选择按钮—>进入OSS文件管理页面—>选择输出bucket及对应的输出文件夹。21 输出bucket选择注意事项 在哪个区域新建工作流，对应的输出bucket也只能是对应区域的bucket，别的区域的bucket不能选择； 输出bucket中的可选择bucket，必须源自媒体bucket的输出bucket，媒体bucket如何添加，请看视频点播初始化设置文档； 输出路径是可编辑的，但注意目录的设置不需要以/结尾，如想存储资源到1目录下的2目录，那么对应的输出路径便为1/2/，而不是1/2； 目前工作流只支持在华东1，华东2，华北1和华南1 四个区域； 5.4 使用水印设置 水印设置是为用户的转码视频添加水印，用户可以选择对应的水印模板或者不使用水印。水印模板选择后，选择对应的水印图片—>进入OSS管理页面—>选择bucket中的图片。水印模板源自媒体转码MTS的水印模板，也可以在视频点播初始化设置的时候添加。22 注意： 水印图片所在bucket源自媒体bucket中的输出bucket。 6. 发布设置 点击发布边上的铅笔按钮—>进入发布页面—>选择媒体发布类型，基础配置就完成了。媒体发布类型分为自动及手动，默认为手动。2324 发布设置注意事项： 自动与手动的区别为：自动表示工作流处理后生成的object的acl 为default状态，这个状态表示object的权限继承自bucket的权限，当bucket是公共读的时候，object的acl 也是公共读，bucket私有，object acl 也是私有的；手动表示工作流处理后生成的object的acl为私有的，必须通过鉴权才能访问该object资源； 已有的媒体视频要修改发布状态，可以在媒体库中点击发布，进行发布；25 7. 配置cdn加速 点击下一步按钮—>进入配置内容分发网络（CDN）页面—>如果不存在cdn域名就点击添加，快速添加点播加速域名。26 注意：只有在新建工作流配置中有cdn 域名，对应转码输出后的资源才会带cdn域名地址的链接，如果当时创建工作流不存在CDN域名，之后在bucket中手动绑定域名并进行加速，这样的域名是不会在输出媒体地址中显示的。27

在开始谈我对架构本质的理解之前，先谈谈对今天技术沙龙主题的个人见解，千万级规模的网站感觉数量级是非常大的，对这个数量级我们战略上 要重 视 它 ， 战术上又 要 藐 视 它。先举个例子感受一下千万级到底是什么数量级？现在很流行的优步(Uber)，从媒体公布的信息看，它每天接单量平均在百万左右， 假如每天有10个小时的服务时间，平均QPS只有30左右。对于一个后台服务器，单机的平均QPS可以到达800-1000，单独看写的业务量很简单 。为什么我们又不能说轻视它？第一，我们看它的数据存储，每天一百万的话，一年数据量的规模是多少？其次，刚才说的订单量，每一个订单要推送给附近的司机、司机要并发抢单，后面业务场景的访问量往往是前者的上百倍，轻松就超过上亿级别了。 今天我想从架构的本质谈起之后，希望大家理解在做一些建构设计的时候，它的出发点以及它解决的问题是什么。 架构，刚开始的解释是我从知乎上看到的。什么是架构？有人讲， 说架构并不是一 个很 悬 乎的 东西 ， 实际 上就是一个架子 ， 放一些 业务 和算法，跟我们的生活中的晾衣架很像。更抽象一点，说架构其 实 是 对 我 们 重复性业务 的抽象和我 们 未来 业务 拓展的前瞻，强调过去的经验和你对整个行业的预见。 我们要想做一个架构的话需要哪些能力？我觉得最重要的是架构师一个最重要的能力就是你要有 战 略分解能力。这个怎么来看呢: 第一，你必须要有抽象的能力，抽象的能力最基本就是去重，去重在整个架构中体现在方方面面，从定义一个函数，到定义一个类，到提供的一个服务，以及模板，背后都是要去重提高可复用率。 第二， 分类能力。做软件需要做对象的解耦，要定义对象的属性和方法，做分布式系统的时候要做服务的拆分和模块化，要定义服务的接口和规范。 第三， 算法（性能），它的价值体现在提升系统的性能，所有性能的提升，最终都会落到CPU，内存，IO和网络这4大块上。 这一页PPT举了一些例子来更深入的理解常见技术背后的架构理念。 第一个例子，在分布式系统我们会做 MySQL分 库 分表，我们要从不同的库和表中读取数据，这样的抽象最直观就是使用模板，因为绝大多数SQL语义是相同的，除了路由到哪个库哪个表，如果不使用Proxy中间件，模板就是性价比最高的方法。 第二看一下加速网络的CDN，它是做速度方面的性能提升，刚才我们也提到从CPU、内存、IO、网络四个方面来考虑，CDN本质上一个是做网络智能调度优化，另一个是多级缓存优化。 第三个看一下服务化，刚才已经提到了，各个大网站转型过程中一定会做服务化，其实它就是做抽象和做服务的拆分。第四个看一下消息队列，本质上还是做分类，只不过不是两个边际清晰的类，而是把两个边际不清晰的子系统通过队列解构并且异步化。新浪微博整体架构是什么样的 接下我们看一下微博整体架构，到一定量级的系统整个架构都会变成三层，客户端包括WEB、安卓和IOS，这里就不说了。接着还都会有一个接口层， 有三个主要作用： 第一个作用，要做 安全隔离，因为前端节点都是直接和用户交互，需要防范各种恶意攻击； 第二个还充当着一个 流量控制的作用，大家知道，在2014年春节的时候，微信红包，每分钟8亿多次的请求，其实真正到它后台的请求量，只有十万左右的数量级（这里的数据可能不准），剩余的流量在接口层就被挡住了； 第三，我们看对 PC 端和移 动 端的需求不一样的，所以我们可以进行拆分。接口层之后是后台，可以看到微博后台有三大块： 一个是 平台服 务， 第二， 搜索， 第三， 大数据。到了后台的各种服务其实都是处理的数据。 像平台的业务部门，做的就是 数据存储和读 取，对搜索来说做的是 数据的 检 索，对大数据来说是做的数据的 挖掘。微博其实和淘宝是很类似 微博其实和淘宝是很类似的。一般来说，第一代架构，基本上能支撑到用户到 百万 级别，到第二代架构基本能支撑到 千万 级别都没什么问题，当业务规模到 亿级别时，需要第三代的架构。 从 LAMP 的架构到面向服 务 的架构，有几个地方是非常难的，首先不可能在第一代基础上通过简单的修修补补满足用户量快速增长的，同时线上业务又不能停， 这是我们常说的 在 飞 机上 换 引擎的 问题。前两天我有一个朋友问我，说他在内部推行服务化的时候，把一个模块服务化做完了，其他部门就是不接。我建议在做服务化的时候，首先更多是偏向业务的梳理，同时要找准一个很好的切入点，既有架构和服务化上的提升，业务方也要有收益，比如提升性能或者降低维护成本同时升级过程要平滑，建议开始从原子化服务切入，比如基础的用户服务， 基础的短消息服务，基础的推送服务。 第二，就是可 以做无状 态 服 务，后面会详细讲，还有数据量大了后需要做数据Sharding，后面会将。 第三代 架构 要解决的 问题，就是用户量和业务趋于稳步增加（相对爆发期的指数级增长），更多考虑技术框架的稳定性， 提升系统整体的性能，降低成本，还有对整个系统监控的完善和升级。 大型网站的系统架构是如何演变的 我们通过通过数据看一下它的挑战，PV是在10亿级别，QPS在百万，数据量在千亿级别。我们可用性，就是SLA要求4个9，接口响应最多不能超过150毫秒，线上所有的故障必须得在5分钟内解决完。如果说5分钟没处理呢？那会影响你年终的绩效考核。2015年微博DAU已经过亿。我们系统有上百个微服务，每周会有两次的常规上线和不限次数的紧急上线。我们的挑战都一样，就是数据量，bigger and bigger，用户体验是faster and faster，业务是more and more。互联网业务更多是产品体验驱动， 技 术 在 产 品 体验上最有效的贡献 ， 就是你的性能 越来越好 。 每次降低加载一个页面的时间，都可以间接的降低这个页面上用户的流失率。微博的技术挑战和正交分解法解析架构 下面看一下 第三代的 架构 图 以及 我 们 怎么用正交分解法 阐 述。 我们可以看到我们从两个维度，横轴和纵轴可以看到。 一个 维 度 是 水平的 分层 拆分，第二从垂直的维度会做拆分。水平的维度从接口层、到服务层到数据存储层。垂直怎么拆分，会用业务架构、技术架构、监控平台、服务治理等等来处理。我相信到第二代的时候很多架构已经有了业务架构和技术架构的拆分。我们看一下， 接口层有feed、用户关系、通讯接口；服务层，SOA里有基层服务、原子服务和组合服务，在微博我们只有原子服务和组合服务。原子服务不依赖于任何其他服务，组合服务由几个原子服务和自己的业务逻辑构建而成 ，资源层负责海量数据的存储（后面例子会详细讲）。技 术框架解决 独立于 业务 的海量高并发场景下的技术难题，由众多的技术组件共同构建而成 。在接口层，微博使用JERSY框架，帮助你做参数的解析，参数的验证，序列化和反序列化；资源层，主要是缓存、DB相关的各类组件，比如Cache组件和对象库组件。监 控平台和服 务 治理 ， 完成系统服务的像素级监控，对分布式系统做提前诊断、预警以及治理。包含了SLA规则的制定、服务监控、服务调用链监控、流量监控、错误异常监控、线上灰度发布上线系统、线上扩容缩容调度系统等。 下面我们讲一下常见的设计原则。 第一个，首先是系统架构三个利器： 一个， 我 们 RPC 服 务组 件 （这里不讲了）， 第二个，我们 消息中 间 件 。消息中间件起的作用：可以把两个模块之间的交互异步化，其次可以把不均匀请求流量输出为匀速的输出流量，所以说消息中间件 异步化 解耦 和流量削峰的利器。 第三个是配置管理，它是 代码级灰度发布以及 保障系统降级的利器。 第二个 ， 无状态 ， 接口 层 最重要的就是无状 态。我们在电商网站购物，在这个过程中很多情况下是有状态的，比如我浏览了哪些商品，为什么大家又常说接口层是无状态的，其实我们把状态从接口层剥离到了数据层。像用户在电商网站购物，选了几件商品，到了哪一步，接口无状态后，状态要么放在缓存中，要么放在数据库中， 其 实 它并不是没有状 态 ， 只是在 这 个 过 程中我 们 要把一些有状 态 的 东 西抽离出来 到了数据层。 第三个， 数据 层 比服 务层 更需要 设计，这是一条非常重要的经验。对于服务层来说，可以拿PHP写，明天你可以拿JAVA来写，但是如果你的数据结构开始设计不合理，将来数据结构的改变会花费你数倍的代价，老的数据格式向新的数据格式迁移会让你痛不欲生，既有工作量上的，又有数据迁移跨越的时间周期，有一些甚至需要半年以上。 第四，物理结构与逻辑结构的映射，上一张图看到两个维度切成十二个区间，每个区间代表一个技术领域，这个可以看做我们的逻辑结构。另外，不论后台还是应用层的开发团队，一般都会分几个垂直的业务组加上一个基础技术架构组，这就是从物理组织架构到逻辑的技术架构的完美的映射，精细化团队分工，有利于提高沟通协作的效率 。 第五， www .sanhao.com 的访问过程，我们这个架构图里没有涉及到的，举个例子，比如当你在浏览器输入www.sanhao网址的时候，这个请求在接口层之前发生了什么？首先会查看你本机DNS以及DNS服务，查找域名对应的IP地址，然后发送HTTP请求过去。这个请求首先会到前端的VIP地址（公网服务IP地址），VIP之后还要经过负载均衡器（Nginx服务器），之后才到你的应用接口层。在接口层之前发生了这么多事，可能有用户报一个问题的时候，你通过在接口层查日志根本发现不了问题，原因就是问题可能发生在到达接口层之前了。 第六，我们说分布式系统，它最终的瓶颈会落在哪里呢？前端时间有一个网友跟我讨论的时候，说他们的系统遇到了一个瓶颈， 查遍了CPU，内存，网络，存储，都没有问题。我说你再查一遍，因为最终你不论用上千台服务器还是上万台服务器，最终系统出瓶颈的一定会落在某一台机（可能是叶子节点也可能是核心的节点），一定落在CPU、内存、存储和网络上，最后查出来问题出在一台服务器的网卡带宽上。微博多级双机房缓存架构 接下来我们看一下微博的Feed多级缓存。我们做业务的时候，经常很少做业务分析，技术大会上的分享又都偏向技术架构。其实大家更多的日常工作是需要花费更多时间在业务优化上。这张图是统计微博的信息流前几页的访问比例，像前三页占了97%，在做缓存设计的时候，我们最多只存最近的M条数据。 这里强调的就是做系统设计 要基于用 户 的 场 景 ， 越细致越好 。举了一个例子，大家都会用电商，电商在双十一会做全国范围内的活动，他们做设计的时候也会考虑场景的，一个就是购物车，我曾经跟相关开发讨论过，购物车是在双十一之前用户的访问量非常大，就是不停地往里加商品。在真正到双十一那天他不会往购物车加东西了，但是他会频繁的浏览购物车。针对这个场景，活动之前重点设计优化购物车的写场景， 活动开始后优化购物车的读场景。 你看到的微博是由哪些部分聚合而成的呢？最右边的是Feed，就是微博所有关注的人，他们的微博所组成的。微博我们会按照时间顺序把所有关注人的顺序做一个排序。随着业务的发展，除了跟时间序相关的微博还有非时间序的微博，就是会有广告的要求，增加一些广告，还有粉丝头条，就是拿钱买的，热门微博，都会插在其中。分发控制，就是说和一些推荐相关的，我推荐一些相关的好友的微博，我推荐一些你可能没有读过的微博，我推荐一些其他类型的微博。 当然对非时序的微博和分发控制微博，实际会起多个并行的程序来读取，最后同步做统一的聚合。这里稍微分享一下， 从SNS社交领域来看，国内现在做的比较好的三个信息流： 微博 是 基于弱关系的媒体信息流 ； 朋友圈是基于 强 关系的信息流 ； 另外一个做的比 较 好的就是今日 头 条 ， 它并不是基于关系来构建信息流 ， 而是基于 兴趣和相关性的个性化推荐 信息流 。 信息流的聚合，体现在很多很多的产品之中，除了SNS，电商里也有信息流的聚合的影子。比如搜索一个商品后出来的列表页，它的信息流基本由几部分组成：第一，打广告的；第二个，做一些推荐，热门的商品，其次，才是关键字相关的搜索结果。 信息流 开始的时候 很 简单 ， 但是到后期会 发现 ， 你的 这 个流 如何做控制分发 ， 非常复杂， 微博在最近一两年一直在做 这样 的工作。刚才我们是从业务上分析，那么技术上怎么解决高并发，高性能的问题？微博访问量很大的时候，底层存储是用MySQL数据库，当然也会有其他的。对于查询请求量大的时候，大家知道一定有缓存，可以复用可重用的计算结果。可以看到，发一条微博，我有很多粉丝，他们都会来看我发的内容，所以 微博是最适合使用 缓 存 的系统，微博的读写比例基本在几十比一。微博使用了 双 层缓 存，上面是L1，每个L1上都是一组（包含4-6台机器），左边的框相当于一个机房，右边又是一个机房。在这个系统中L1缓存所起的作用是什么？ 首先，L1 缓 存增加整个系 统 的 QPS， 其次 以低成本灵活扩容的方式 增加 系统 的 带宽 。想象一个极端场景，只有一篇博文，但是它的访问量无限增长，其实我们不需要影响L2缓存，因为它的内容存储的量小，但它就是访问量大。这种场景下，你就需要使用L1来扩容提升QPS和带宽瓶颈。另外一个场景，就是L2级缓存发生作用，比如我有一千万个用户，去访问的是一百万个用户的微博 ，这个时候，他不只是说你的吞吐量和访问带宽，就是你要缓存的博文的内容也很多了，这个时候你要考虑缓存的容量， 第二 级缓 存更多的是从容量上来 规划，保证请求以较小的比例 穿透到 后端的 数据 库 中 ，根据你的用户模型你可以估出来，到底有百分之多少的请求不能穿透到DB， 评估这个容量之后，才能更好的评估DB需要多少库，需要承担多大的访问的压力。另外，我们看双机房的话，左边一个，右边一个。 两个机房是互 为 主 备 ， 或者互 为热备 。如果两个用户在不同地域，他们访问两个不同机房的时候，假设用户从IDC1过来，因为就近原理，他会访问L1，没有的话才会跑到Master，当在IDC1没找到的时候才会跑到IDC2来找。同时有用户从IDC2访问，也会有请求从L1和Master返回或者到IDC1去查找。 IDC1 和 IDC2 ，两个机房都有全量的用户数据，同时在线提供服务，但是缓存查询又遵循最近访问原理。还有哪些多级缓存的例子呢？CDN是典型的多级缓存。CDN在国内各个地区做了很多节点，比如在杭州市部署一个节点时，在机房里肯定不止一台机器，那么对于一个地区来说，只有几台服务器到源站回源，其他节点都到这几台服务器回源即可，这么看CDN至少也有两级。Local Cache+ 分布式 缓 存，这也是常见的一种策略。有一种场景，分布式缓存并不适用， 比如 单 点 资 源 的爆发性峰值流量，这个时候使用Local Cache + 分布式缓存，Local Cache 在 应用 服 务 器 上用很小的 内存资源 挡住少量的 极端峰值流量，长尾的流量仍然访问分布式缓存，这样的Hybrid缓存架构通过复用众多的应用服务器节点，降低了系统的整体成本。 我们来看一下 Feed 的存 储 架构，微博的博文主要存在MySQL中。首先来看内容表，这个比较简单，每条内容一个索引，每天建一张表，其次看索引表，一共建了两级索引。首先想象一下用户场景，大部分用户刷微博的时候，看的是他关注所有人的微博，然后按时间来排序。仔细分析发现在这个场景下， 跟一个用户的自己的相关性很小了。所以在一级索引的时候会先根据关注的用户，取他们的前条微博ID，然后聚合排序。我们在做哈希（分库分表）的时候，同时考虑了按照UID哈希和按照时间维度。很业务和时间相关性很高的，今天的热点新闻，明天就没热度了，数据的冷热非常明显，这种场景就需要按照时间维度做分表，首先冷热数据做了分离（可以对冷热数据采用不同的存储方案来降低成本），其次， 很容止控制我数据库表的爆炸。像微博如果只按照用户维度区分，那么这个用户所有数据都在一张表里，这张表就是无限增长的，时间长了查询会越来越慢。二级索引，是我们里面一个比较特殊的场景，就是我要快速找到这个人所要发布的某一时段的微博时，通过二级索引快速定位。 分布式服务追踪系统 分布式追踪服务系统，当系统到千万级以后的时候，越来越庞杂，所解决的问题更偏向稳定性，性能和监控。刚才说用户只要有一个请求过来，你可以依赖你的服务RPC1、RPC2，你会发现RPC2又依赖RPC3、RPC4。分布式服务的时候一个痛点，就是说一个请求从用户过来之后，在后台不同的机器之间不停的调用并返回。 当你发现一个问题的时候，这些日志落在不同的机器上，你也不知道问题到底出在哪儿，各个服务之间互相隔离，互相之间没有建立关联。所以导致排查问题基本没有任何手段，就是出了问题没法儿解决。 我们要解决的问题，我们刚才说日志互相隔离，我们就要把它建立联系。建立联系我们就有一个请求ID，然后结合RPC框架， 服务治理功能。假设请求从客户端过来，其中包含一个ID 101，到服务A时仍然带有ID 101，然后调用RPC1的时候也会标识这是101 ，所以需要 一个唯一的 请求 ID 标识 递归迭代的传递到每一个 相关 节点。第二个，你做的时候，你不能说每个地方都加，对业务系统来说需要一个框架来完成这个工作， 这 个框架要 对业务 系 统 是最低侵入原 则 ， 用 JAVA 的 话 就可以用 AOP，要做到零侵入的原则，就是对所有相关的中间件打点，从接口层组件（HTTP Client、HTTP Server）至到服务层组件（RPC Client、RPC Server），还有数据访问中间件的，这样业务系统只需要少量的配置信息就可以实现全链路监控 。为什么要用日志？服务化以后，每个服务可以用不同的开发语言， 考虑多种开发语言的兼容性 ， 内部定 义标 准化的日志 是唯一且有效的办法。最后，如何构建基于GPS导航的路况监控？我们刚才讲分布式服务追踪。分布式服务追踪能解决的问题， 如果 单一用 户发现问题 后 ， 可以通 过请 求 ID 快速找到 发 生 问题 的 节 点在什么，但是并没有解决如何发现问题。我们看现实中比较容易理解的道路监控，每辆车有GPS定位，我想看北京哪儿拥堵的时候，怎么做？ 第一个 ， 你肯定要知道每个 车 在什么位置，它走到哪儿了。其实可以说每个车上只要有一个标识，加上每一次流动的信息，就可以看到每个车流的位置和方向。 其次如何做 监 控和 报 警，我们怎么能了解道路的流量状况和负载，并及时报警。我们要定义这条街道多宽多高，单位时间可以通行多少辆车，这就是道路的容量。有了道路容量，再有道路的实时流量，我们就可以基于实习路况做预警？ 对应于 分布式系 统 的话如何构建？ 第一 ， 你要 定义 每个服 务节 点它的 SLA A 是多少 ？SLA可以从系统的CPU占用率、内存占用率、磁盘占用率、QPS请求数等来定义，相当于定义系统的容量。 第二个 ， 统计 线 上 动态 的流量，你要知道服务的平均QPS、最低QPS和最大QPS，有了流量和容量，就可以对系统做全面的监控和报警。 刚才讲的是理论，实际情况肯定比这个复杂。微博在春节的时候做许多活动，必须保障系统稳定，理论上你只要定义容量和流量就可以。但实际远远不行，为什么？有技术的因素，有人为的因素，因为不同的开发定义的流量和容量指标有主观性，很难全局量化标准，所以真正流量来了以后，你预先评估的系统瓶颈往往不正确。实际中我们在春节前主要采取了三个措施：第一，最简单的就是有降 级 的 预 案，流量超过系统容量后，先把哪些功能砍掉，需要有明确的优先级 。第二个， 线上全链路压测，就是把现在的流量放大到我们平常流量的五倍甚至十倍（比如下线一半的服务器，缩容而不是扩容），看看系统瓶颈最先发生在哪里。我们之前有一些例子，推测系统数据库会先出现瓶颈，但是实测发现是前端的程序先遇到瓶颈。第三，搭建在线 Docker 集群 ， 所有业务共享备用的 Docker集群资源，这样可以极大的避免每个业务都预留资源，但是实际上流量没有增长造成的浪费。 总结 接下来说的是如何不停的学习和提升，这里以Java语言为例，首先， 一定要 理解 JAVA；第二步，JAVA完了以后，一定要 理 解 JVM；其次，还要 理解 操作系统；再次还是要了解一下 Design Pattern，这将告诉你怎么把过去的经验抽象沉淀供将来借鉴；还要学习 TCP/IP、 分布式系 统、数据结构和算法。

简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 同时ES还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，能够横向扩展至数以百计的服务器存储以及处理PB级的数据。 可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。 ES就是为高可用和可扩展而生的。一方面可以通过升级硬件来完成系统扩展，称为垂直或向上扩展（Vertical Scale/Scaling Up）。 另一方面，增加更多的服务器来完成系统扩展，称为水平扩展或者向外扩展（Horizontal Scale/Scaling Out）。尽管ES能够利用更强劲的硬件，但是垂直扩展毕竟还是有它的极限。真正的可扩展性来自于水平扩展，通过向集群中添加更多的节点来分担负载，增加可靠性。ES天生就是分布式的，它知道如何管理多个节点来完成扩展和实现高可用性。意味应用不需要做任何的改动。 Gateway，代表ES索引的持久化存储方式。在Gateway中，ES默认先把索引存储在内存中，然后当内存满的时候，再持久化到Gateway里。当ES集群关闭或重启的时候，它就会从Gateway里去读取索引数据。比如LocalFileSystem和HDFS、AS3等。 DistributedLucene Directory，它是Lucene里的一些列索引文件组成的目录。它负责管理这些索引文件。包括数据的读取、写入，以及索引的添加和合并等。 River，代表是数据源。是以插件的形式存在于ES中。　 Mapping，映射的意思，非常类似于静态语言中的数据类型。比如我们声明一个int类型的变量，那以后这个变量只能存储int类型的数据。比如我们声明一个double类型的mapping字段，则只能存储double类型的数据。 Mapping不仅是告诉ES，哪个字段是哪种类型。还能告诉ES如何来索引数据，以及数据是否被索引到等。 Search Moudle，搜索模块，支持搜索的一些常用操作 Index Moudle，索引模块，支持索引的一些常用操作 Disvcovery，主要是负责集群的master节点发现。比如某个节点突然离开或进来的情况，进行一个分片重新分片等。这里有个发现机制。 发现机制默认的实现方式是单播和多播的形式，即Zen，同时也支持点对点的实现。另外一种是以插件的形式，即EC2。 Scripting，即脚本语言。包括很多，这里不多赘述。如mvel、js、python等。　　　 Transport，代表ES内部节点，代表跟集群的客户端交互。包括 Thrift、Memcached、Http等协议 RESTful Style API，通过RESTful方式来实现API编程。 3rd plugins，代表第三方插件。 Java(Netty)，是开发框架。 JMX，是监控。 使用案例 1、将ES作为网站的主要后端系统 比如现在搭建一个博客系统，对于博客帖子的数据可以直接在ES上存储，并且使用ES来进行检索，统计。ES提供了持久化的存储、统计和很多其他数据存储的特性。 注意：但是像其他的NOSQL数据存储一样，ES是不支持事务的，如果要事务机制，还是考虑使用其他的数据库做真实库。 2、将ES添加到现有系统 有些时候不需要ES提供所有数据的存储功能，只是想在一个数据存储的基础之上使用ES。比如已经有一个复杂的系统在运行，但是现在想加一个搜索的功能，就可以使用该方案。 3、将ES作为现有解决方案的后端部分 因为ES是开源的系统，提供了直接的HTTP接口，并且现在有一个大型的生态系统在支持他。比如现在我们想部署大规模的日志框架、用于存储、搜索和分析海量的事件，考虑到现有的工具可以写入和读取ES，可以不需要进行任何开发，配置这些工具就可以去运作。 设计结构 1、逻辑设计 文档 文档是可以被索引的信息的基本单位，它包含几个重要的属性： 是自我包含的。一篇文档同时包含字段和他们的取值。 是层次型的。文档中还可以包含新的文档，一个字段的取值可以是简单的，例如location字段的取值可以是字符串，还可以包含其他字段和取值，比如可以同时包含城市和街道地址。 拥有灵活的结构。文档不依赖于预先定义的模式。也就是说并非所有的文档都需要拥有相同的字段，并不受限于同一个模式 {   "name":"meeting",   "location":"office",   "organizer":"yanping" } {   "name":"meeting",   "location":{     "name":"sheshouzuo",        "date":"2019-6-28"   },   "memebers":["leio","shiyi"] } 类型 类型是文档的逻辑容器，类似于表格是行的容器。在不同的类型中，最好放入不同的结构的文档。 字段 ES中，每个文档，其实是以json形式存储的。而一个文档可以被视为多个字段的集合。 映射 每个类型中字段的定义称为映射。例如，name字段映射为String。 索引 索引是映射类型的容器一个ES的索引非常像关系型世界中的数据库，是独立的大量文档集合。   关系型数据库与ES的结构上的对比 2、物理设计 节点 一个节点是一个ES的实例，在服务器上启动ES之后，就拥有了一个节点，如果在另一个服务器上启动ES，这就是另一个节点。甚至可以在一台服务器上启动多个ES进程，在一台服务器上拥有多个节点。多个节点可以加入同一个集群。 当ElasticSearch的节点启动后，它会利用多播(multicast)(或者单播，如果用户更改了配置)寻找集群中的其它节点，并与之建立连接。这个过程如下图所示： 节点主要有3种类型，第一种类型是client_node，主要是起到请求分发的作用，类似路由。第二种类型是master_node，是主的节点，所有的新增，删除，数据分片都是由主节点操作（elasticsearch底层是没有更新数据操作的，上层对外提供的更新实际上是删除了再新增），当然也能承担搜索操作。第三种类型是date_node，该类型的节点只能做搜索操作，具体会分配到哪个date_node，就是由client_node决定，而data_node的数据都是从master_node同步过来的 分片 一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。   为了解决这个问题，ES提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。 分片之所以重要，主要有两方面的原因：   1、允许你水平分割/扩展你的内容容量 允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由ES管理的，对于作为用户的你来说，这些都是透明的。   2、在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了。这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，ES允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。 复制之所以重要，主要有两方面的原因： （1）在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的。 （2）扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行 总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制数量，但是不能改变分片的数量。   默认情况下，ES中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。一个索引的多个分片可以存放在集群中的一台主机上，也可以存放在多台主机上，这取决于你的集群机器数量。主分片和复制分片的具体位置是由ES内在的策略所决定的。 3、插件HEAD elasticsearch-head是一个界面化的集群操作和管理工具 ● node：即一个 Elasticsearch 的运行实例，使用多播或单播方式发现 cluster 并加入。 ● cluster：包含一个或多个拥有相同集群名称的 node，其中包含一个master node。 ● index：类比关系型数据库里的DB，是一个逻辑命名空间。 ● alias：可以给 index 添加零个或多个alias，通过 alias 使用index 和根据index name 访问index一样，但是，alias给我们提供了一种切换index的能力，比如重建了index，取名● customer_online_v2，这时，有了alias，我要访问新 index，只需要把 alias 添加到新 index 即可，并把alias从旧的 index 删除。不用修改代码。 ● type：类比关系数据库里的Table。其中，一个index可以定义多个type，但一般使用习惯仅配一个type。 ● mapping：类比关系型数据库中的 schema 概念，mapping 定义了 index 中的 type。mapping 可以显示的定义，也可以在 document 被索引时自动生成，如果有新的 field，Elasticsearch 会自动推测出 field 的type并加到mapping中。 ● document：类比关系数据库里的一行记录(record)，document 是 Elasticsearch 里的一个 JSON 对象，包括零个或多个field。 ● field：类比关系数据库里的field，每个field 都有自己的字段类型。 ● shard：是一个Lucene 实例。Elasticsearch 基于 Lucene，shard 是一个 Lucene 实例，被 Elasticsearch 自动管理。之前提到，index 是一个逻辑命名空间，shard 是具体的物理概念，建索引、查询等都是具体的shard在工作。shard 包括primary shard 和 replica shard，写数据时，先写到primary shard，然后，同步到replica shard，查询时，primary 和 replica 充当相同的作用。replica shard 可以有多份，也可以没有，replica shard的存在有两个作用，一是容灾，如果primary shard 挂了，数据也不会丢失，集群仍然能正常工作；二是提高性能，因为replica 和 primary shard 都能处理查询。另外，如上图右侧红框所示，shard数和replica数都可以设置，但是，shard 数只能在建立index 时设置，后期不能更改，但是，replica 数可以随时更改。但是，由于 Elasticsearch 很友好的封装了这部分，在使用Elasticsearch 的过程中，我们一般仅需要关注 index 即可，不需关注shard。   shard、node、cluster 在物理上构成了 Elasticsearch 集群，field、type、index 在逻辑上构成一个index的基本概念，在使用 Elasticsearch 过程中，我们一般关注到逻辑概念就好，就像我们在使用MySQL 时，我们一般就关注DB Name、Table和schema即可，而不会关注DBA维护了几个MySQL实例、master 和 slave 等怎么部署的一样。 ES中的索引原理 （1）传统的关系型数据库 二叉树查找效率是logN，同时插入新的节点不必移动全部节点，所以用树型结构存储索引，能同时兼顾插入和查询的性能。因此在这个基础上，再结合磁盘的读取特性(顺序读/随机读)，传统关系型数据库采用了B-Tree/B+Tree这样的数据结构做索引 （2）ES 采用倒排索引 那么，倒排索引是个什么样子呢？ 首先，来搞清楚几个概念，为此，举个例子： 假设有个user索引，它有四个字段：分别是name，gender，age，address。画出来的话，大概是下面这个样子，跟关系型数据库一样 Term（单词）：一段文本经过分析器分析以后就会输出一串单词，这一个一个的就叫做Term Term Dictionary（单词字典）：顾名思义，它里面维护的是Term，可以理解为Term的集合 Term Index（单词索引）：为了更快的找到某个单词，我们为单词建立索引 Posting List（倒排列表）：倒排列表记录了出现过某个单词的所有文档的文档列表及单词在该文档中出现的位置信息，每条记录称为一个倒排项(Posting)。根据倒排列表，即可获知哪些文档包含某个单词。（PS：实际的倒排列表中并不只是存了文档ID这么简单，还有一些其它的信息，比如：词频（Term出现的次数）、偏移量（offset）等，可以想象成是Python中的元组，或者Java中的对象） （PS：如果类比现代汉语词典的话，那么Term就相当于词语，Term Dictionary相当于汉语词典本身，Term Index相当于词典的目录索引） 我们知道，每个文档都有一个ID，如果插入的时候没有指定的话，Elasticsearch会自动生成一个，因此ID字段就不多说了 上面的例子，Elasticsearch建立的索引大致如下： name字段： age字段： gender字段： address字段： Elasticsearch分别为每个字段都建立了一个倒排索引。比如，在上面“张三”、“北京市”、22 这些都是Term，而[1，3]就是Posting List。Posting list就是一个数组，存储了所有符合某个Term的文档ID。 只要知道文档ID，就能快速找到文档。可是，要怎样通过我们给定的关键词快速找到这个Term呢？ 当然是建索引了，为Terms建立索引，最好的就是B-Tree索引（MySQL就是B树索引最好的例子）。 我们查找Term的过程跟在MyISAM中记录ID的过程大致是一样的 MyISAM中，索引和数据是分开，通过索引可以找到记录的地址，进而可以找到这条记录 在倒排索引中，通过Term索引可以找到Term在Term Dictionary中的位置，进而找到Posting List，有了倒排列表就可以根据ID找到文档了 （PS：可以这样理解，类比MyISAM的话，Term Index相当于索引文件，Term Dictionary相当于数据文件） （PS：其实，前面我们分了三步，我们可以把Term Index和Term Dictionary看成一步，就是找Term。因此，可以这样理解倒排索引：通过单词找到对应的倒排列表，根据倒排列表中的倒排项进而可以找到文档记录） 为了更进一步理解，用两张图来具现化这一过程： （至于里面涉及的更加高深的数据压缩技巧，以及多个field联合查询利用跳表的数据结构快速做运算来查询，这些大家有兴趣可以自己去了解）

Cromwell 是 Broad Institute 开发的工作流管理系统，当前已获得阿里云批量计算服务的支持。通过 Cromwell 可以将 WDL 描述的 workflow 转化为批量计算的作业（Job）运行。用户将为作业运行时实际消耗的计算和存储资源付费，不需要支付资源之外的附加费用。本文将介绍如何使用 Cromwell 在阿里云批量计算服务上运行工作流。 准备工作 A) 开通批量计算服务 要使用批量计算服务，请根据官方文档里面的指导开通批量计算和其依赖的相关服务，如OSS等。 注意：创建 OSS Bucket 的区域,需要和使用批量计算的区域一致。 B) 下载 Cromwell Cromwell 官方下载 注意：为了确保所有的特性可用，建议下载45及之后的最新版本。 C) 开通 ECS 作为 Cromwell server 当前批量计算提供了 Cromwell server 的 ECS 镜像，用户可以用此镜像开通一台 ECS 作为 server。镜像中提供了 Cromwell 官网要求的基本配置和常用软件。在此镜像中，Cromwell 的工作目录位于/home/cromwell，上一步下载的 Crowwell jar 包可以放置在 /home/cromwell/cromwell 目录下。 注意：用户也可以自己按照 Cromwell 官方的要求自己搭建 Cromwell server， 上面的镜像只是提供了方便的方式，不是强制要求。 使用 Cromwell 配置文件 Cromwell 运行的配置文件，包括： Cromwell 公共配置。 批量计算相关配置，包含了批量计算作为后端需要的存储、计算等资源配置。 关于配置参数的详细介绍请参考 Cromwell 官方文档。如下是一个批量计算配置文件的例子 bcs.conf: include required(classpath("application")) database { profile = "slick.jdbc.MySQLProfile$" db { driver = "com.mysql.jdbc.Driver" url = "jdbc:mysql://localhost/db_cromwell?rewriteBatchedStatements=true&useSSL=false&allowPublicKeyRetrieval=true" user = "user_cromwell" #Your mysql password password = "" connectionTimeout = 5000 } } workflow-options { workflow-log-dir = "/home/cromwell/cromwell/logs/" } call-caching { # Allows re-use of existing results for jobs you've already run # (default: false) enabled = false # Whether to invalidate a cache result forever if we cannot reuse them. Disable this if you expect some cache copies # to fail for external reasons which should not invalidate the cache (e.g. auth differences between users): # (default: true) invalidate-bad-cache-results = true } docker { hash-lookup { enabled = false # Set this to match your available quota against the Google Container Engine API #gcr-api-queries-per-100-seconds = 1000 # Time in minutes before an entry expires from the docker hashes cache and needs to be fetched again #cache-entry-ttl = "20 minutes" # Maximum number of elements to be kept in the cache. If the limit is reached, old elements will be removed from the cache #cache-size = 200 # How should docker hashes be looked up. Possible values are "local" and "remote" # "local": Lookup hashes on the local docker daemon using the cli # "remote": Lookup hashes on docker hub and gcr method = "remote" #method = "local" alibabacloudcr { num-threads = 5 #aliyun CR credentials auth { #endpoint = "cr.cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } } } } engine { filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } } } } backend { default = "BCS" providers { BCS { actor-factory = "cromwell.backend.impl.bcs.BcsBackendLifecycleActorFactory" config { root = "oss://your-bucket/cromwell_dir" region = "cn-shanghai" access-id = "" access-key = "" filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "" access-key = "" } caching { # When a cache hit is found, the following duplication strategy will be followed to use the cached outputs # Possible values: "copy", "reference". Defaults to "copy" # "copy": Copy the output files # "reference": DO NOT copy the output files but point to the original output files instead. # Will still make sure than all the original output files exist and are accessible before # going forward with the cache hit. duplication-strategy = "reference" } } } default-runtime-attributes { failOnStderr: false continueOnReturnCode: 0 autoReleaseJob: true cluster: "OnDemand ecs.sn1.medium img-ubuntu-vpc" #cluster: cls-6kihku8blloidu3s1t0006 vpc: "192.168.0.0/16" } } } } } 如果使用前面章节中的镜像开通 ECS 作为 Cromwell server，配置文件位于 /home/cromwell/cromwell/bcs_sample.conf，只需要填写自己的配置即可使用 Cromwell。 注意：Cromwell 可以在公网环境（如本地服务器、配置了公网 IP 的阿里云 ECS 等）运行，也可以在阿里云 VPC 环境下运行。在 VPC 环境下使用时，有如下几处要修改为 VPC 内网下的配置： OSS 的内网 endpoint : engine.filesystems.oss.auth.endpoint = "oss-cn-shanghai-internal.aliyuncs.com" backend.providers.BCS.config.filesystems.oss.auth.endpoint = "oss-cn-shanghai-internal.aliyuncs.com" 添加批量计算的内网 endpoint: backend.providers.BCS.config.user-defined-region = "cn-shanghai-vpc" backend.providers.BCS.config.user-defined-domain = "batchcompute-vpc.cn-shanghai.aliyuncs.com" 添加容器镜像服务的内网 endpoint： docker.hash-lookup.alibabacloudcr.auth.endpoint = "cr-vpc.cn-shanghai.aliyuncs.com" 运行模式 Cromwell支持两种模式： run 模式 server 模式 关于两种模式的详细描述，请参考 Cromwell 官网文档。下面重点介绍这两种模式下如何使用批量计算。 A) run模式 run模式适用于本地运行一个单独的 WDL 文件描述的工作流，命令行如下：java -Dconfig.file=bcs.conf -jar cromwell.jar run echo.wdl --inputs echo.inputs WDL 文件：描述详细的工作流。工作流中每个 task 对应批量计算的一个作业（Job）。 inputs文件：是 WDL 中定义的工作流的输入信息inputs 文件是用来描述 WDL 文件中定义的工作流及其 task 的输入文件。如下所示： { "workflow_name.task_name.input1": "xxxxxx" } 运行成功后，WDL 文件中描述的工作流中的一个 task 会作为批量计算的一个作业（Job）来提交。此时登录批量计算的控制台就可以看到当前的 Job 状态。 show_bcs_job 当 workflow 中所有的 task 对应的作业运行完成后，工作流运行完成。 B) server 模式 启动 server 相比 run 模式一次运行只能处理一个 WDL 文件，server 模式可以并行处理多个 WDL 文件。关于 server 模式的更多信息，请参考 Cromwell 官方文档。可以采用如下命令行启动 server：java -Dconfig.file=bsc.conf -jar cromwell.jar serverserver 启动成功后，就可以接收来自 client 的工作流处理请求。下面分别介绍如何使用 API 和 CLI 的方式向 server 提交工作流。 使用 API 提交工作流 server 启动后，可以通过浏览器访问 Cromwell Server，比如 Server 的 IP 为39.105.xxx.yyy，则在浏览器中输入http://39.105.xxx.yyy:8000，通过如下图所示的界面提交任务：cromwell_server更多API接口及用法，请参考 Cromwell 官网文档。 使用 CLI 提交工作流[推荐] 除了可以使用 API 提交工作流以外，Cromwell 官方还提供了一个开源的 CLI 命令行工具 widder。可以使用如下的命令提交一个工作流： python widdler.py run echo.wdl echo.inputs -o bcs_workflow_tag:tagxxx -S localhost 其中-o key:value是用于设置option，批量计算提供了 bcs_workflow_tag:tagxxx 选项，用于配置作业输出目录的tag（下一节查看运行结果中会介绍）。 如果使用前面章节中的镜像开通 ECS 作为 Cromwell server，镜像中已经安装了 widdler，位于 /home/cromwell/widdler。可以使用如下的命令提交工作流： widdler run echo.wdl echo.inputs -o bcs_workflow_tag:tagxxx -S localhost 更多命令用法可使用widdler -h命令查看，或参考官方文档。 查看运行结果 工作流运行结束后，输出结果被上传到了配置文件或 WDL 中定义的 OSS 路径下。在OSS路径上面的目录结构如下： cromwell_output_dir如上图所示，在配置文件中的config.root目录下有如下输出目录： 第一层：workflowname 工作流的名称 第二层：通过上一节中 CLI 命令的-o设置的目录tag 第三层：workflow id，每次运行会生成一个 第四层：workflow 中每个 task 的运行输出，比如上图中的 workflow 15e45adf-6dc7-4727-850c-89545faf81b0 有两个 task，每个task对应的目录命名是call-taskname，目录中包含三部分内容： 批量计算的日志，包括 bcs-stdout 和 bcs-stderr 当前 task 的输出，比如图中的 output1/output2 等 当前 task 执行的 stdout 和 stderr 4. 使用建议 在使用过程中，关于 BCS 的配置，有如下的建议供参考： 使用集群 批量计算提供了两种使用集群的方式： 自动集群 固定集群 A) 自动集群 在config配置文件中指定默认的资源类型、实例类型以及镜像类型，在提交批量计算 Job 时就会使用这些配置自动创建集群，比如： default-runtime-attributes { cluster : "OnDemand ecs.sn1ne.large img-ubuntu-vpc" } 如果在某些 workflow 中不使用默认集群配置，也可以通过inputs文件中指定 workflow 中某个 task 的对应的批量计算的集群配置（将 cluster_config 作为 task 的一个输入），比如： { "workflow_name.task_name.cluster_config": "OnDemand ecs.sn2ne.8xlarge img-ubuntu-vpc" } 然后在 task 中重新设置运行配置: task task_demo { String cluster_config runtime { cluster: cluster_config } } 就会覆盖默认配置，使用新的配置信息创建集群。 B) 固定集群 使用自动集群时，需要创建新集群，会有一个等待集群的时间。如果对于启动时间有要求，或者有了大量的作业提交，可以考虑使用固定集群。比如： default-runtime-attributes { cluster : "cls-xxxxxxxxxx" } 注意：使用固定集群时，如果使用完毕，请及时释放集群，否则集群中的实例会持续收费。 Cromwell Server 配置建议 大压力作业时，建议使用较高配置的机器作为 Cromwell Server，比如ecs.sn1ne.8xlarge等32核64GB的机器。 大压力作业时，修改 Cromwell Server 的最大打开文件数。比如在ubuntu下可以通过修改/etc/security/limits.conf文件，比如修改最大文件数为100万： root soft nofile 1000000 root hard nofile 1000000 * soft nofile 1000000 * hard nofile 1000000 确认 Cromwell Server 有配置数据库，防止作业信息丢失。 设置 bcs.conf 里面的并发作业数，比如 system.max-concurrent-workflows = 1000 开通批量计算相关配额 如果有大压力场景，可能需要联系批量计算服务开通对应的配额，比如： 一个用户所有作业的数量（包括完成的、运行的、等待的等多种状态下）； 同时运行的作业的集群的数量（包括固定集群和自动集群）； 使用 NAS 使用 NAS 时要注意以下几点： NAS 必须在 VPC 内使用，要求添加挂载点时，必须指定 VPC； 所以要求在 runtime 中必须包含： VPC 信息 mounts 信息 下面的例子可供参考： runtime { cluster: cluster_config mounts: "nas://1f****04-xkv88.cn-beijing.nas.aliyuncs.com:/ /mnt/ true" vpc: "192.168.0.0/16 vpc-2zexxxxxxxx1hxirm" } 高级特性支持 Glob Cromwell 支持使用 glob 来指定工作流中多个文件作为 task 的输出，比如： task globber { command <<< for i in seq 1 5 do mkdir out-$i echo globbing is my number $i best hobby out-$i/$i.txt done output { Array[File] outFiles = glob("out-/.txt") } } workflow test { call globber } 当 task 执行结束时，通过 glob 指定的多个文件会作为输出，上传到 OSS 上。 Call Caching Call Caching 是 Cromwell 提供的高级特性，如果检测到工作流中某个 task (对应一个批量计算的 job )和之前已经执行过的某个 task 具有相同的输入和运行时等条件，则不需要再执行，直接取之前的运行结果，这样可以为客户节省时间和费用。一个常见的场景是如果一个工作流有 n 个 task，当执行到中间某一个 task 时由于某些原因失败了，排除了错误之后，再次提交这个工作流运行后，Cromwell 判断如果满足条件，则已经完成的几个 task 不需要重新执行，只需要从出错的 task 开始继续运行。 配置 Call Caching 要在 BCS 后端情况下使用 Call Caching 特性，需要如下配置项： database { profile = "slick.jdbc.MySQLProfile$" db { driver = "com.mysql.jdbc.Driver" url = "jdbc:mysql://localhost/db_cromwell?rewriteBatchedStatements=true&useSSL=false" user = "user_cromwell" password = "xxxxx" connectionTimeout = 5000 } } call-caching { # Allows re-use of existing results for jobs you have already run # (default: false) enabled = true # Whether to invalidate a cache result forever if we cannot reuse them. Disable this if you expect some cache copies # to fail for external reasons which should not invalidate the cache (e.g. auth differences between users): # (default: true) invalidate-bad-cache-results = true } docker { hash-lookup { enabled = true # How should docker hashes be looked up. Possible values are local and remote # local: Lookup hashes on the local docker daemon using the cli # remote: Lookup hashes on alibab cloud Container Registry method = remote alibabacloudcr { num-threads = 10 auth { access-id = "xxxx" access-key = "yyyy" } } } } engine { filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "xxxx" access-key = "yyyy" } } } } backend { default = "BCS" providers { BCS { actor-factory = "cromwell.backend.impl.bcs.BcsBackendLifecycleActorFactory" config { #其他配置省略 filesystems { oss { auth { endpoint = "oss-cn-shanghai.aliyuncs.com" access-id = "xxxx" access-key = "yyyy" } caching { # When a cache hit is found, the following duplication strategy will be followed to use the cached outputs # Possible values: copy, reference. Defaults to copy # copy: Copy the output files # reference: DO NOT copy the output files but point to the original output files instead. # Will still make sure than all the original output files exist and are accessible before # going forward with the cache hit. duplication-strategy = "reference" } } } default-runtime-attributes { failOnStderr: false continueOnReturnCode: 0 cluster: "OnDemand ecs.sn1.medium img-ubuntu-vpc" vpc: "192.168.0.0/16" } } } } } database 配置：Cromwell 将 workflow 的执行元数据存储在数据库中，所以需要添加数据库配置，详细情况参考Cromwell 官网指导。 call-caching 配置：Call Caching 的开关配置等； docker.hash-lookup 配置： 设置 Hash 查找开关及阿里云 CR 等信息，用于查找镜像的 Hash 值。 backend.providers.BCS.config.filesystems.oss.caching 配置：设置 Call Caching命中后，使用原来输出的方式，批量计算在这里支持 reference 模式，不需要拷贝原有的结果，节省时间和成本。 命中条件 使用批量计算作为后端时，Cromwell 通过如下条件判断一个 task 是否需要重新执行： 条件 解释 inputs task 的输入，比如 OSS 上的样本文件 command task 定义中的命令行 continueOnReturnCode 公共运行时参数，可以继续执行的返回码 docker 公共运行时参数，后端的Docker配置 failOnStderr 公共运行时参数，stderr非空时是否失败 imageId 批量计算后端运行时参数，标识作业运行的 ECS 镜像，如果使用的官方镜像如img-ubuntu-vpc可不用填写此项 userData 批量计算后端，用户自定义数据 如果一个 task 的上述参数未发生改变，Cromwell 会判定为不需要执行的 task，直接获取上次执行的结果，并继续工作流的执行。

92题 一般来说，建立INDEX有以下益处：提高查询效率；建立唯一索引以保证数据的唯一性；设计INDEX避免排序。 缺点，INDEX的维护有以下开销：叶节点的‘分裂’消耗；INSERT、DELETE和UPDATE操作在INDEX上的维护开销；有存储要求；其他日常维护的消耗：对恢复的影响，重组的影响。 需要建立索引的情况：为了建立分区数据库的PATITION INDEX必须建立； 为了保证数据约束性需要而建立的INDEX必须建立； 为了提高查询效率，则考虑建立（是否建立要考虑相关性能及维护开销）； 考虑在使用UNION,DISTINCT,GROUP BY,ORDER BY等字句的列上加索引。 91题 作用：加快查询速度。原则：(1) 如果某属性或属性组经常出现在查询条件中，考虑为该属性或属性组建立索引；(2) 如果某个属性常作为最大值和最小值等聚集函数的参数，考虑为该属性建立索引；(3) 如果某属性经常出现在连接操作的连接条件中，考虑为该属性或属性组建立索引。 90题 快照Snapshot是一个文件系统在特定时间里的镜像，对于在线实时数据备份非常有用。快照对于拥有不能停止的应用或具有常打开文件的文件系统的备份非常重要。对于只能提供一个非常短的备份时间而言，快照能保证系统的完整性。 89题 游标用于定位结果集的行，通过判断全局变量@@FETCH_STATUS可以判断是否到了最后，通常此变量不等于0表示出错或到了最后。 88题 事前触发器运行于触发事件发生之前，而事后触发器运行于触发事件发生之后。通常事前触发器可以获取事件之前和新的字段值。语句级触发器可以在语句执行前或后执行，而行级触发在触发器所影响的每一行触发一次。 87题 MySQL可以使用多个字段同时建立一个索引，叫做联合索引。在联合索引中，如果想要命中索引，需要按照建立索引时的字段顺序挨个使用，否则无法命中索引。具体原因为：MySQL使用索引时需要索引有序，假设现在建立了"name，age，school"的联合索引，那么索引的排序为: 先按照name排序，如果name相同，则按照age排序，如果age的值也相等，则按照school进行排序。因此在建立联合索引的时候应该注意索引列的顺序，一般情况下，将查询需求频繁或者字段选择性高的列放在前面。此外可以根据特例的查询或者表结构进行单独的调整。 86题 建立索引的时候一般要考虑到字段的使用频率，经常作为条件进行查询的字段比较适合。如果需要建立联合索引的话，还需要考虑联合索引中的顺序。此外也要考虑其他方面，比如防止过多的所有对表造成太大的压力。这些都和实际的表结构以及查询方式有关。 85题 存储过程是一组Transact-SQL语句，在一次编译后可以执行多次。因为不必重新编译Transact-SQL语句，所以执行存储过程可以提高性能。触发器是一种特殊类型的存储过程，不由用户直接调用。创建触发器时会对其进行定义，以便在对特定表或列作特定类型的数据修改时执行。 84题 存储过程是用户定义的一系列SQL语句的集合，涉及特定表或其它对象的任务，用户可以调用存储过程，而函数通常是数据库已定义的方法，它接收参数并返回某种类型的值并且不涉及特定用户表。 83题 减少表连接，减少复杂 SQL，拆分成简单SQL。减少排序：非必要不排序，利用索引排序，减少参与排序的记录数。尽量避免 select *。尽量用 join 代替子查询。尽量少使用 or，使用 in 或者 union(union all) 代替。尽量用 union all 代替 union。尽量早的将无用数据过滤：选择更优的索引，先分页再Join…。避免类型转换：索引失效。优先优化高并发的 SQL，而不是执行频率低某些“大”SQL。从全局出发优化，而不是片面调整。尽可能对每一条SQL进行 explain。 82题 如果条件中有or，即使其中有条件带索引也不会使用(要想使用or，又想让索引生效，只能将or条件中的每个列都加上索引)。对于多列索引，不是使用的第一部分，则不会使用索引。like查询是以%开头。如果列类型是字符串，那一定要在条件中将数据使用引号引用起来，否则不使用索引。如果mysql估计使用全表扫描要比使用索引快，则不使用索引。例如，使用<>、not in 、not exist，对于这三种情况大多数情况下认为结果集很大，MySQL就有可能不使用索引。 81题 主键不能重复，不能为空，唯一键不能重复，可以为空。建立主键的目的是让外键来引用。一个表最多只有一个主键，但可以有很多唯一键。 80题 空值('')是不占用空间的，判断空字符用=''或者<>''来进行处理。NULL值是未知的，且占用空间，不走索引；判断 NULL 用 IS NULL 或者 is not null ，SQL 语句函数中可以使用 ifnull ()函数来进行处理。无法比较 NULL 和 0；它们是不等价的。无法使用比较运算符来测试 NULL 值，比如 =, <, 或者 <>。NULL 值可以使用 <=> 符号进行比较，该符号与等号作用相似，但对NULL有意义。进行 count ()统计某列的记录数的时候，如果采用的 NULL 值，会被系统自动忽略掉，但是空值是统计到其中。 79题 HEAP表是访问数据速度最快的MySQL表，他使用保存在内存中的散列索引。一旦服务器重启，所有heap表数据丢失。BLOB或TEXT字段是不允许的。只能使用比较运算符=，<，>，=>，= <。HEAP表不支持AUTO_INCREMENT。索引不可为NULL。 78题 如果想输入字符为十六进制数字，可以输入带有单引号的十六进制数字和前缀（X），或者只用（Ox）前缀输入十六进制数字。如果表达式上下文是字符串，则十六进制数字串将自动转换为字符串。 77题 Mysql服务器通过权限表来控制用户对数据库的访问，权限表存放在mysql数据库里，由mysql_install_db脚本初始化。这些权限表分别user，db，table_priv，columns_priv和host。 76题 在缺省模式下，MYSQL是autocommit模式的，所有的数据库更新操作都会即时提交，所以在缺省情况下，mysql是不支持事务的。但是如果你的MYSQL表类型是使用InnoDB Tables 或 BDB tables的话，你的MYSQL就可以使用事务处理,使用SET AUTOCOMMIT=0就可以使MYSQL允许在非autocommit模式，在非autocommit模式下，你必须使用COMMIT来提交你的更改，或者用ROLLBACK来回滚你的更改。 75题 它会停止递增，任何进一步的插入都将产生错误，因为密钥已被使用。 74题 创建索引的时候尽量使用唯一性大的列来创建索引，由于使用b+tree做为索引，以innodb为例，一个树节点的大小由“innodb_page_size”，为了减少树的高度，同时让一个节点能存放更多的值，索引列尽量在整数类型上创建，如果必须使用字符类型，也应该使用长度较少的字符类型。 73题 当MySQL单表记录数过大时，数据库的CRUD性能会明显下降，一些常见的优化措施如下： 限定数据的范围： 务必禁止不带任何限制数据范围条件的查询语句。比如：我们当用户在查询订单历史的时候，我们可以控制在一个月的范围内。读/写分离： 经典的数据库拆分方案，主库负责写，从库负责读。垂直分区： 根据数据库里面数据表的相关性进行拆分。简单来说垂直拆分是指数据表列的拆分，把一张列比较多的表拆分为多张表。水平分区： 保持数据表结构不变，通过某种策略存储数据分片。这样每一片数据分散到不同的表或者库中，达到了分布式的目的。水平拆分可以支撑非常大的数据量。 72题 乐观锁失败后会抛出ObjectOptimisticLockingFailureException，那么我们就针对这块考虑一下重试，自定义一个注解，用于做切面。针对注解进行切面，设置最大重试次数n，然后超过n次后就不再重试。 71题 一致性非锁定读讲的是一条记录被加了X锁其他事务仍然可以读而不被阻塞，是通过innodb的行多版本实现的，行多版本并不是实际存储多个版本记录而是通过undo实现（undo日志用来记录数据修改前的版本，回滚时会用到，用来保证事务的原子性）。一致性锁定读讲的是我可以通过SELECT语句显式地给一条记录加X锁从而保证特定应用场景下的数据一致性。 70题 数据库引擎：尤其是mysql数据库只有是InnoDB引擎的时候事物才能生效。 show engines 查看数据库默认引擎;SHOW TABLE STATUS from 数据库名字 where Name='表名' 如下;SHOW TABLE STATUS from rrz where Name='rrz_cust';修改表的引擎alter table table_name engine=innodb。 69题 如果是等值查询，那么哈希索引明显有绝对优势，因为只需要经过一次算法即可找到相应的键值；当然了，这个前提是，键值都是唯一的。如果键值不是唯一的，就需要先找到该键所在位置，然后再根据链表往后扫描，直到找到相应的数据；如果是范围查询检索，这时候哈希索引就毫无用武之地了，因为原先是有序的键值，经过哈希算法后，有可能变成不连续的了，就没办法再利用索引完成范围查询检索；同理，哈希索引也没办法利用索引完成排序，以及like ‘xxx%’ 这样的部分模糊查询（这种部分模糊查询，其实本质上也是范围查询）；哈希索引也不支持多列联合索引的最左匹配规则；B+树索引的关键字检索效率比较平均，不像B树那样波动幅度大，在有大量重复键值情况下，哈希索引的效率也是极低的，因为存在所谓的哈希碰撞问题。 68题 decimal精度比float高,数据处理比float简单，一般优先考虑，但float存储的数据范围大，所以范围大的数据就只能用它了，但要注意一些处理细节，因为不精确可能会与自己想的不一致，也常有关于float 出错的问题。 67题 datetime、timestamp精确度都是秒，datetime与时区无关，存储的范围广(1001-9999)，timestamp与时区有关，存储的范围小(1970-2038)。 66题 Char使用固定长度的空间进行存储，char(4)存储4个字符，根据编码方式的不同占用不同的字节，gbk编码方式，不论是中文还是英文，每个字符占用2个字节的空间，utf8编码方式，每个字符占用3个字节的空间。Varchar保存可变长度的字符串，使用额外的一个或两个字节存储字符串长度，varchar(10),除了需要存储10个字符，还需要1个字节存储长度信息(10),超过255的长度需要2个字节来存储。char和varchar后面如果有空格，char会自动去掉空格后存储，varchar虽然不会去掉空格，但在进行字符串比较时，会去掉空格进行比较。Varbinary保存变长的字符串，后面不会补\0。 65题 首先分析语句，看看是否load了额外的数据，可能是查询了多余的行并且抛弃掉了，可能是加载了许多结果中并不需要的列，对语句进行分析以及重写。分析语句的执行计划，然后获得其使用索引的情况，之后修改语句或者修改索引，使得语句可以尽可能的命中索引。如果对语句的优化已经无法进行，可以考虑表中的数据量是否太大，如果是的话可以进行横向或者纵向的分表。 64题 建立索引的时候一般要考虑到字段的使用频率，经常作为条件进行查询的字段比较适合。如果需要建立联合索引的话，还需要考虑联合索引中的顺序。此外也要考虑其他方面，比如防止过多的所有对表造成太大的压力。这些都和实际的表结构以及查询方式有关。 63题 存储过程是一些预编译的SQL语句。1、更加直白的理解：存储过程可以说是一个记录集，它是由一些T-SQL语句组成的代码块，这些T-SQL语句代码像一个方法一样实现一些功能（对单表或多表的增删改查），然后再给这个代码块取一个名字，在用到这个功能的时候调用他就行了。2、存储过程是一个预编译的代码块，执行效率比较高，一个存储过程替代大量T_SQL语句 ，可以降低网络通信量，提高通信速率，可以一定程度上确保数据安全。 62题 密码散列、盐、用户身份证号等固定长度的字符串应该使用char而不是varchar来存储,这样可以节省空间且提高检索效率。 61题 推荐使用自增ID，不要使用UUID。因为在InnoDB存储引擎中，主键索引是作为聚簇索引存在的，也就是说，主键索引的B+树叶子节点上存储了主键索引以及全部的数据(按照顺序)，如果主键索引是自增ID，那么只需要不断向后排列即可，如果是UUID，由于到来的ID与原来的大小不确定，会造成非常多的数据插入,数据移动,然后导致产生很多的内存碎片，进而造成插入性能的下降。总之,在数据量大一些的情况下,用自增主键性能会好一些。 60题 char是一个定长字段，假如申请了char(10)的空间，那么无论实际存储多少内容。该字段都占用10个字符，而varchar是变长的，也就是说申请的只是最大长度，占用的空间为实际字符长度+1，最后一个字符存储使用了多长的空间。在检索效率上来讲，char > varchar，因此在使用中，如果确定某个字段的值的长度，可以使用char，否则应该尽量使用varchar。例如存储用户MD5加密后的密码,则应该使用char。 59题 一. read uncommitted（读取未提交数据） 即便是事务没有commit，但是我们仍然能读到未提交的数据，这是所有隔离级别中最低的一种。 二. read committed（可以读取其他事务提交的数据）---大多数数据库默认的隔离级别 当前会话只能读取到其他事务提交的数据，未提交的数据读不到。 三. repeatable read（可重读）---MySQL默认的隔离级别 当前会话可以重复读，就是每次读取的结果集都相同，而不管其他事务有没有提交。 四. serializable（串行化） 其他会话对该表的写操作将被挂起。可以看到，这是隔离级别中最严格的，但是这样做势必对性能造成影响。所以在实际的选用上，我们要根据当前具体的情况选用合适的。 58题 B+树的高度一般为2-4层，所以查找记录时最多只需要2-4次IO，相对二叉平衡树已经大大降低了。范围查找时，能通过叶子节点的指针获取数据。例如查找大于等于3的数据，当在叶子节点中查到3时，通过3的尾指针便能获取所有数据，而不需要再像二叉树一样再获取到3的父节点。 57题 因为事务在修改页时，要先记 undo，在记 undo 之前要记 undo 的 redo， 然后修改数据页，再记数据页修改的 redo。 Redo（里面包括 undo 的修改） 一定要比数据页先持久化到磁盘。 当事务需要回滚时，因为有 undo，可以把数据页回滚到前镜像的状态，崩溃恢复时，如果 redo log 中事务没有对应的 commit 记录，那么需要用 undo把该事务的修改回滚到事务开始之前。 如果有 commit 记录，就用 redo 前滚到该事务完成时并提交掉。 56题 redo log是物理日志,记录的是"在某个数据页上做了什么修改"。 binlog是逻辑日志,记录的是这个语句的原始逻辑,比如"给ID=2这一行的c字段加1"。 redo log是InnoDB引擎特有的;binlog是MySQL的Server层实现的,所有引擎都可以使用。 redo log是循环写的,空间固定会用完:binlog 是可以追加写入的。"追加写"是指binlog文件写到一定大小后会切换到下一个,并不会覆盖以前的日志。 最开始 MySQL 里并没有 InnoDB 引擎，MySQL 自带的引擎是 MyISAM，但是 MyISAM 没有 crash-safe 的能力,binlog日志只能用于归档。而InnoDB 是另一个公司以插件形式引入 MySQL 的，既然只依靠 binlog 是没有 crash-safe 能力的，所以 InnoDB 使用另外一套日志系统，也就是 redo log 来实现 crash-safe 能力。 55题 重做日志（redo log)      作用：确保事务的持久性，防止在发生故障，脏页未写入磁盘。重启数据库会进行redo log执行重做，达到事务一致性。 回滚日志（undo log)  作用：保证数据的原子性，保存了事务发生之前的数据的一个版本，可以用于回滚，同时可以提供多版本并发控制下的读(MVCC)，也即非锁定读。 二进 制日志（binlog)    作用：用于主从复制，实现主从同步；用于数据库的基于时间点的还原。 错误日志（errorlog) 作用：Mysql本身启动，停止，运行期间发生的错误信息。 慢查询日志（slow query log)  作用：记录执行时间过长的sql，时间阈值可以配置，只记录执行成功。 一般查询日志（general log)    作用：记录数据库的操作明细，默认关闭，开启后会降低数据库性能 。 中继日志（relay log) 作用：用于数据库主从同步，将主库发来的bin log保存在本地，然后从库进行回放。 54题 MySQL有三种锁的级别：页级、表级、行级。 表级锁：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突的概率最高,并发度最低。 行级锁：开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低,并发度也最高。 页面锁：开销和加锁时间界于表锁和行锁之间；会出现死锁；锁定粒度界于表锁和行锁之间，并发度一般。 死锁: 是指两个或两个以上的进程在执行过程中。因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。 死锁的关键在于：两个(或以上)的Session加锁的顺序不一致。 那么对应的解决死锁问题的关键就是：让不同的session加锁有次序。死锁的解决办法：1.查出的线程杀死。2.设置锁的超时时间。3.指定获取锁的顺序。 53题 当多个用户并发地存取数据时，在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据，破坏数据库的一致性(脏读，不可重复读，幻读等)，可能产生死锁。 乐观锁：乐观锁不是数据库自带的，需要我们自己去实现。 悲观锁：在进行每次操作时都要通过获取锁才能进行对相同数据的操作。 共享锁：加了共享锁的数据对象可以被其他事务读取，但不能修改。 排他锁：当数据对象被加上排它锁时，一个事务必须得到锁才能对该数据对象进行访问，一直到事务结束锁才被释放。 行锁：就是给某一条记录加上锁。 52题 Mysql是关系型数据库，MongoDB是非关系型数据库，数据存储结构的不同。 51题 关系型数据库优点：1.保持数据的一致性（事务处理）。 2.由于以标准化为前提，数据更新的开销很小。 3. 可以进行Join等复杂查询。 缺点：1、为了维护一致性所付出的巨大代价就是其读写性能比较差。 2、固定的表结构。 3、高并发读写需求。 4、海量数据的高效率读写。 非关系型数据库优点：1、无需经过sql层的解析，读写性能很高。 2、基于键值对，数据没有耦合性，容易扩展。 3、存储数据的格式：nosql的存储格式是key,value形式、文档形式、图片形式等等，文档形式、图片形式等等，而关系型数据库则只支持基础类型。 缺点：1、不提供sql支持，学习和使用成本较高。 2、无事务处理，附加功能bi和报表等支持也不好。 redis与mongoDB的区别： 性能：TPS方面redis要大于mongodb。 可操作性：mongodb支持丰富的数据表达，索引，redis较少的网络IO次数。 可用性:MongoDB优于Redis。 一致性:redis事务支持比较弱,mongoDB不支持事务。 数据分析:mongoDB内置了数据分析的功能(mapreduce)。 应用场景:redis数据量较小的更性能操作和运算上,MongoDB主要解决海量数据的访问效率问题。 50题 如果Redis被当做缓存使用，使用一致性哈希实现动态扩容缩容。如果Redis被当做一个持久化存储使用，必须使用固定的keys-to-nodes映射关系，节点的数量一旦确定不能变化。否则的话(即Redis节点需要动态变化的情况），必须使用可以在运行时进行数据再平衡的一套系统，而当前只有Redis集群可以做到这样。 49题 分区可以让Redis管理更大的内存，Redis将可以使用所有机器的内存。如果没有分区，你最多只能使用一台机器的内存。分区使Redis的计算能力通过简单地增加计算机得到成倍提升,Redis的网络带宽也会随着计算机和网卡的增加而成倍增长。 48题 除了缓存服务器自带的缓存失效策略之外（Redis默认的有6种策略可供选择），我们还可以根据具体的业务需求进行自定义的缓存淘汰，常见的策略有两种： 1.定时去清理过期的缓存； 2.当有用户请求过来时，再判断这个请求所用到的缓存是否过期，过期的话就去底层系统得到新数据并更新缓存。 两者各有优劣，第一种的缺点是维护大量缓存的key是比较麻烦的，第二种的缺点就是每次用户请求过来都要判断缓存失效，逻辑相对比较复杂！具体用哪种方案，可以根据应用场景来权衡。 47题 Redis提供了两种方式来作消息队列: 一个是使用生产者消费模式模式:会让一个或者多个客户端监听消息队列，一旦消息到达，消费者马上消费，谁先抢到算谁的，如果队列里没有消息，则消费者继续监听 。另一个就是发布订阅者模式:也是一个或多个客户端订阅消息频道，只要发布者发布消息，所有订阅者都能收到消息，订阅者都是平等的。 46题 Redis的数据结构列表(list)可以实现延时队列，可以通过队列和栈来实现。blpop/brpop来替换lpop/rpop，blpop/brpop阻塞读在队列没有数据的时候，会立即进入休眠状态，一旦数据到来，则立刻醒过来。Redis的有序集合(zset)可以用于实现延时队列，消息作为value，时间作为score。Zrem 命令用于移除有序集中的一个或多个成员，不存在的成员将被忽略。当 key 存在但不是有序集类型时，返回一个错误。 45题 1.热点数据缓存：因为Redis 访问速度块、支持的数据类型比较丰富。 2.限时业务：expire 命令设置 key 的生存时间，到时间后自动删除 key。 3.计数器：incrby 命令可以实现原子性的递增。 4.排行榜：借助 SortedSet 进行热点数据的排序。 5.分布式锁：利用 Redis 的 setnx 命令进行。 6.队列机制：有 list push 和 list pop 这样的命令。 44题 一致哈希 是一种特殊的哈希算法。在使用一致哈希算法后，哈希表槽位数（大小）的改变平均只需要对 K/n 个关键字重新映射，其中K是关键字的数量， n是槽位数量。然而在传统的哈希表中，添加或删除一个槽位的几乎需要对所有关键字进行重新映射。 43题 RDB的优点：适合做冷备份；读写服务影响小，reids可以保持高性能；重启和恢复redis进程，更加快速。RDB的缺点：宕机会丢失最近5分钟的数据；文件特别大时可能会暂停数毫秒，或者甚至数秒。 AOF的优点：每个一秒执行fsync操作，最多丢失1秒钟的数据；以append-only模式写入，没有任何磁盘寻址的开销；文件过大时，不会影响客户端读写；适合做灾难性的误删除的紧急恢复。AOF的缺点：AOF日志文件比RDB数据快照文件更大，支持写QPS比RDB支持的写QPS低；比RDB脆弱，容易有bug。 42题 对于Redis而言，命令的原子性指的是：一个操作的不可以再分，操作要么执行，要么不执行。Redis的操作之所以是原子性的，是因为Redis是单线程的。而在程序中执行多个Redis命令并非是原子性的，这也和普通数据库的表现是一样的，可以用incr或者使用Redis的事务，或者使用Redis+Lua的方式实现。对Redis来说，执行get、set以及eval等API，都是一个一个的任务，这些任务都会由Redis的线程去负责执行，任务要么执行成功，要么执行失败，这就是Redis的命令是原子性的原因。 41题 (1)twemproxy,使用方式简单（相对redis只需修改连接端口），对旧项目扩展的首选。(2)codis,目前用的最多的集群方案，基本和twemproxy一致的效果，但它支持在节点数改变情况下，旧节点数据可恢复到新hash节点。(3)redis cluster3.0自带的集群，特点在于他的分布式算法不是一致性hash,而是hash槽的概念，以及自身支持节点设置从节点。(4)在业务代码层实现，起几个毫无关联的redis实例，在代码层，对key进行hash计算，然后去对应的redis实例操作数据。这种方式对hash层代码要求比较高，考虑部分包括，节点失效后的代替算法方案，数据震荡后的自动脚本恢复，实例的监控，等等。 40题 (1) Master最好不要做任何持久化工作，如RDB内存快照和AOF日志文件 (2) 如果数据比较重要，某个Slave开启AOF备份数据，策略设置为每秒同步一次 (3) 为了主从复制的速度和连接的稳定性，Master和Slave最好在同一个局域网内 (4) 尽量避免在压力很大的主库上增加从库 (5) 主从复制不要用图状结构，用单向链表结构更为稳定，即：Master <- Slave1 <- Slave2 <- Slave3...这样的结构方便解决单点故障问题，实现Slave对Master的替换。如果Master挂了，可以立刻启用Slave1做Master，其他不变。 39题 比如订单管理，热数据：3个月内的订单数据，查询实时性较高;温数据：3个月 ~ 12个月前的订单数据，查询频率不高;冷数据：1年前的订单数据，几乎不会查询，只有偶尔的查询需求。热数据使用mysql进行存储，需要分库分表;温数据可以存储在ES中，利用搜索引擎的特性基本上也可以做到比较快的查询;冷数据可以存放到Hive中。从存储形式来说，一般情况冷数据存储在磁带、光盘，热数据一般存放在SSD中，存取速度快，而温数据可以存放在7200转的硬盘。 38题 当访问量剧增、服务出现问题（如响应时间慢或不响应）或非核心服务影响到核心流程的性能时，仍然需要保证服务还是可用的，即使是有损服务。系统可以根据一些关键数据进行自动降级，也可以配置开关实现人工降级。降级的最终目的是保证核心服务可用，即使是有损的。而且有些服务是无法降级的（如加入购物车、结算）。 37题 分层架构设计，有一条准则：站点层、服务层要做到无数据无状态，这样才能任意的加节点水平扩展，数据和状态尽量存储到后端的数据存储服务，例如数据库服务或者缓存服务。显然进程内缓存违背了这一原则。 36题 更新数据的时候，根据数据的唯一标识，将操作路由之后，发送到一个 jvm 内部队列中。读取数据的时候，如果发现数据不在缓存中，那么将重新读取数据+更新缓存的操作，根据唯一标识路由之后，也发送同一个 jvm 内部队列中。一个队列对应一个工作线程，每个工作线程串行拿到对应的操作，然后一条一条的执行。 35题 redis分布式锁加锁过程：通过setnx向特定的key写入一个随机值，并同时设置失效时间，写值成功既加锁成功；redis分布式锁解锁过程：匹配随机值，删除redis上的特点key数据，要保证获取数据、判断一致以及删除数据三个操作是原子的，为保证原子性一般使用lua脚本实现；在此基础上进一步优化的话，考虑使用心跳检测对锁的有效期进行续期，同时基于redis的发布订阅优雅的实现阻塞式加锁。 34题 volatile-lru：当内存不足以容纳写入数据时，从已设置过期时间的数据集中挑选最近最少使用的数据淘汰。 volatile-ttl：当内存不足以容纳写入数据时，从已设置过期时间的数据集中挑选将要过期的数据淘汰。 volatile-random：当内存不足以容纳写入数据时，从已设置过期时间的数据集中任意选择数据淘汰。 allkeys-lru：当内存不足以容纳写入数据时，从数据集中挑选最近最少使用的数据淘汰。 allkeys-random：当内存不足以容纳写入数据时，从数据集中任意选择数据淘汰。 noeviction：禁止驱逐数据，当内存使用达到阈值的时候，所有引起申请内存的命令会报错。 33题 定时过期：每个设置过期时间的key都需要创建一个定时器，到过期时间就会立即清除。该策略可以立即清除过期的数据，对内存很友好；但是会占用大量的CPU资源去处理过期的数据，从而影响缓存的响应时间和吞吐量。 惰性过期：只有当访问一个key时，才会判断该key是否已过期，过期则清除。该策略可以最大化地节省CPU资源，却对内存非常不友好。极端情况可能出现大量的过期key没有再次被访问，从而不会被清除，占用大量内存。 定期过期：每隔一定的时间，会扫描一定数量的数据库的expires字典中一定数量的key，并清除其中已过期的key。该策略是前两者的一个折中方案。通过调整定时扫描的时间间隔和每次扫描的限定耗时，可以在不同情况下使得CPU和内存资源达到最优的平衡效果。 32题 缓存击穿，一个存在的key，在缓存过期的一刻，同时有大量的请求，这些请求都会击穿到DB，造成瞬时DB请求量大、压力骤增。如何避免：在访问key之前，采用SETNX（set if not exists）来设置另一个短期key来锁住当前key的访问，访问结束再删除该短期key。 31题 缓存雪崩，是指在某一个时间段，缓存集中过期失效。大量的key设置了相同的过期时间，导致在缓存在同一时刻全部失效，造成瞬时DB请求量大、压力骤增，引起雪崩。而缓存服务器某个节点宕机或断网，对数据库服务器造成的压力是不可预知的，很有可能瞬间就把数据库压垮。如何避免：1.redis高可用，搭建redis集群。2.限流降级，在缓存失效后，通过加锁或者队列来控制读数据库写缓存的线程数量。3.数据预热，在即将发生大并发访问前手动触发加载缓存不同的key，设置不同的过期时间。 30题 缓存穿透，是指查询一个数据库一定不存在的数据。正常的使用缓存流程大致是，数据查询先进行缓存查询，如果key不存在或者key已经过期，再对数据库进行查询，并把查询到的对象，放进缓存。如果数据库查询对象为空，则不放进缓存。一些恶意的请求会故意查询不存在的 key，请求量很大，对数据库造成压力，甚至压垮数据库。 如何避免：1：对查询结果为空的情况也进行缓存，缓存时间设置短一点，或者该 key 对应的数据 insert 了之后清理缓存。2：对一定不存在的 key 进行过滤。可以把所有的可能存在的 key 放到一个大的 Bitmap 中，查询时通过该 bitmap 过滤。 29题 1.memcached 所有的值均是简单的字符串，redis 作为其替代者，支持更为丰富的数据类型。 2.redis 的速度比 memcached 快很多。 3.redis 可以持久化其数据。 4.Redis支持数据的备份，即master-slave模式的数据备份。 5.Redis采用VM机制。 6.value大小：redis最大可以达到1GB，而memcache只有1MB。 28题 Spring Boot 推荐使用 Java 配置而非 XML 配置，但是 Spring Boot 中也可以使用 XML 配置，通过spring提供的@ImportResource来加载xml配置。例如：@ImportResource({"classpath:some-context.xml","classpath:another-context.xml"}) 27题 Spring像一个大家族，有众多衍生产品例如Spring Boot，Spring Security等等，但他们的基础都是Spring的IOC和AOP，IOC提供了依赖注入的容器，而AOP解决了面向切面的编程，然后在此两者的基础上实现了其他衍生产品的高级功能。Spring MVC是基于Servlet的一个MVC框架，主要解决WEB开发的问题，因为 Spring的配置非常复杂，各种xml，properties处理起来比较繁琐。Spring Boot遵循约定优于配置，极大降低了Spring使用门槛，又有着Spring原本灵活强大的功能。总结：Spring MVC和Spring Boot都属于Spring，Spring MVC是基于Spring的一个MVC框架，而Spring Boot是基于Spring的一套快速开发整合包。 26题 YAML 是 "YAML Ain't a Markup Language"（YAML 不是一种标记语言）的递归缩写。YAML 的配置文件后缀为 .yml，是一种人类可读的数据序列化语言，可以简单表达清单、散列表，标量等数据形态。它通常用于配置文件，与属性文件相比，YAML文件就更加结构化，而且更少混淆。可以看出YAML具有分层配置数据。 25题 Spring Boot有3种热部署方式： 1.使用springloaded配置pom.xml文件，使用mvn spring-boot:run启动。 2.使用springloaded本地加载启动，配置jvm参数-javaagent:<jar包地址> -noverify。 3.使用devtools工具包，操作简单，但是每次需要重新部署。 用