计算操作如何看配置

前言 这篇文章适合所有的 C# 开发新手、老鸟以及想准备学习开发 C# 的程序猿。.NET Core是一个开源通用的开发框架，支持跨平台, 阿里云函数计算推出了 dotnetcore2.1 runtime， 使用 C# 编写 serverless 函数, 详情见官方文档：C# 函数入口. 在官方文档描述中，我们获知阿里云函数计算可以很好支持 asp.net core 的 Applicaiton： ASP.NET Core Web API ASP.NET Core Web App ASP.NET Core Web App (Model-View-Controller) 在介绍 Serverless Web 开发新模式之前，我们先了解下将 C# WebApi/WebApp Serverless 化的好处： 无需采购和管理服务器等基础设施 弹性伸缩，动态扩容 免运维， 极大降低人力成本 按需付费，财务成本低 本文以部署一个完善的 asp.net core 工程 Blogifier 为例，在函数计算环境中为例，向您讲解如何使用阿里云函数计算快速构建或移植基于 asp.net core 开发的 WebApi/WebApp ，通过本文，您将会了解以下内容: 案例概览 传统服务器架构 VS Serverless架构 Serverless架构详解 函数计算运行 Asp.net core App 原理 案例开发配置步骤 案例概览 在本教程中，我们讲解如何利用函数计算一步一步来构建 Web 的 Server 端，该案例是把一个 asp.net core 工程Blogifier 部署到函数计算，本文旨在展示函数计算做 Web Backend 能力，具体表现为以下几点： 完善的 ASP.NET Core Web 系统迁移到 FC 的成本不高 FC 打通了专有网络 VPC 功能，用户的函数可以配置访问专有网络的云资源，比如本案例中 NAS 案例体验入口: http://dotnet.mofangdegisn.cn/ https://dotnet.mofangdegisn.cn/ 传统服务器架构 VS Serverless架构 正常来说，用户开发 Server 端服务，常常面临开发效率，运维成本高，机器资源弹性伸缩等痛点，而使用 Serverless 架构可以很好的解决上述问题。下面是传统架构和 Serverless 架构的对比： image 阿里云函数计算是一个事件驱动的全托管计算服务。通过函数计算，您无需管理服务器等基础设施，只需编写代码并上传。函数计算会为您准备好计算资源，以弹性、可靠的方式运行您的代码，并提供日志查询，性能监控，报警等功能。借助于函数计算，您可以快速构建任何类型的应用和服务，无需管理和运维。 Serverless 架构详解 image.png 从上面的示例图中，整体架构十分简单明了, 用 FC 替代了 Web 服务器，但是换来的是免运维，弹性扩容，按需付费等一系列优点 函数计算运行 Asp.net Core App 原理 Asp.net Core App 运行在服务器上 image A http request to your website will go through IIS/Nginx, then Kestrel, and finally will be passed on to ASP.NET Core Asp.net Core App 运行在函数计算上 image 请求通过函数(with http trigger), 最后到达ASP.NET Core tips: 基于函数计算环境运行新建 asp.net core app 可以参考dotnet runtime HTTP 触发器的函数入口示例 在本文中，我们展示把一个现有的成熟的 asp.net core 工程低成本无缝迁移到函数计算环境。 案例开发配置步骤 准备工作 1. 创建 NAS 挂接点，配置 VPC , 具体参考函数计算nas使用示例 注：在本示例中使用 sqlite3 数据库，这种文件类型的数据库直接放置在 nas 即可，如果使用 mysql 等其他数据库， 需要创建 RDS 数据库, 配置 VPC , 具体参考通过 VPC 访问 RDS 实例 可选操作，在准备函数的 region 创建日志，用于函数的调试， 具体参考函数计算配置日志服务 创建函数 创建 Service (假设是 csharp-web), 配置准备 vpc config , nas config 和日志服务，比如案例体验的 Service 配置如下图： image 下载 asp.net core 工程，Blogifier, 用 vs 打开， debug 本地可以正常运行。 注：本地安装 dotnetcore2.1 在工程中增加入口函数，使得该工程可在函数计算执行环境运行，diff dotnet publish -c Release, 跳转到publish目录, 将相关的静态资源/可写/共享目录移动到上述配置的 NAS 的某个目录(这里假设是 www目录， 对应步骤2中的diff) dotnet publish -c Release cp -r plugins/Common/bin/Release/netcoreapp2.1/publish/* src/App/bin/Release/netcoreapp2.1/publish/ src/App/bin/Release/netcoreapp2.1/publish/ mkdir lib // 选择函数计算执行环境所需要的so， 其他的删除即可 cp runtimes/linux-x64/native/libe_sqlite3.so ./lib // 这里是传送对应的静态文件和 app.db 到 nas 中， 详情看下面的描述 rm -rf wwwroot app.db runtimes zip -r code.zip * // 最后使用这个 code.zip 创建 handler 为 App::App.FcRemoteEntrypoint::HandleRequest 函数 将 publish 目录下的 wwwroot 和 app.db 传送到 nas 的 www 目录， 可以使用 ecs 挂载 nas 传输过去， 也可以采用如下简单函数传输过去 |-- index.py |-- www 注： www目录下面有 wwwroot 和 app.db index.py代码： -- coding: utf-8 -- import logging import os def handler(event, context): os.system("mkdir -p /mnt/share/www") os.system("cp -r /code/www/* /mnt/share/www/") os.system("chmod -R 777 /mnt/share/www") print( os.system("ls -ll /mnt/share/www") ) return 'ok' 基于上述代码创一个函数 move-res-nas , 执行函数，将相关静态和共享资源移动到 NAS 的/mnt/share/www/ 目录。 注：最新版本的 Fun 工具已经支持 NAS 相关操作， 有兴趣的同学可以使用 Fun 完成 NAS, VPC 的自动生成、配置以及网站工程文件上传到 NAS 创建入口函数 blog (使用上一步骤中的 code.zip )， 给函数设置 http trigger ，类型为 anonymous , 类型都选上。给函数入口配置自定义域名(操作过程请参考：绑定自定义域名示例), 具体配置假设如下： image 注意： 绑定自定义域名之后，不用使用控制台来进行调试，就只能使用浏览器来触发函数，日志服务来进行调试。 总结 函数计算有如下优势： 无需采购和管理服务器等基础设施 专注业务逻辑的开发 提供日志查询、性能监控、报警等功能快速排查故障 以事件驱动的方式触发应用响应用户请求 毫秒级别弹性伸缩，快速实现底层扩容以应对峰值压力 按需付费。只需为实际使用的计算资源付费，适合有明显波峰波谷的用户访问场景 除了上面所列的优势，FC 可以做为 Web Backend，只需要编写一个函数实现传统 Web 服务器中的 conf 中的逻辑，就可以将一个完整的 Web 工程迁移到 FC ，从而从传统的 Web 网站运维，监控等繁琐的事务中解放出来。

前言概述 本文介绍了使用函数计算部署深度学习 AI 推理的最佳实践, 其中包括使用 FUN 工具一键部署安装第三方依赖、一键部署、本地调试以及压测评估， 全方位展现函数计算的开发敏捷特性、自动弹性伸缩能力、免运维和完善的监控设施。 1.1 DEMO 概述 image 通过上传一个猫或者狗的照片， 识别出这个照片里面的动物是猫还是狗 DEMO 示例效果入口： http://sz.mofangdegisn.cn DEMO 示例工程地址： https://github.com/awesome-fc/cat-dog-classify 开通服务 免费开通函数计算， 按量付费，函数计算有很大的免费额度。 免费开通文件存储服务NAS， 按量付费 1.2 解决方案 image 如上图所示， 当多个用户通过对外提供的 url 访问推理服务时候，每秒的请求几百上千都没有关系， 函数计算平台会自动伸缩， 提供足够的执行实例来响应用户的请求， 同时函数计算提供了完善的监控设施来监控您的函数运行情况。 1.3. Serverless 方案与传统自建服务方案对比 1.3.1 卓越的工程效率 自建服务 函数计算 Serverless 基础设施 需要用户采购和管理 无 开发效率 除了必要的业务逻辑开发,需要自己建立相同线上运行环境， 包括相关软件的安装、服务配置、安全更新等一系列问题 只需要专注业务逻辑的开发, 配合 FUN 工具一键资源编排和部署 学习上手成本 可能使用 K8S 或弹性伸缩( ESS )，需要了解更多的产品、名词和参数的意义 会编写对应的语言的函数代码即可 1.3.2 弹性伸缩免运维 自建服务 函数计算 Serverless 弹性高可用 需要自建负载均衡 (SLB)，弹性伸缩，扩容缩容速度较 FC 慢 FC系统固有毫秒级别弹性伸缩，快速实现底层扩容以应对峰值压力，免运维 监控报警查询 ECS 级别的 metrics 提供更细粒度的函数执行情况，每次访问函数执行的 latency 和日志等， 更加完善的报警监控机制 1.3.3 更低的成本 函数计算 (FC) 固有自动伸缩和负载均衡功能，用户不需要购买负载均衡 (SLB) 和弹性伸缩。 具有明显波峰波谷的用户访问场景(比如只有部分时间段有请求，其他时间甚至没有请求)，选择按需付费，只需为实际使用的计算资源付费。 对于明显波峰波谷或者稀疏调用具有低成本优势， 同时还保持了弹性能力，以后业务规模做大以后并没有技术切换成本，同时财务成本增长配合预付费也能保持平滑。 部分请求持续平稳的场景下,可以配合预付费解决按需付费较高单价问题。函数计算成本优化最佳实践文档。 假设有一个在线计算服务，由于是CPU 密集型计算， 因此在这里我们将平均 CPU 利用率作为核心参考指标对成本，以一个月为周期，10台 C5 ECS 的总计算力为例，总的计算量约为 30% 场景下， 各解决方案 CPU 资源利用率使用情况示意图大致如下: image 由上图预估出如下计费模型： 函数计算预付费 3CU 一个月: 246.27 元， 计算能力等价于 ECS 计算型 C5 ECS 计算型 C5 (2vCPU,4GB)+云盘: 包月219 元，按量: 446.4 元 包月10 Mbps 的 SLB: 526.52 元(这里做了一定的流量假设)， 弹性伸缩免费 饱和使用下，函数计算按量付费的一台机器成本约为按量付费 C5 ECS 的2 倍 平均CPU使用率 计算费用 SLB 总计 函数计算组合付费 >=80% 738+X（246.273+X） 无 <= 738+X 按峰值预留ECS <=30% 2190（10219） 526.52 >=2716.52 弹性伸缩延迟敏感 <=50% 1314（102193/5） 526.52 >= 1840.52 弹性伸缩成本敏感 <=70% 938.57 (102193/7) 526.52 >= 1465.09 注： 这里假设函数逻辑没有公网下行流量费用， 即使有也是一致的， 这里成本比较暂不参与 延时敏感，当 CPU 利用率大于等于 50% 就需要开始进行扩容，不然更来不及应对峰值 成本敏感，当 CPU 利用率大约 80% 即开始进行扩容， 能容受一定几率的超时或者5XX 上表中， 其中函数计算组合付费中的 X 为按需付费的成本价，假设按需付费的计算量占整个计算量的 10%，假设 CPU 利用率为100%, 对应上表，那么需要 3 台 ECS 的计算能力即可。因此 FC 按量付费的成本 X = 3 ️ 446.4 ️ 10% ️ 2 = 267.84 （ FC 按量付费是按量 ECS 的2倍），这个时候函数计算组合付费总计 1005.8 元。 在这个模型预估里面， 只要 FC 按量付费占整个计算量小于 20%， 即使不考虑 SLB, 单纯考虑计算成本， 都是有一定优势的。 1.3.4. 小结 基于函数计算进行 AI 推理等 CPU 密集型的主要优势： 上手简单， 只专注业务逻辑开发， 极大提高工程开发效率。 自建方案有太多学习和配置成本，如针对不同场景，ESS 需要做各种不同的参数配置 系统环境的维护升级等 免运维，函数执行级别粒度的监控和告警。 毫秒级弹性扩容，保证弹性高可用，同时能覆盖延迟敏感和成本敏感类型。 在 CPU 密集型的计算场景下， 通过设置合理的组合计费模式， 在如下场景中具有成本优势： 请求访问具有明显波峰波谷， 其他时间甚至没有请求 有一定稳定的负载请求， 但是有部分时间段请求量突变剧烈 打包代码ZIP包和部署函数 FUN 操作简明视频教程 开通服务 免费开通函数计算， 按量付费，函数计算有很大的免费额度。 免费开通文件存储服务NAS， 按量付费 2.1 安装第三方包到本地并上传到NAS 2.1.1 安装最新的Fun 安装版本为8.x 最新版或者10.x 、12.x nodejs 安装 funcraf 2.1.2 Clone 工程 & Fun 一键安装第三方库到本地 git clone https://github.com/awesome-fc/cat-dog-classify.git 复制 .env_example 文件为 .env, 并且修改 .env 中的信息为自己的信息 执行 fun install -v, fun 会根据 Funfile 中定义的逻辑安装相关的依赖包 image root@66fb3ad27a4c: ls .fun/nas/auto-default/classify model python root@66fb3ad27a4c: du -sm .fun 697 .fun 根据 Funfile 的定义： 将第三方库下载到 .fun/nas/auto-default/classify/python 目录下 本地 model 目录移到 .fun/nas/auto-default/model 目录下 安装完成后，从这里我们看出， 函数计算引用的代码包解压之后已经达到了 670 M, 远超过 50M 代码包限制, 解决方案是 NAS 详情可以参考: 挂载NAS访问，幸运的是 FUN 工具一键解决了 nas 的配置和文件上传问题。 2.1.3. 将下载的依赖的第三方代码包上传到 NAS fun nas init fun nas info fun nas sync fun nas ls nas://classify:/mnt/auto/ 依次执行这些命令，就将本地中的 .fun/nas/auto-default 中的第三方代码包和模型文件传到 NAS 中, 依次看下这几个命令的做了什么事情: fun nas init: 初始化 NAS, 基于您的 .env 中的信息获取(已有满足条件的nas)或创建一个同region可用的nas fun nas info: 可以查看本地 NAS 的目录位置, 对于此工程是 $(pwd)/.fun/nas/auto-default/classify fun nas sync: 将本地 NAS 中的内容（.fun/nas/auto-default/classify）上传到 NAS 中的 classify 目录 fun nas ls nas:///mnt/auto/: 查看我们是否已经正确将文件上传到了 NAS 登录 NAS 控制台 https://nas.console.aliyun.com 和 VPC 控制台 https://vpc.console.aliyun.com可以观察到在指定的 region 上有 NAS 和相应的 vpc 创建成功 2.2 本地调试函数 在 template.yml 中， 指定了这个函数是 http 类型的函数， 所以根据 fun 的提示: Tips for next step Invoke Event Function: fun local invokeInvoke Http Function: fun local startBuild Http Function: fun buildDeploy Resources: fun deploy 执行 fun local start, 本地就会启动一个 http server 来模拟函数的执行， 然后我们 client 端可以使用 postman， curl 或者浏览器， 比如对于本例： image image 2.3 部署函数到FC平台 本地调试OK 后，我们接下来将函数部署到云平台： 修改 template.yml LogConfig 中的 Project, 任意取一个不会重复的名字即可，有两处地方需要更改，然后执行 fun deploy 注意: template.yml 注释的部分为自定义域名的配置, 如果想在 fun deploy 中完成这个部署工作: 先去域名解析, 比如在示例中, 将域名 sz.mofangdegisn.cn 解析到 123456.cn-hangzhou.fc.aliyuncs.com, 对应的域名、accountId 和 region 修改成自己的 去掉 template.yml 中的注释, 修改成自己的域名 执行 fun deploy 这个时候如果没有自定义域名， 直接通过浏览器访问http trigger 的url， 比如 https://123456.cn-shenzhen.fc.aliyuncs.com/2016-08-15/proxy/classify/cat-dog/ 会被强制下载. 原因:https://help.aliyun.com/knowledge_detail/56103.html#HTTP-Trigger-compulsory-header image 登录控制台https://fc.console.aliyun.com，可以看到service 和函数已经创建成功，并且 service 也已经正确配置。 image 在这里，我们发现第一次打开页面访问函数的时候，执行环境实例冷启动时间非常长， 如果是一个在线AI推理服务，对响应时间非常敏感，冷启动引起的毛刺对于这种类型的服务是不可接受的，接下来，本文讲解如何利用函数计算的预留模式来消除冷启动带来的负面影响。 使用预留模式消除冷启动毛刺 函数计算具有动态伸缩的特性， 根据并发请求量，自动弹性扩容出执行环境来执行环境，在这个典型的深度学习示例中，import keras 消耗的时间很长 ， 在我们设置的 1 G 规格的函数中， 并发访问的时候耗时10s左右， 有时甚至20s+ start = time.time() from keras.models import model_from_json print("import keras time = ", time.time()-start) 3.1 函数计算设置预留 预留操作简明视频教程 在 FC 控制台，发布版本，并且基于该版本创建别名 prod，并且基于别名 prod 设置预留, 操作过程请参考：https://help.aliyun.com/document_detail/138103.html 将该函数的 http trigger 和自定义域名的设置执行 prod 版本 image image 一次压测结果 imageimage 从上面图中我们可以看出，当函数执行的请求到来时，优先被调度到预留的实例中被执行， 这个时候是没有冷启动的，所以请求是没有毛刺的， 后面随着测试的压力不断增大(峰值TPS 达到 1184), 预留的实例不能满足调用函数的请求， 这个时候函数计算就自动进行按需扩容实例供函数执行，此时的调用就有冷启动的过程， 从上面我们可以看出，函数的最大 latency 时间甚至达到了 32s，如果这个web AP是延时敏感的，这个 latency 是不可接受的。 总结 函数计算具有快速自动伸缩扩容能力 预留模式很好地解决了冷启动中的毛刺问题 开发简单易上手，只需要关注具体的代码逻辑， Fun 工具助您一键式部署运用 函数计算具有很好监控设施, 您可以可视化观察您函数运行情况， 执行时间、内存等信息

前言之前因为仅仅是把HBase当成一个可横向扩展并且具有持久化能力的KV数据库，所以只用在了指标存储上，参看很早之前的一篇文章基于HBase做Storm 实时计算指标存储。这次将HBase用在了用户行为存储上，因为Rowkey的过滤功能也很不错，可以很方便的把按人或者内容的维度过滤出所有的行为。从某种意义上，HBase的是一个有且仅有一个多字段复合索引的存储引擎。 虽然我比较推崇实时计算，不过补数据或者计算历史数据啥的，批处理还是少不了的。对于历史数据的计算，其实我是有两个选择的，一个是基于HBase的已经存储好的行为数据进行计算，或者基于Hive的原始数据进行计算，最终选择了前者，这就涉及到Spark(StreamingPro) 对HBase的批处理操作了。 整合过程和Spark 整合，意味着最好能有Schema(Mapping),因为Dataframe 以及SQL API 都要求你有Schema。 遗憾的是HBase 有没有Schema取决于使用者和场景。通常SparkOnHBase的库都要求你定义一个Mapping(Schema),比如hortonworks的 SHC(https://github.com/hortonworks-spark/shc) 就要求你定义一个如下的配置： {"rowkey":"key","table":{"namespace":"default", "name":"pi_user_log", "tableCoder":"PrimitiveType"},"columns":{"col0":{"cf":"rowkey", "col":"key", "type":"string"},"col1":{"cf":"f","col":"col1", "type":"string"}}}看上面的定义已经还是很容易看出来的。对HBase的一个列族和列取一个名字，这样就可以在Spark的DataSource API使用了，关于如何开发Spark DataSource API可以参考我的这篇文章利用 Spark DataSource API 实现Rest数据源中使用，SHC大体实现的就是这个API。现在你可以这么用了： val cat = "{n"rowkey":"key","table":{"namespace":"default", "name":"pi_user_log", "tableCoder":"PrimitiveType"},n"columns":{"col0":{"cf":"rowkey", "col":"key", "type":"string"},n"28360592":{"cf":"f","col":"28360592", "type":"string"}n}n}" val cc = sqlContext .read .options(Map(HBaseTableCatalog.tableCatalog -> cat)) .format("org.apache.spark.sql.execution.datasources.hbase") .load() 不过当你有成千上万个列，那么这个就无解了，你不大可能一一定义，而且很多时候使用者也不知道会有哪些列，列名甚至可能是一个时间戳。我们现在好几种情况都遇到了，所以都需要解决： 自动获取HBase里所有的列形成Schema,这样就不需要用户配置了。规定HBase只有两个列，一个rowkey,一个 content,content 是一个map,包含所有以列族+列名为key，对应内容为value。先说说第二种方案(因为其实第一种方案也要依赖于第二种方案)： { "name": "batch.sources", "params": [ { "inputTableName": "log1", "format": "org.apache.spark.sql.execution.datasources.hbase.raw", "path": "-", "outputTable": "log1" } ] }, { "name": "batch.sql", "params": [ { "sql": "select rowkey,json_value_collect(content) as actionList from log1", "outputTableName":"finalTable" } ] }, 首先我们配置了一个HBase的表，叫log1,当然，这里是因为程序通过hbase-site.xml获得HBase的链接，所以配置上你看不到HBase相关的信息。接着呢，在SQL 里你就可以对content 做处理了。我这里是把content 转化成了JSON格式字符串。再之后你就可以自己写一个UDF函数之类的做处理了，从而实现你复杂的业务逻辑。我们其实每个字段里存储的都是JSON，所以我其实不关心列名，只要让我拿到所有的列就好。而上面的例子正好能够满足我这个需求了。 而且实现这个HBase DataSource 也很简单，核心逻辑大体如下： case class HBaseRelation( parameters: Map[String, String], userSpecifiedschema: Option[StructType] )(@transient val sqlContext: SQLContext) extends BaseRelation with TableScan with Logging { val hbaseConf = HBaseConfiguration.create() def buildScan(): RDD[Row] = { hbaseConf.set(TableInputFormat.INPUT_TABLE, parameters("inputTableName")) val hBaseRDD = sqlContext.sparkContext.newAPIHadoopRDD(hbaseConf, classOf[TableInputFormat], classOf[ImmutableBytesWritable], classOf[Result]) .map { line => val rowKey = Bytes.toString(line._2.getRow) import net.liftweb.{json => SJSon} implicit val formats = SJSon.Serialization.formats(SJSon.NoTypeHints) val content = line._2.getMap.navigableKeySet().flatMap { f => line._2.getFamilyMap(f).map { c => (Bytes.toString(f) + ":" + Bytes.toString(c._1), Bytes.toString(c._2)) } }.toMap val contentStr = SJSon.Serialization.write(content) Row.fromSeq(Seq(UTF8String.fromString(rowKey), UTF8String.fromString(contentStr))) } hBaseRDD }}那么我们回过头来，如何让Spark自动发现Schema呢？大体你还是需要过滤所有数据得到列的合集，然后形成Schema的，成本开销很大。我们也可以先将我们的数据转化为JSON格式，然后就可以利用Spark已经支持的JSON格式来自动推倒Schema的能力了。 总体而言，其实并不太鼓励大家使用Spark 对HBase进行批处理，因为这很容易让HBase过载,比如内存溢出导致RegionServer 挂掉，最遗憾的地方是一旦RegionServer 挂掉了，会有一段时间读写不可用，而HBase 又很容易作为实时在线程序的存储，所以影响很大。

ReIDC行业头脑风暴室－有视频、有真相、讨论开始啦 从实际角度讲，IDC的重资产转化为轻资产，降低直接和间接成本倒是十分诱人的，但是不是十分直观的能够看得到这个空间有多大？ ------------------------- ReIDC行业头脑风暴室－有视频、有真相、讨论开始啦 从全局角度讲，IDC转型后将面临旧资产处置的问题，同时原有业务及运营体系也将随之变更，代价和风险还是很高的。 ------------------------- 回13楼niubai的帖子 哈~这是个好case，现在有多少终端用户体会过传统IDC解决方案的短处，又有多少客户能够体验到云计算的优势，这个人群所占的比例有多大，将直接影响未来的云计算市场。 ------------------------- ReIDC行业头脑风暴室－有视频、有真相、讨论开始啦 依中国的国情，有很大一个群体是倾向私有云解决方案的，如何让这份用户接受公有云也是一个老大难的问题，路还很长~ ------------------------- 回29楼niubai的帖子 那就只能期待云计算普及那一天早点到来了~要不就只能挨家挨户的给客户讲老奶奶存钱的故事了~ ------------------------- 回30楼shutong的帖子 兄台形容的及其的形象和恰当，在这个演变的过程中其实是需要有人来引领一下节奏的，无论是云计算的创造者还是使用者都可以。IDC行业是需要这样一个节奏来转型的，要不然快了、慢了都很危险。 ------------------------- ReIDC行业头脑风暴室－有视频、有真相、讨论开始啦 阿里云计算的云服务器和存储类OSS、RDS等产品和传统IDC的产品形态是不同的，包括管理、配置、定价体系等，直接引入只能做价格和服务差异化的东西，间接引入又需要阿里云高度灵活的支持，而且就这个行业来讲差异化的东西确实不太好做，最后又回归到价格战，可操作空间就更小了。

一、什么是Web服务器配置 Web服务器配置，是在服务器（领取49元服务器）上部署站点，并设置好相关的参数，至于站点上需要放置的网站程序，应该由开发人员制作并上传到服务器中，这个工作不属于Web服务器配置的工作。 二、Web服务器概述 Web服务器又称为WWW服务器，它是放置一般网站的服务器。一台Web服务器上可以建立多个网站，各网站的拥有者只需要把做好的网页和相关文件放置在Web服务器的网站中，其它用户可以用浏览器访问网站中的网页了。 IIS的安装 一般在安装操作系统时不默认安装IIS，所以在次Web服务器配置时需要安装IIS。安装方法为： 1、打开“控制面板”，打开“添加/删除程序”，弹出“添加/删除程序”窗口。 2、单击窗口中的“添加/删除Windows组件”图标，弹出“Windows组件向导”对话框。 web服务器配置 3、选中“向导”中的“应用程序服务器”复选框。单击“详细信息”按钮，弹出“应用程序服务器”对话框。 web服务器配置 4、选择需要的组件，其中“Internet信息服务(IIS)”和“应用程序服务器控制台”是必须选中的。选中“Internet信息服务(IIS)”后，再单击“详细信息”按钮，弹出“Internet信息服务(IIS)”对话框。 web服务器配置 5、选中“Internet信息服务管理器”和“万维网服务”。并且选中“万维网服务”后，再单击“详细信息”按钮，弹出“万维网服务”对话框。 web服务器配置 6、其中的“万维网服务”必须选中。如果想要服务器支持ASP，还应该选中“Active Server Pages”。逐个单击“确定”按钮，关闭各对话框，直到返回图1的“Windows组件向导”对话框。 7、单击“下一步”按钮，系统开始IIS的安装，这期间可能要求插入Windows Server 2003安装盘，系统会自动进行安装工作。 8、安装完成后，弹出提示安装成功的对话框，单击“确定”按钮完成了IIS的安装。 友情提示：如果想要同时装入FTP服务器，在“Internet信息服务(IIS)”对话框中应该把“文件传输协议(FTP)服务”的复选框也选中。 web服务器配置 在IIS中创建Web网站 打开“Internet 信息服务管理器”，在目录树的“网站”上单击右键，在右键菜单中选择“新建→网站”，弹出“网站创建向导”： web服务器配置 web服务器配置 网站描述是网站的名字，它会显示在IIS窗口的目录树中，方便管理员识别各个站点。本例中起名为“枝叶的网站”。 web服务器配置 网站IP地址：如果选择“全部未分配”，则服务器会将本机所有IP地址绑定在该网站上，这个选项适合于服务器中只有这一个网站的情况。也可以从 下拉式列表框中选择一个IP地址（下拉式列表框中列出的是本机已配置的IP地址，如果没有，应该先为本机配置IP地址，再选择。） TCP端口：一般使用默认的端口号80，如果改为其它值，则用户在访问该站点时必须在地址中加入端口号。 主机头：如果该站点已经有域名，可以在主机头中输入域名。 web服务器配置 主目录路径是网站根目录的位置，可以用“浏览”按钮选择一个文件夹作为网站的主目录。 web服务器配置 网站访问权限是限定用户访问网站时的权限，“读取”是必需的，“运行脚本”可以让站点支持ASP，其它权限可根据需要设置。 单击“下一步”，弹出“完成向导”对话框，完成了新网站的创建过程，在IIS中可以看到新建的网站。把做好的网页和相关文件复制到主目录中，通常可以访问这个网站了。 web服务器配置 访问网站的方法是：如果在本机上访问，可以在浏览器的地址栏中输入“http://localhost/”；如果在网络中其它计算机上访问，可以在浏览器的地址栏中输入“http://网站IP地址”。 说明：如果网站的TCP端口不是80，在地址中还需加上端口号。假设TCP端口设置为8080，则访问地址应写为“http://localhost:8080/”或“http://网站IP地址:8080”。 网站的基本配置 如果需要修改网站的参数，可以在“网站名字”上单击右键，在右键菜单中选择“属性”，可以打开“网站属性”对话框。 1、“网站”标签 “网站标识”：可以设置网站名字、IP地址、端口号。单击“高级”按钮可以设置主机头名。 2、“主目录”标签 web服务器配置 在本地路径中可以设置主目录的路径名和访问权限。 3、“文档”标签 web服务器配置 默认文档是指访问一个网站时想要打开的默认网页，这个网页通常是该网站的主页。如果没有启用默认文档或网站的主页文件名不在默认文档列表中，则访问这个网站时需要在地址中指明文件名。 默认文档列表中最初只有4个文件名：Default.htm、Default.asp、index.htm和Default.aspx。我用 “添加”按钮加入了一个index.asp，并用“上移”按钮把它移到了顶部。这主要是因为我的网站的主页名为“index.asp”，所以应该把它加入 列表，至于是否位于列表顶部倒是无关紧要的。 经过以上配置，一个Web网站可以使用了。把制作好的网页复制到网站的主目录中，网站主页的文件名应该包含在默认文档中。打开浏览器，在地址栏中输入“http://本机IP地址”，可以打开网站的主页。其它页面可以用网页中的超链接打开。 虚拟目录 虚拟目录可以使一个网站不必把所有内容都放置在主目录内。虚拟目录从用户的角度来看仍在主目录之内，但实际位置可以在计算机的其它位置，而且虚拟目录的名字也可以与真实目录不同。如： web服务器配置 web服务器配置 图中用户看到的一个位于主目录下的文件夹“pic”，它的真实位置在服务器的“D:myimage”处，而主目录位于“C:mywww” 处。假设该网站的域名是“www.abc.com”，则用户访问“http://www.abc.com/pic/文件1”时，访问的实际位置是服务器的 “D:myimage文件1”，所以虚拟目录的真实名字和位置对用户是不可知的。 创建虚拟目录的方法： 打开 Internet 信息服务窗口，在想要创建虚拟目录的 Web 站点上 单击右键，选择“新建”→“虚拟目录”。弹出虚拟目录创建向导： web服务器配置 别名是映射后的名字，即客户访问时的名字； web服务器配置 路径：服务器上的真实路径名，即虚拟目录的实际位置； web服务器配置 访问权限：指客户对该目录的访问权限。 单击“下一步”按钮，弹出完成对话框，虚拟目录建立成功了。把相关文件复制到虚拟目录中，用户可以按照虚拟的树形结构访问到指定文件了。 通常虚拟目录的访问权限、默认文档等都继承自主目录，如果需要修改，可在“Internet 信息服务管理器”中的虚拟目录上单击右键，选择“属性”，可以修改虚拟目录的参数设置了。 三、常见问题 1、如何在一台Web服务器上建立多个网站？ 在IIS管理器的“网站”上单击右键，选择“新建Web网站”，然后用“网站创建向导”可以创建新网站，每运行一次能创建一个网站。 多网站的关键是如何区分各个网站，区分的依据是IP地址、TCP端口号、主机头，只要这三个参数中有任何一个不同都可以。 ①用IP地址区分各网站：首先为服务器配置多个IP地址，然后在网站属性的IP地址栏目中为每个网站设置一个IP地址。 ②用TCP端口区分各网站：这时各网站可以使用相同的IP地址，但把TCP端口设置的不同（应该使用1024~65535之间的值），这样也可以区分各网站。但这种方法要求用户在访问网站时，必须在地址中加入端口号，显得不太方便，一般不用。 ③用主机头区分各网站：主机头是一个符合DNS命名规则的符号串，一般用网站的域名作为主机头。设置主机头可以在网站属性的“网站”标签中单击“高级”按钮进行设置。如图： web服务器配置 利用这个“高级”设置，还可以为一个网站配置多个IP地址，或使用不同的TCP端口。 2、网站配置完成后，为何打不开？ 最常见的情况是没有把网站主页的文件名添加到默认文档列表中，IIS6中网站的默认文档只有4个：Default.htm、 Default.asp、index.htm和Default.aspx，如果你的网站主页名字不是这4个中的一个，应该把它添加进去。如果不添加， 应该用带文件名的地址访问这个页面。 3、为什么我的ASP页面不能执行？ 在IIS6中，ASP文件必须在启用“Active Server Pages”时才能执行，如果安装IIS时，没有选中“Active Server Pages”，则服务器默认不启用“Active Server Pages”，也不能执行ASP文件。 启用“Active Server Pages”的方法是：打开“Internet 信息服务管理器”，选中其中的“Web服务扩展”，然后启用里面的“Active Server Pages”。如图： 转载于：https://server.zzidc.com/fwqpz/528.html web服务器配置

2014年12月第2周 1）SLB植入cookie和SLB重写cookie有什么区别？ cookie植入，表示直接由SLB系统来分配和管理对客户端进行的cookie植入操作，用户在进行配置时 需要指定会话保持的超时时间； cookie重写，表示SLB系统会根据用户自定义cookie名称来分配和管理对客户端进行的cookie植入操 作，便于用户识别和区分自定义的cookie名称 http://help.aliyun.com/doc/view/13510025.html?spm=0.0.0.0.vwbsGF 2）SLB有没有对外提供API接口，因为我想做到用程序自动去控制SLB的操作？ SLB api您可以参考http://help.aliyun.com/view/13621674.html? spm=5176.7114037.1996646101.1.9RoTFM&pos=1 3）使用slb怎么实现数据的单向同步和双向同步？ 单向同步可以使用rsync，双向同步的话rsync需要借用别的服务来实现,如unison+inotify。 4）slb的vip是否可以实现远程登录？ slb 的vip无法实现远程登录。 5）slb的带宽是所有后端ECS服务器的带宽总和吗? 不是，使您购买的slb实例带宽。 6）slb健康检查机制是什么？ 用户开启健康检查功能后，当后端某个ECS健康检查出现问题时会将请求转发到其他健康检查正常的 ECS上，而当该ECS恢复正常运行时，SLB会将其自动恢复到对外或对内的服务中。 针对7层（HTTP协议）服务，SLB系统的健康检查机制为：默认通过SLB的后端系统来向该ECS应用服务 器配置的缺省首页发起http head请求（缺省通过在服务监听配置中指定的后端ECS端口进行访问）， 返回200 OK后将视为后端ECS运行正常，否则视为后端ECS运行异常。如果用户用来进行健康检查的页 面并不是应用服务器的缺省首页，那么需要用户指定相应的URI。如果用户对http head请求限定了 host字段的参数，那么需要用户指定相应的URL。用户也可以通过设定健康检查的频率、健康阈值和 不健康阈值来更好的控制健康检查功能。 针对4层（TCP协议）服务，SLB系统的健康检查机制为：默认通过在服务监听配置中指定的后端ECS端 口发起访问请求，如果端口访问正常则视为后端ECS运行正常，否则视为后端ECS运行异常。 当用户后端ECS健康检查异常后，SLB系统会将该ECS的转发权重设置为0，从而确保新的连接不会再被 转发到该ECS上，而已经建立的连接的请求却不会被直接断掉。 针对可能引起健康检查异常的排查思路点击这里查看。 关于健康检查的参数配置，提供如下参考建议： 响应超时时间：5秒 健康检查间隔：2秒 不健康阈值：3 健康阈值：3 7）权重设置为0怎么办？ 权重为0的服务器将无法提供服务。 ８）健康检查异常的排查思路？ 参考http://help.aliyun.com/doc/view/13510029.html?spm=0.0.0.0.Oa9Ezv ------------------------- 12月份第3周1）轮询与最小连接数方式的区别是什么？当前SLB支持轮询和最小连接数2种模式的转发规则。“轮询模式”会将外部和内部的访问请求依序分发给后端ECS进行处理，而“最小连接数模式”会将外部和内部的访问请求分发给当前连接数最小的一台后端ECS进行处理。2）SLB支持redis的主备？目前我们的SLB不支持主备模式（冷备），只支持"轮询"和"最小连接数"两种负载模式。关于SLB的原理您可以参阅如下博文：http://blog.aliyun.com/149 基于ECS的redis搭建，您可以参阅论坛中其它用户的分享案例：http://bbs.aliyun.com/read/161389.html3）负载均衡的多台服务器之间文件会不会自动同步？slb是不会自动同步的，需要您自行配置。4）四层和七层检查的区别是什么？如果是4层（TCP）配置，健康检查只是简单的TCP握手，不会真正去访问您的业务。但对于7层（HTTP）配置，会发HTTP请求（类似于正常访问），并根据返回状态码判断服务状态（2XX表示服务正常）。5）我有多个slb，之前一个slb由于被攻击被黑洞给屏蔽了外部请求，是否可以在slb 并屏蔽后 能够自动将请求分发到另外的slb？由于攻击导致屏蔽外部请求的话，slb没有自动切换的方法的。6）目前slb是否可以设置黑名单?暂不支持。7）我的slb实例控制台显示是停止，为什么？需要给监听的端口设置带宽才能正常。  8）我使用了 SLB那么ESC 需要购买带宽吗？不需要的。但如需要管理ECS，则可购买少些的带宽如1M来管理。9）slb变更计费方式需要多久才能生效？变更和计费将在第二日零点后生效。10）私网SLB的使用，是如何收费的呢？私网slb是不收取费用的。 ------------------------- 12月第4周1）最近用slb后打开网页老出现503 和504错误？一般都是从ECS获取站点信息等异常导致的。您首先先确保源站都可以正常的访问。2）slb检查时突然发现SLB监听错误，怎么回事？配置的健康检查的域名为空，检查的路径是/index.html，目前查看服务器中只有站点c绑定了空主机头，且站点目录下有index.html，而此站点是停止状态，现已帮您启用，查看服务器的健康检查状态已经正常。3）我想使用slb搭建一个负载均衡，后端使用windows服务器，想咨询一下后端服务器是否需要进行什么特别配置呢？另外使用了slb后，后端还能否得到用户的真实IP地址呢，要不要进行什么特殊配置才可以得到后端用户的真实IP。后端服务器的操作系统和web环境最好保持一致，硬件配置上没有什么特别的，4层tcp是可以直接获得前端用户访问的真实地址的，7层http需要在后端web服务端设置一下，参考http://help.aliyun.com/view/13502961.html?spm=5176.7114037.1996646101.1.oRpnOM&pos=14）slb支持https吗？slb您可以通过TCP协议配置443端口的方式来实现，但是安全证书需要保存在您的后端ECS上。5）健康检查后续是否提供多个域名？健康检查只支持一个域名。6）我想关闭负载均衡的健康检查，请问如何配置？4层tcp是无法关闭健康检查的，7层http可以在控制台关闭。健康检查是不会消耗您服务器的资源的，因为slb都是通过内网ip来进行健康检查。7）如何在BLS上 限制单个IP 禁止访问 我的网站呢？SLB暂时不支持设置屏蔽用户端IP。 ------------------------- Re:Re负载均衡SLB常见咨询问题（持续连载） 引用第2楼517449116于2014-12-17 15:54发表的 Re负载均衡SLB常见咨询问题（持续连载） : 如果开启健康检查，健康检查异常的话，是不是就不会给这个异常的ECS分发？ [url=http://bbs.aliyun.com/job.php?action=topost&tid=188736&pid=596806][/url] 异常的话不会在分发。 ------------------------- 2015年1月第1周1）有2台ECS起名叫A和B做SLB，A权重设的100 B权重设的0.请问.当A死机时,SLB是否会转到权重是0的B上?如果有一台设置为0，永远都不会有请求转发到此服务器上，即使权重100的宕机也不会转发到0权重的。2）会话保持的选择？开启会话保持功能后，SLB会把来自同一客户端的访问请求分发到同一台后端ECS上进行处理。针对7层（HTTP协议）服务，SLB系统是基于cookie的会话保持。针对4层（TCP协议）服务，SLB系统是基于IP地址的会话保持。3）用nagios或zabbix监控网络带宽，是否可以监控 slb的流量？nagios或zabbix，cacti是要要被监控端安装snmp或者相关agent ，slb不支持安装这些，所以无法通过这条监控软件进行监控。您可以在slb的控制台里面进行查看流量等相关信息。4）用了负载均衡后升级带宽，是不是只用在负载上面升级就可以了，ECS是不是不用在升级了？SLB与后端服务器是经过内网通信，所以如果业务量增加，您对SLB的带宽调整就行，不需要对服务器ECS进行带宽的升级。 ------------------------- 2015年1月第2周 1）SLB到期之后，会对SLB有关联的云主机怎么处理？云主机还没到期的前提下  我想把网站域名解析到SLB上 如果SLB到期了 会影响到我的网站服务么？ 云服务器是不会有什么影响的，会自动又变成单独的云服务器可以供您使用的。但是如果您的域名是解析到SLB上，那么会影响到您的站点访问的。服务器上不会有其他的问题感谢您的支持。 2)当SLB 状态为停止的时候 还计算费用吗？停止后公网slb会收取实例费用。SLB价格总览参考：http://help.aliyun.com/view/11108234_13502923.html?spm=0.0.0.0.kBLsVA 3)做了SLB负载均衡，四层和7层负载均衡是否都走slb带宽？ 都走slb带宽。 4)我想 移除 slb下的ecs（用作其他用途），请问在移除的时候是否会影响被负载到这台 ecs上的服务的使用 ，也是说slb这是是怎么处理的？ 您可以将要移除的主机的权重更改为0 ，这样默认就不会在分发到权重为0的主机上，这个时候您可以移除该主机。但要确保您的另外一台服务器可以承受所有的访问。 5)SLB实例如何释放? 您需要登录管理控制台点击负载均衡。查询您之前创建的实例在哪个节点下，然后释放您的实例。 6)SLB按照小时的带宽计费， 是否需要每小时调整？比如我可否按照一个比较高的上限， 比如3G,然后每个小时按照该小时的峰值进行独立计费呢？   在一个自然日内，限制用户变更计费方式的次数为1次，变更计费方式将在第二日零点后生效；比如用户在今天5月5日的10:00提交了变更计费方式，那么该变配申请将在明天5月6日00:00后生效。http://help.aliyun.com/view/13502923.html?spm=5176.7114037.1996646101.3.67L5dm&pos=2;SLB目前最大带宽是1000Mbps 7）SLB可以限制每个ip的访问频率吗?(工单1F684MN)slb不支持这样配置的。 8）为什么我设置SLB健康检查间隔为5S，但却每秒都有很多请求？因为用于健康检查的服务ip不止一个，每秒中都会有不同的内网ip进行健康检查，健康检查是通过内网方式，不会消耗您后端服务器的资源，您可以将健康检查间隔阈值跳大些，这样监测频率会降低很多。 ------------------------- Re:负载均衡SLB常见咨询问题（持续连载至2015年1月第3周） 2015年1月第3周 1.发现很多100.97.0.0/16 的ip段扫描，给我服务器带来很大压力，怎么办？ 100.97.0.0/16 是我们slb的健康检查服务ip段，如果给服务器带来较大压力，请调整健康检查的设置；健康检查的话 1）调低检查频率 2）设置检查静态文件，而不是默认首页或者动态文件 3）设置一个不记录日志的virtualhost，专门用于健康检查。 2）SLB里的带宽 和后面对应服务器的带宽有什么关联关系？比如SLB我设置了带宽为10M， 但是我后 面2台服务器购买的带宽都只有2M， 这种情况带宽以哪个为准？ 如果您设置的是常规7层slb负载均衡，那么网站访问所使用的带宽，都将通过slb而不需要消耗云服 务器的带宽，但是云服务器本身的系统更新，以及您更新网站等等也是需要带宽的，因此您保留2M 即可。 3)采用流量计费方式的话带宽是否没有限制? SLB按流量计费最大的带宽是1G。 4)请问我如何获得一个外网SLB期所对应的内网IP呢？比如现在我有一个外网SLB下挂了一个ECS， 而ECS的iptables里我想做一些配置，针对来自于这个SLB的请求做一个判断，我需要知道这个外网 SLB的内网IP。 目前SLB与后端通过如下地址段进行交互： 10.158.0.0/16 10.159.0.0/16 100.97.0.0/16 您可以针对上述地址段做相关配置。 5)如何确保SLB后端的多台ECS之间的数据同步呢? 目前，有很多类似的工具可以实现服务器之间的数据同步，比如：rsync。具体使用及选择，还请通 过其他途径获得更多的介绍资料及指导信息。您也可以将您的ECS配置成无状态的应用服务器，而数 据和文件统一存放在RDS和OSS服务上。 ------------------------- 2015年1月第4周1.为什么我的SLB实例突然消失了？请检查您的SLB服务是否设置了自动释放时间导致。2.我想关掉负载均衡，怎么操作？您直接登录到阿里云管理控制台——slb负载均衡——实例中查询创建的slb服务，后方有“释放”的按钮，您直接释放即可。3. 我现在有两个阿里账号里面都有ECS，我能不能在一个slb里面配置不同阿里云账户下的ECS？目前只能将同一账户下的服务器添加到SLB中，无法跨账户添加。4.ECS做负载均衡需要用户做额外的配置吗？可以参考http://help.aliyun.com/knowledge_detail.htm?knowledgeId=5973987。5. 云服务器上做数据库负载均衡如何实现，需要购买什么产品 ？文件服务器能否做负载均衡，比如10台文件服务器，包括读写这种的  ？1）数据库集群,用slb理论上是可以做的,但是如果您需要集群级别的数据库,建议使用我们的RDS。2）文件服务器也可以负载均衡,使用slb在均衡,保持会话,但是有一个问题是后端文件同步的,需要您自行同步,如 rsync。6.看SLB的说明是支持ddos的防护的，请问下，SLB的防护的峰值是多少，超过峰值黑洞时间是多少？这个与slb所在地区有关，和ecs的防御阀值是一样的，黑洞时间也是2.5小时。7. slb第七层是基于haproxy还是nginx还是tengine实现的？使用tengine实现的。8.7层和4层 SLB的超时时间是多少？7层超时时间是60s，4层超时时间是900s。9.负载均衡健康检查请求数量太多，怎么回事？因为slb前端机器是一组机器，所以健康检查请求较多，请您不要担心，集群内的每台服务都会对您的健康按照您设定的频率去做健康检查：您可以按照上述方法去优化您的健康检查项，看似请求量很大，但是对您资源消耗很少的，有2个建议给您：1）扩大健康检查的频率2）将检查页面配置为静态页面。这样请求消耗的资源会节省。10. SLB配置中的最小连接数是基于什么样判断？SLB会自动判断 当前ECS 的established 来判断是否转发。 ------------------------- 2015年2月第1周1)我想了解下SLB按流量计费是不是每小时需要扣0.02元?按量付费，国内节点配置费用是按照0.02/小时。流量单独计费。按带宽计费:采取按小时计费，以日结算（运行未满一日，按照当日实际使用小时数*当日开通的最高带宽的天价格/24）。如果您使用SLB实例的时间不足一小时，按一小时收费。2）请问健康检查发的什么请求？ head 还是 get？head请求。3）SLB最大连接数如何来设置？目前暂不支持设置最大连接数限制。4）SLB 后端有两个服务器HA1和HA2，为什么我将HA1的权重设置成0，SLB的健康检查就有告警呢？slb四层的话，只要权重设置为0，那么健康检查就是显示异常。 ------------------------- 2015年2月第3周1)负载均衡SLB的实例防攻击防御是多少？我们有云盾的防御黑洞策略，比如以杭州节点的slb，其最高防御的流量阈值为5G，当最大流量超过5Ｇ，您的slb vip则会被加入到黑洞中，触发黑洞会使ecs或者slb正常使用中断2.5小时，这个您可以通过云盾管理控制台查看到这个说明。2） 我其他机房的服务器能添加到你们的负载均衡SLB中吗？不可以的，slb使用的是内网和后端的ECS互联，无法直接添加非阿里云主机的服务器，且slb后端的ecs需要使用同一节点的主机。3）负载均衡服务支持的最大负载均衡实例数目多少？总体峰值可支持每秒新建链接数大约多少？SLB对于后端服务器的数目是没有限制的。对于总体峰值每秒新建连接数是没有限制的。但是因为SLB前端是云盾服务，所以最大值取决于云盾中您配置的请求数。您可以查看云盾看到具体的值。4）SLB按量计费为什么需要设置带宽峰值？如果不设置带宽峰值，遇到攻击等情况，可能流量打的非常高的，带宽流量峰值您可以在slb控制台设置。5）在SLB控制面板看到的流入流量，要比后端服务器的eth0的income流量小很多， 请问slb的流入流量是否应该等于后端服务器的内网网卡入流量吗？不等于的，后端的eth0包括了slb的流量，还有其他的流量，包括ecs直接的内网通信等。slb只做转发，不处理请求的，slb通过内网转发到ecs。6）SLB中的月账单 是指我们拥有所有的 SLB 实例的计费呢，还是单独的某个 SLB 的计费？月账单是指您不同类型产品，截止当前日期内月内消费计费额度的，是所有SLB产品的。您也可以通过账单明细进行查询具体信息的。 ------------------------- 2014年2月第4周1）10.159.63.55,这个内网ip，总是恶意访问我们网站？SLB系统除了会通过系统服务器的内网IP将来自外部的访问请求转到后端ECS上之外，还会对ECS进行健康检查（前提是您已经开启了这一功能）和对您的SLB服务进行可用性监控，这些访问的来源都是由SLB系统发起的，具体包含的IP地址段是：杭州、青岛、北京、深圳节点SLB系统IP地址段：10.159.0.0/16，10.158.0.0/16和100.97.0.0/16，为了确保您对外服务的可用性，请确保对上述地址的访问配置放行规则。2）slb计费方式变更需要多久，业务会受到影响么？变更计费方式与变更配置说明1、支持用户在按使用流量和按公网带宽2种计费方式间切换；2、支持按固定带宽方式计费的用户灵活变更带宽配置；3、在一个自然日内，限制用户变更计费方式的次数为1次，变更计费方式将在第二日零点后生效；比如：用户在今天5月5日的10:00提交了变更计费方式，那么该变配申请将在明天5月6日00:00后生效。4、按固定带宽方式计费变更带宽配置即时生效，带宽计费取自然日内用户开通的最高带宽。5、对客户业务不会造成影响；3）负载均衡能将我的外部非阿里云服务器和ECS服务器放到一块？目前负载均衡SLB仅支持阿里云ECS，无法支持外部非阿里云服务器。4）slb是否有连接数限制，需要大量终端一直与平台保持长连接，阿里云能提多少长连接？SLB没有并发连接数限制的，slb是转发请求不做处理，实际连接数还要跟您后端的处理能力有关。 ------------------------- 2015年3月第1周1）调整权重会对SLB已经有的正常连接有影响吗？目前调整权重会对调整权重的这台主机已有的连接产生影响，会有连接卡主，卡住时间由健康检查配置的时间决定。2)slb是否支持UDP协议？目前SLB暂不支持UDP协议。3）现在TCP四层负载均衡的出口带宽受ECS机器的出口带宽限制吗？slb和ECS之间走的是内网流量，带宽是不受限制的。4）如果没有外网ip, 是否可以用slb的4层转发 ?没有带宽4层SLB也是可以使用的。 ------------------------- Re:负载均衡SLB常见咨询问题（持续连载至2015年3月第1周） 2015年3月第2周 1)SLB变更计费方式并支付成功后无法添加配置? SLB在一个自然日内，限制用户变更计费方式的次数为1次，变更计费方式将在第二日零点后生效查看您今天变更过一 次计费方式，开始时间：2015-03-09 00:00:00。原按使用流量计费，在2015-03-09 00:00:00后变更为按固定带宽计 费，带宽峰值: 2Mbps。同时在您新的计费方式生效之前，您是无法对该SLB进行修改配置的。 2）我的账户怎么欠费￥7.88，这是怎么回事？ 查看您有使用负载均衡slb业务，在slb产品的账单欠费，请您登陆用户中心-消费记录-账单明细中查看 记录。 3）如何屏蔽健康检查探测的日志记录？ 关闭或者屏蔽对test.php访问日志的方式： 在站点配置文件中添加内容： location ~ /test.php { access_log off; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; include fastcgi.conf; } 注： 1、对test.php的location必须要放置在对php|php5处理前，否则会因为先被进行全局匹配导致无法生效。 2、还可以用另一种方案实现： a、在后端服务器中单独为用于健康检查的页面建立一个站点； b、关闭这个站点的日志记录： location ~ .*\.(php|php5)?$ { access_log off; fastcgi_pass 127.0.0.1:9000; fastcgi_index index.php; include fastcgi.conf; } 3、如果检查页面是其他格式，比如test.html，可以采用如下方式进行屏蔽： location ~ /test.html { access_log off; } 4.我想问下SLB的固定带宽，10M是不是上行和下行最大都能达到10M？ 固定带宽指的是下行带宽最大达到10M，上行带宽没有限制。上行带宽指的是SLB的入流量（上行），就是进入SLB的 流量。带宽指的是SLB的出流量（下行），就是SLB对外发生给客户端的流量。 5.一般配置SLB的时候有个权重0到100，是如何选择数值的？ 权重需要您根据后端机器的配置进行选择比如AB两台机器性能一致就分别设置50，这样请求就会在这两台机器上轮询 ，不同权重决定请求分发的分配。 ------------------------- 2015年3月第3周1）公网的SLB和ECS之间的流量是否收费？不收费。2） 想做SLB+两台ECS，附件OSS，程序Discuz。但是不知道如何实现?slb要求后端的两台ecs数据是一致的,为了保持数据的一致性，建议共享存数和数据，静态文件放置到oss里，数据库文件走自己搭建的主从或者，连接同一台rds。3）按流量计算是否需要设置峰值？按流量计费不需要设置峰值的。4）如何建一个子帐号来管理负载均衡SLB?子账户无法管理负载均衡服务。

12月17日更新 请问下同时消费多个topic的情况下，在richmap里面可以获取到当前消息所属的topic吗？ 各位大佬，你们实时都是怎样重跑数据的? 有木有大神知道Flink能否消费多个kafka集群的数据？ 这个问题有人遇到吗? 你们实时读取广业务库到kafka是通过什么读的？kafka connector 的原理是定时去轮询，这样如果表多了，会不会影响业务库的性能？甚至把业务库搞挂？ 有没有flink 1.9 连接 hive的例子啊?官网文档试了，没成功 请问各位是怎么解决实时流数据倾斜的？ 请问一下，对于有状态的任务，如果任务做代码升级的时候，可否修改BoundedOutOfOrdernessTimestampExtractor的maxOutOfOrderness呢？是否会有影响数据逻辑的地方呢？ 老哥们有做过统计从0点开始截止到现在时刻的累计用户数吗？ 比如五分钟输出一次，就是7点输出0点到7点的累计用户，7:05输出0点到7:05的累计用户。 但是我这里有多个维度，现在用redis来做的。 想知道有没有更好的姿势？ 实时数仓用什么存储介质来存储维表，维表有大有小，大的大概5千万左右。 各位大神有什么建议和经验分享吗？ 请教个问题，就是flink的窗口触发必须是有数据才会触发吗？我现在有个这样的需求，就是存在窗口内没有流数据进入，但是窗口结束是要触发去外部系统获取上一个窗口的结果值作为本次窗口的结果值！现在没有流数据进入窗口结束时如何触发？ kafkaSource.setStartFromTimestamp(timestamp); 发现kafkasource从指定时间开始消费，有些topic有效，有效topic无效，大佬们有遇到过吗? 各位大佬，flink两个table join的时候，为什么打印不出来数据，已经赋了关联条件了，但是也不报错 各位大佬 请教一下 一个faile的任务 会在这里面存储展示多久啊？ 各位大佬，我的程序每五分钟一个窗口做了基础指标的统计，同时还想统计全天的Uv，这个是用State就能实现吗？ 大佬们，flink的redis sink是不是只适用redis2.8.5版本？ 有CEP 源码中文注释的发出来学习一下吗？ 有没有拿flink和tensorflow集成的？ 那位大神，给一个java版的flink1.7 读取kafka数据，做实时监控和统计的功能的代码案例。 请问下风控大佬，flink为风控引擎做数据支撑的时候，怎么应对风控规则的不断变化，比如说登录场景需要实时计算近十分钟内登录次数超过20次用户，这个规则可能会变成计算近五分钟内登录次数超过20次的。 想了解一下大家线上Flink作业一般开始的时候都分配多少内存？广播没办法改CEP flink支持多流（大于2流）join吗？ 谁能帮忙提供一下flink的多并行度的情况下，怎么保证数据有序 例如map并行度为2 那就可能出现数据乱序的情况啊 请教下现在从哪里可以可以看单任务的运行状况和内存占用情况,flink页面上能看单个任务的内存、cpu 大佬们 flink1.9 停止任务手动保存savepoint的命令是啥？ flink 一个流计算多个任务和 还是一个流一个任务好？ flink 1.9 on yarn， 自定义个connector里面用了jni， failover以后 就起不来了， 报错重复load so的问题。 我想问一下 这个，怎么解决。 难道flink 里面不能用jni吗。 ide里面调试没有问题，部署到集群就会报错了，可能什么问题？ 请教一下对于长时间耗内存很大的任务，大家都是开checkpoint机制，采用rocksdb做状态后端吗？ 请问下大佬，flink jdbc读取mysql，tinyin字段类型自动转化为Boolean有没有好的解决方法 Flink 1.9版本的Blink查询优化器，Hive集成，Python API这几个功能好像都是预览版，请问群里有大佬生产环境中使用这些功能了吗？ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 想做一个监控或数据分析的功能，如果我flink 的datastreaming实现消费Kafka的数据，但是我监控的规则数据会增加或修改，但是不想停这个正在运行的flink程序，要如何传递这个动态变化的规则数据，大神给个思路，是用ConnectedStream这个吗？还是用Broadcast ？还有一个，比如我的规则数据是存放在Mysql表中，用什么事件隔30秒去触发读取mysql规则表呢？谢谢！ 各位大佬，在一个 Job 计算过程中，查询 MySQL 来补全额外数据，是一个好的实践嘛？还是说流处理过程中应该尽量避免查询额外的数据？ Flink web UI是jquery写的吗？ 12月9日更新 成功做完一次checkpoint后，会覆盖上一次的checkpoint吗？ 数据量较大时，flink实时写入hbase能够异步写入吗？ flink的异步io，是不是只是适合异步读取，并不适合异步写入呀？ 请问一下，flink将结果sink到redis里面会不会对存储的IO造成很大的压力，如何批量的输出结果呢？ 大佬们，flink 1.9.0版本里DataStream api,若从kafka里加载完数据以后，从这一个流中获取数据进行两条业务线的操作，是可以的吗？ flink 中的rocksdb状态怎么样能可视化的查看有大佬知道吗？ 感觉flink 并不怎么适合做hive 中的计算引擎来提升hive 表的查询速度 大佬们，task端rocksdb状态 保存路径默认是在哪里的啊？我想挂载个新磁盘 把状态存到那里去 flink 的state 在窗口滑动到下一个窗口时候 上一个窗口销毁时候 state会自己清除吗？ 求助各位大佬，一个sql里面包含有几个大的hop滑动窗口，如15个小时和24个小时，滑动步长为5分钟，这样就会产生很多overlap 数据，导致状态会很快就达到几百g，然后作业内存也很快达到瓶颈就oom了，然后作业就不断重启，很不稳定，请问这个业务场景有什么有效的解决方案么？ 使用jdbcsink的时候，如果连接长时间不使用 就会被关掉，有人遇到过吗？使用的是ddl的方式 如何向云邪大佬咨询FLink相关技术问题？ 请问各位公司有专门开发自己的实时计算平台的吗？ 请问各位公司有专门开发自己的实时计算平台的吗？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 有哪位大佬有cdh集成安装flink的文档或者手册？ 想问下老哥们都是怎么统计一段时间的UV的？ 是直接用window然后count嘛？ Flink是不是也是这样的？ 请问现在如有个实时程序，根据一个mysql的维表来清洗，但是我这个mysql表里面就只有几条信息且可能会变。 我想同一个定时器去读mysql，然后存在对象中，流清洗的时候读取这个数据，这个想法可行吗？我目前在主类里面定义一个对象，然后往里面更新，发现下面的map方法之类的读不到我更新进去的值 有大佬做过flink—sql的血缘分析吗？ 12月3日更新 请教一下，为什么我flume已经登录成功了keytab认证的kafka集群，但是就是消费不到数据呢？ flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink timestamp转换为date类型，有什么函数吗 Run a single Flink job on YARN 我采用这种模式提交任务，出现无法找到 开启 HA 的ResourceManager Failed to connect to server: xxxxx:8032: retries get failed due to exceeded maximum allowed retries number: 0 有大佬遇到过吗 ？ 各位大佬，请问有Flink写S3的方案吗？ flink 连接hbase 只支持1.4.3版本？ onnector: type: hbase version: "1.4.3" 请问 flink1.9能跑在hadoop3集群上吗? 滑动窗口 排序 报错这个是什么原因呢? 这个pravega和kafka有啥区别? flink 开发里数据源配置了RDS，但是在RDS里没有看到创建的表，是为什么呢？ Tumbling Window里的数据，是等窗口期内的数据到齐之后一次性处理，还是到了一条就处理一条啊 双流join后再做time window grouping. 但是双流join会丢失时间属性，请问大家如何解决 stream processing with apache flink，这本书的中译版 现在可以买吗? flink on yarn时，jm和tm占用的内存最小是600M，这个可以修改吗？ 各位大佬，使用默认的窗口Trigger，在什么情况下会触发两次啊？窗口关闭后，然后还来了这个窗口期内的数据，并且开了allowedLateness么？ flink web里可以像storm那样 看每条数据在该算子中的平均耗时吗？ 各位大佬，flink任务的并发数调大到160+以后，每隔几十分钟就会出现一次TM节点连接丢失的异常，导致任务重启。并发在100时运行比较稳定，哪位大佬可以提供下排查的思路？ 感觉stateful function 是下一个要发力的点，这个现在有应用案例吗？ 我有2个子网（a子网，b子网）用vpn联通，vpn几周可能会断一次。a子网有一个kafka集群，b子网运行我自己的flink集群和应用，b子网的flink应用连接到a子网的kafka集群接收消息来处理入库到数仓去。我的问题是，如果vpn断开，flink consumer会异常整个作业退出吗？如果作业退出，我重连vpn后，能从auto checkpoint再把flink应用恢复到出错时flink kafka consumer应该读取的partition/offset位置吗？flink的checkpoint除了保存自己开发的算子里的state，kafkaconsumer里的partition/offset也会保存和恢复吗？ flink的反压为什么不加入metrics呢 hdfs是不是和flink共用一个集群? flink消费kafka，可以从指定时间消费的吗？目前提供的接口只是根据offset消费？有人知道怎么处理？ flink 的Keyby是不是只是repartition而已？没有将key相同的数据放到一个组合里面 电商大屏 大家推荐用什么来做吗？ 我比较倾向用数据库，因为有些数据需要join其他表，flink充当了什么角色，对这个有点迷，比如统计当天订单量，卖了多少钱，各个省的销量，销售金额，各个品类的销售量销售金额 开源1.9的sql中怎么把watermark给用起来，有大神知道吗？ 有没有人能有一些flink的教程 代码之类的分享啊 采用了checkpoint,程序停止了之后，什么都不改，直接重启，还是能接着继续运行吗？如果可以的话，savepoint的意义又是什么呢? 有人做过flink 的tpc-ds测试吗，能不能分享一下操作的流程方法 checkpoint是有时间间隔的，也就可以理解为checkpoint是以批量操作的，那如果还没进行ckecnpoint就挂了，下次从最新的一次checkpoint重启，不是重复消费了？ kafka是可以批量读取数据，但是flink是一条一条处理的，应该也可以一条一条提交吧。 各位大佬，flink sql目前是不是不支持tumbling window join，有人了解吗？ 你们的HDFS是装在taskmanager上还是完全分开的,请问大佬们有遇到这种情况吗？ 大佬们flink检查点存hdfs的话怎么自动清理文件啊 一个128M很快磁盘就满了 有谁遇到过这个问题? 请教一下各位，这段代码里面，我想加一个trigger，实现每次有数据进window时候，就输出，而不是等到window结束再输出，应该怎么加？ 麻烦问下 flink on yarn 执行 客户端启动时 报上面错,是什么原因造成的 求大佬指点 ERROR org.apache.flink.client.program.rest.RestClusterClient - Error while shutting down cluster java.util.concurrent.ExecutionException: org.apache.flink.runtime.concurrent.FutureUtils$RetryException: Could not complete the operation. Number of retries has been exhausted. 大家怎么能动态的改变 flink WindowFunction 窗口数据时间 flink on yarn之后。yarn的日志目录被写满，大家如配置的？ Flink1.9 启动 yarn-session报这个错误 怎么破？ yarn 模式下，checkpoint 是存在 JobManager的，提交任务也是提交给 JobManager 的吧？ heckpoint机制，会不会把window里面的数据全部放checkpoint里面？ Flink On Yarn的模式下，如果通过REST API 停止Job,并触发savepiont呢 jenkins自动化部署flink的job，一般用什么方案？shell脚本还是api的方式？ 各位大佬，开启增量checkpoint 情况下，这个state size 是总的checkpoint 大小，还是增量上传的大小？ 想用状态表作为子表 外面嵌套窗口 如何实现呢 因为状态表group by之后 ctime会失去时间属性,有哪位大佬知道的？ 你们有试过在同样的3台机器上部署两套kafka吗？ 大家有没有比较好的sql解析 组件（支持嵌套sql）? richmapfuntion的open/close方法，和处理数据的map方法，是在同一个线程，还是不同线程调用的？ flink on yarn 提交 参数 -p 20 -yn 5 -ys 3 ，我不是只启动了5个container么？ Flink的乱序问题怎么解决? 我对数据流先进行了keyBy,print的时候是有数据的,一旦进行了timeWindow滑动窗口就没有数据了,请问是什么情况呢? 搭建flinksql平台的时候，怎么处理udf的呀? 怎么查看sentry元数据里哪些角色有哪些权限？ 用java api写的kafka consumer能消费到的消息，但是Flink消费不到，这是为啥? 我state大小如果为2G左右 每次checkpoint会不会有压力? link-table中的udaf能用deltaTrigger么？ flink1.7.2，场景是一分钟为窗口计算每分钟传感器的最高温度，同时计算当前分钟与上一分钟最高温 001 Flink集群支持kerberos认证吗？也就是说flink客户端需要向Flink集群进行kerberos认证，认证通过之后客户端才能提交作业到Flink集群运行002 Flink支持多租户吗？ 如果要对客户端提交作业到flink进行访问控制，你们有类似的这种使用场景吗？ flink可以同时读取多个topic的数据吗？ Flink能够做实时ETL（oracle端到oracle端或者多端）么？ Flink是否适合普通的关系型数据库呢？ Flink是否适合普通的关系型数据库呢？ 流窗口关联mysql中的维度表大佬们都是怎么做的啊? 怎么保证整个链路的exactly one episode精准一次，从source 到flink到sink? 在SQL的TUMBLE窗口的统计中，如果没数据进来的，如何让他也定期执行，比如进行count计算，让他输出0？ new FlinkKafkaConsumer010[String]("PREWARNING",new JSONKeyValueDeserializationSchema(true), kafkaProps).setStartFromGroupOffsets() ) 我这样new 它说要我传个KeyedDeserializationSchema接口进去 flink里面broadcast state想定时reload怎么做？我用kafka里的stream flink独立模式高可用搭建必需要hadoop吗？ 有人用增量cleanupIncrementally的方式来清理状态的嘛，感觉性能很差。 flink sink to hbase继承 RichOutputFormat运行就报错 kafka 只有低级 api 才拿得到 offset 吗？ 有个问题咨询下大家，我的flinksql中有一些参数是要从mysql中获取的，比如我flink的sql是select * from aa where cc=?,这个问号的参数需要从mysql中获取，我用普通的jdbc进行连接可以获的，但是有一个问题，就是我mysql的数据改了之后必须重启flink程序才能解决这个问题，但这肯定不符合要求，请问大家有什么好的办法吗？ flink里怎样实现多表关联制作宽表 flink写es，因为半夜es集群做路由，导致写入容易失败，会引起source的反压，然后导致checkpoint超时任务卡死，请问有没有办法在下游es处理慢的时候暂停上游的导入来缓解反压？ flink 写parquet 文件，使用StreamingFileSink streamingFileSink = StreamingFileSink.forBulkFormat( new Path(path), ParquetAvroWriters.forReflectRecord(BuyerviewcarListLog.class)). withBucketAssigner(bucketAssigner).build(); 报错 java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer 1.7.2 NoWindowInnerJoin这个实现，我看实现了CleanupState可更新过期时间删除当前key状态的接口，是不是这个1.7.2版本即使有个流的key一直没有被匹配到他的状态也会被清理掉，就不会存在内存泄漏的问题了？ flink1.7.2 想在Table的UDAF中使用State，但是发现UDAF的open函数的FunctionContext中对于RuntimeContext是一个private，无法使用，大佬，如何在Table的UDAF中使用State啊？ Flink有什么性能测试工具吗？ 项目里用到了了KafkaTableSourceSinkFactory和JDBCTableSourceSinkFactory。maven打包后，META-INF里只会保留第一个 标签的org.apache.flink.table.factories.TableFactory内容。然后执行时就会有找不到合适factory的报错，请问有什么解决办法吗？ 为什么这个这段逻辑 debug的时候 是直接跳过的 各位大佬，以天为单位的窗口有没有遇到过在八点钟的时候会生成一条昨天的记录? 想问一下，我要做一个规则引擎，需要动态改变规则，如何在flink里面执行？ flink-1.9.1/bin/yarn-session.sh: line 32: construc 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 我要用sql做一个规则引擎，需要动态改变规则，如何在flink里面执行？ 一般公司的flink job有没有进程进行守护？有专门的工具或者是自己写脚本？这种情况针对flink kafka能不能通过java获取topic的消息所占空间大小？ Flink container was removed这个咋解决的。我有时候没有数据的时候也出现这 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更 问大家个Hive问题，新建的hive外部分区表， 怎么把HDFS数据一次性全部导入hive里 ？ flink里面的broadcast state值，会出现broad流的数据还没put进mapstat Flink SQL DDL 创建表时，如何定义字段的类型为proctime? 请问下窗口计算能对历史数据进行处理吗？比如kafka里的写数据没停，窗口计算的应用停掉一段时间再开起 请问下，想统计未退费的订单数量，如果一个订单退费了（发过来一个update流），flink能做到对结果进行-1吗，这样的需求sql支持吗? 使用Flink sql时,对table使用了group by操作。然后将结果转换为流时是不是只能使用的toRetractStream方法不能使用toAppendStream方法。 百亿数据实时去重，有哪位同学实践过吗？ 你们的去重容许有误差？因为bloom filter其实只能给出【肯定不存在】和【可能存在】两种结果。对于可能存在这种结果，你们会认为是同一条记录？ 我就运行了一个自带的示例，一运行就报错然后web页面就崩了 flink定时加载外部数据有人做过吗？ NoSuchMethodError: org.apache.flink.api.java.Utils.resolveFactory(Ljava/lang/ThreadLocal;Ljava/lang/Object;)Ljava/util/Optional 各位知道这个是那个包吗？ flink 可以把大量数据写入mysql吗？比如10g flink sql 解析复杂的json可以吗？ 在页面上写规则，用flink执行，怎么传递给flink？ 使用cep时，如何动态添加规则？ 如何基于flink 实现两个很大的数据集的交集 并集 差集？ flink的应用场景是？除了实时 各位好，请教一下，滑动窗口，每次滑动都全量输出结果，外部存储系统压力大，是否有办法，只输出变化的key？ RichSinkFunction close只有任务结束时候才会去调用，但是数据库连接一直拿着，最后成了数据库连接超时了，大佬们有什么好的建议去处理吗？？ 为啥我的自定义函数注册，然后sql中使用不了？ 请问一下各位老师，flink flapmap 中的collector.collect经常出现Buffer pool is destroyed可能是什么原因呢？ 用asyncIO比直接在map里实现读hbase还慢，在和hbase交互这块儿，每个算子都加了时间统计 请教一下，在yarn上运行，会找不到 org.apache.flink.streaming.util 请问下大佬，flink1.7.2对于sql的支持是不是不怎么好啊 ，跑的数据一大就会报错。 各位大佬，都用什么来监控flink集群？ flink 有那种把多条消息聚合成一条的操作吗，比如说每五十条聚合成一条 如何可以让checkpoint 跳过对齐呢? 请问 阿里云实时计算（Blink）支持这4个源数据表吗？DataHub Kafka MQ MaxCompute？ 为啥checkpoint时间会越来越长，请问哪位大佬知道是因为啥呢？ 请问Flink的最大并行度跟kafka partition数量有关系吗? source的并行度应该最好是跟partition数量一致吧，那剩下的算子并行度呢？ Flink有 MLIB库吗，为什么1.9中没有了啊？ 请教一下，有没有flink ui的文章呢？在这块内存配置，我给 TM 配置的内存只有 4096 M，但是这里为什么对不上呢？请问哪里可以看 TM 内存使用了多少呢？ 请教个问题，fink RichSinkFunction的invoke方法是什么时候被调用的？ 请教一下，flink的window的触发条件 watermark 小于 window 的 end_time。这个 watermark 为什么是针对所有数据的呢？没有设计为一个 key 一个 watermark 呢？ 就比如说有 key1、key2、key3，有3个 watermark，有 3个 window interval不支持left join那怎么可以实现把窗口内左表的数据也写到下游呢？ 各位 1、sink如何只得到最终的结果而不是也输出过程结果 ；2、不同的运算如何不借助外部系统的存储作为另外一个运算的source 请教各位一个问题，flink中设置什么配置可以取消Generic这个泛型，如图报错： 有大佬在吗，线上遇到个问题，但是明明内存还有200多G，然后呢任务cancel不了，台也取消不了程序 flink遇到The assigned slot container_1540803405745_0094_01_000008_1 was removed. 有木有大佬遇到过。在flink on yarn上跑 这个报错是什么意思呢?我使用滑动窗口的时候出现报错 flink 双流union状态过期不清理有遇到的吗? 大家有没有这种场景，数据从binlog消费，这个信息是订单信息，同一个订单id，会有不同状态的变更，如果订单表与商品明细join查询，就会出现n条重复数据，这样数据就不准了，flink 这块有没有比较好的实战经验的。 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink 有办法 读取 pytorch的 模型文件吗？ 大佬们、有没有人遇到过使用一分钟的TumblingEventTimeWindows，但是没有按时触发窗口、而是一直等到下一条消息进来之后才会把这个窗口的数据发送出去的？ flink timestamp转换为date类型，有什么函数吗 flink 写入mysql 很长一段时间没有写入，报错怎么解决呢? flink 有办法 读取 pytorch的 模型文件吗？ 有没有大佬知道实时报表怎么做？就是统计的结果要实时更新，热数据。 刚接触flink 1.9 求问flink run脚本中怎么没有相关提交到yarn的命令了 请教一下，flink里怎么实现batch sink的操作而不导致数据丢失